CDN（Content Delivery Network：世界中のサーバーを使いコンテンツ配信を高速化する仕組み）大手Cloudflareが2026年7月1日、AIのウェブ巡回（クロール）に関する新しい料金の仕組みを発表しました。これまで進めてきた「クロール1回ごとに課金する」方式から、「AIの回答に実際に使われたら支払う」方式へと軸足を移します。あわせて、サイト運営者がAIの用途別にアクセスを制御できる新オプションも公開しました。ニュースサイトやブログを運営する開発者にとって、自分のコンテンツとAIの関係を見直すきっかけになりそうです。
背景と文脈
Cloudflareは以前から、AI企業のクローラー（ウェブサイトを自動巡回してデータを収集するプログラム）がコンテンツを無断で学習・引用に使う問題に取り組んできました。その一環として導入したのが「pay-per-crawl」、AIボットがサイトを1回訪問するたびに料金を課す仕組みです。ところが実際に運用してみると、Cloudflareが「正規」と分類するボットのトラフィックのうち、半分以上が「前回訪問時から変化していないページを再取得しているだけ」だと判明しました。訪問回数に応じて課金する方式では、こうした無駄な巡回にまでサイト側が対応を迫られる非効率が生じていたのです。ページが更新されていないのに何度も課金対象になれば、AI企業側にとっても割高な仕組みになりかねません。
この経緯を踏まえ、Cloudflareは7月1日を「Content Independence Day」と位置づけ、AIトラフィックの扱いを見直す複数の施策を同時に発表しました。単なる課金方式の変更にとどまらず、サイト運営者がAIとの関係を主体的に選べるようにするという方針転換です。Cloudflareはインターネットトラフィックの大きな割合を扱う立場にあり、その方針転換はAI企業とパブリッシャーの力関係に直接影響する重みを持ちます。
技術/ビジネス面
新しい仕組みの核は、AIのトラフィックを「検索」「エージェント」「学習」の3用途に分類し、無料プランを含む全ユーザーがそれぞれ個別に許可・拒否を設定できるようにした点です。さらに2026年9月15日以降にCloudflareへ新規登録するドメインでは、広告表示のあるページにおいて「学習」目的と「エージェント」目的のクロールをデフォルトでブロックし、「検索」目的のみ許可する設定が標準になります。既存の一律ブロック・一律許可という単純な運用から、目的別の細かい制御へと進化した形です。
「成果報酬型」への転換では、Ceramic.aiとYou.comの2社と先行してパートナーシップを結びました。サイト運営者がこの仕組みに参加すると、自社のコンテンツがCeramicのAI検索結果に表示されたときや、You.comが有料コンテンツにアクセスしたときに対価が支払われます。従来の「巡回された回数」ではなく「実際に使われた回数」に基づく点が、これまでのpay-per-crawlとの決定的な違いです。パートナー数はまだ2社にとどまりますが、他の検索・AI企業が同様の枠組みに参加すれば、パブリッシャー側の収益源として一定の規模になる可能性があります。
これからどうなるか
自分でブログやドキュメントサイトを運営している開発者は、Cloudflareの管理画面でAIトラフィックの許可設定を一度見直す価値があります。生成AIの検索結果に載ることでアクセス増加を狙うのか、あるいは学習データとして無断利用されるのを防ぎたいのか、目的に応じて柔軟に選べるようになったためです。またAI検索やAIエージェントを開発する側にとっては、コンテンツへのアクセスに対価が発生する場面が今後増えていく可能性が高く、外部データを参照するRAG（Retrieval-Augmented Generation：検索で外部情報を取得してから回答を生成する仕組み）パイプラインのコスト設計にも影響が及びそうです。9月15日のデフォルト変更前に、自社サイトのトラフィック構成を確認しておくと安心です。自社プロダクトのクローラーがCloudflare配下のサイトを参照している場合は、今のうちに許諾の枠組みへの対応を検討しておくとよいでしょう。
まとめ
Cloudflareは、AIクローラーへの課金を「巡回回数」から「実際の利用」に基づく成果報酬型へ転換すると発表しました。あわせてAIトラフィックを検索・エージェント・学習の3用途で個別制御できる新機能も公開し、9月15日から新規ドメインではデフォルト設定も変わります。コンテンツを持つ開発者・企業は、AIとの関わり方を自分で選べる時代に入ったといえます。
参考リンク
- Your site, your rules: new AI traffic options for all customers
- Cloudflare’s new policy pushes AI companies to pay for publishers’ content
アイキャッチ画像: Photo by Shubham Dhage on Unsplash
