クリエイター支援プラットフォームのPatreonが、AI学習用データ収集への対策を「お願い」から「強制遮断」へと切り替えました。これまではrobots.txt（サイト側がクローラーに巡回してよい範囲を伝える設定ファイル）に従うことを期待するだけでしたが、Cloudflareの「AI Crawl Control」という技術を導入し、AI学習目的の巡回ボットを実際に遮断する体制へ移行しています。テストでは、個別のAI学習用クローラーによる週間アクセス試行が「数千件からゼロ」まで落ち込みました。
背景と文脈
Patreonは2023年の時点でもAI学習目的のスクレイピングに対する抑止策を打ち出していましたが、それはrobots.txtでの意思表示にとどまり、相手の善意に頼るしかない受け身の対策でした。ここ最近、AIによるデータ収集の手口は一段と巧妙になっており、意思表示だけでは実効性を持たなくなっていたのが実情です。
加えてPatreon側の事情もあります。新しい発見型フィード「Home Feed」や、短文投稿機能「Quips」（Xの投稿のような短い形式のコンテンツ）といった新機能の追加で、クリエイターのコンテンツがこれまで以上に外部から見えやすい形で露出するようになりました。露出面が広がるほど、無断で収集されるリスクも比例して高まります。業界全体でも、AI企業によるデータ収集への反発は根強く、Cloudflareは最近、学習目的と検索目的が混在する「mixed-use」クローラーをデフォルトでブロックする方針に転換したほか、サイト側がスクレイピングに課金できる「Pay Per Crawl」という仕組みも立ち上げています。ニュースメディアやコミュニティサイトなど、有償・無償を問わず良質なコンテンツを抱えるプラットフォームほど、無断学習の標的になりやすいという構図が背景にあり、Patreonの対応もこうした業界の流れに沿ったものと言えます。
技術/ビジネス面
今回Patreonが採用したCloudflareのAI Crawl Controlは、AIモデルの学習を目的に巡回するボットを識別して遮断する技術です。一方で、検索結果からPatreon上のコンテンツへ利用者を誘導するタイプのボット、つまり利用者をサイトへ呼び戻す役割を果たすクローラーは、引き続き許可される設計になっています。学習用データの無断収集と、サイトへの流入を生む索引付けを技術的に区別する点がポイントです。検索エンジンのように利用者をPatreonへ連れ戻してくれる存在は歓迎しつつ、コンテンツを持ち去るだけの存在は締め出す、という線引きです。
Patreonのプロダクト責任者は、今回の方針転換について「同意は、スクレイパーが行儀よく振る舞うかどうかに左右されるべきではない」と説明しています。行儀の良さを信じて任せるのではなく、技術的な仕組みで同意の有無を強制的に担保する、という考え方への転換です。実際のテストでは、遮断前は週に数千回に達していた個別クローラーのアクセス試行が、導入後はゼロまで減少しており、従来robots.txtの指示がほぼ無視されていた実態も同時に浮き彫りになりました。裏を返せば、これまで多くのAI学習用クローラーが、サイト側の意思表示を認識しながらも無視して巡回を続けていた可能性が高いということでもあります。
これからどうなるか
クリエイター向けプラットフォームがこうした強制ブロック型の対策に踏み切る流れは、今後も広がっていきそうです。同意なきデータ収集への社会的な反発が強まる中、robots.txtのような「紳士協定」だけに頼る運用は、実効性の面でも説明責任の面でも維持しにくくなっています。
開発者にとっても示唆は小さくありません。RAG（検索拡張生成：外部データを検索して回答に活用する仕組み）向けのデータ収集や自前のクローラー開発を手がけている場合、対象サイトの巡回が今後ますます弾かれやすくなる前提で設計を見直す必要がありそうです。従来通りのやり方で巡回を続けていると、ある日突然アクセスがゼロになり、パイプライン全体が止まるといった事態も起こり得ます。CloudflareのPay Per Crawlのように、正規に対価を払ってデータへアクセスする仕組みも整いつつあり、無断スクレイピングに頼らない代替手段を早めに検討しておく価値があります。
まとめ
Patreonは、AI学習用クローラーへの対策をrobots.txtによる「お願い」からCloudflareの技術を使った「強制遮断」へ切り替えました。テストではアクセス試行が週数千件からゼロへ減少し、同意なきデータ収集への技術的な対抗策が実効性を持ち始めていることを示しています。同様の動きは他のプラットフォームにも波及しそうです。
参考リンク
アイキャッチ画像: Photo by Christian Wiediger on Unsplash
