自分のサイトの文章を AI の学習に使われたくないとき、これまでは GPTBot、Google-Extended、ClaudeBot のように会社ごとのクローラー名を robots.txt に並べて書く必要がありました。10月30日、Google、Microsoft、OpenAI、Anthropic の4社が、1つの共通の名前で学習を断れるしくみに対応すると発表しました。名前は __usage_ai-training です。Microsoft は2027年2月1日、Google は2027年中に読み取りを始めます。自分でブログやサービスを運営している開発者は、robots.txt の書き方を見直すことになります。
背景と文脈
robots.txt は、クローラーにどのページを見てよいかを伝えるファイルです。2022年9月に RFC 9309 として標準になりましたが、決めているのはクロールしてよいかどうかだけでした。集めた文章を検索に使うのか、AI の学習に使うのかまでは書き分けられません。
そこで各社は、学習専用の名前を別に用意してきました。OpenAI は GPTBot、Google は Google-Extended、Apple は Applebot-Extended、Anthropic は ClaudeBot です。サイトの持ち主は、新しい AI 企業が出てくるたびに名前を調べて足すしかありません。2026年5月に出た IAB（インターネットの設計方針を話し合う委員会）の報告書 RFC 9969 も、AI クローラーごとに robots.txt の扱いがばらばらで、書く側も読む側も困っていると書いています。
この状態をそろえるために、IETF（インターネットの標準を決める団体）では AIPREF というワーキンググループが議論を続けてきました。今回の発表は、その議論から出た案に大手4社がそろって乗ったものです。
技術/ビジネス面
中身は、IETF に出された Machine-Readable Training Preference Signal という草案です。書いたのは Anthropic の Kevin Kelley 氏で、日付は10月30日、版は最初の -00 です。協力者として Google、Microsoft、OpenAI、Meta、Cloudflare、Common Crawl などの約50人が名前を連ねています。
しくみは単純です。robots.txt の User-Agent: に、実在するクローラーの名前の代わりに __usage_ai-training という決まった名前（ポリシートークン）を書きます。その下の Disallow と Allow が、クロールの許可ではなく学習に使ってよいかどうかの意思表示として読まれます。新しい書き方を足さず、今の robots.txt の文法のまま使えるようにしてあります。
ここでいう学習は、生成 AI のモデルの重み（学習で調整される数値）を変えるために使うことです。分類や順位づけだけに使うモデルは対象外です。検索結果に出すことや、AI が答えるときにページを読みに行くこと（グラウンディング）も、この名前では扱いません。
4社の対応時期はそろっていません。Google の Search Central ブログは2027年の対応を目指すとしています。共通の名前で学習を断ったサイトが Google-Extended を書いていなければ、Google-Extended を断ったものとして扱います。Microsoft は2027年2月1日から読み取りを始めます。OpenAI は数か月以内に対応するとし、Anthropic はすでに対応を始めていると説明しています。Meta、Amazon、Apple は今回の表明に加わっていません。
開発者として試すなら
草案に載っている例をもとにすると、サイト全体で学習を断り、/press-kit/ だけは使ってよいとする書き方は次のとおりです。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
User-Agent: *
Allow: /下の User-Agent: * は、ふつうのクローラー向けのいつもの設定です。草案では、* のグループは学習の意思表示として数えません。今の robots.txt で全クローラーを止めていても、それだけでは学習を断ったことにならないので、共通の名前のグループを別に書く必要があります。
各社の対応は、公式の発表と、それを比べた PPC Land のまとめによると次のとおりです。
| 会社 | 共通の名前への対応 | 今ある会社ごとの名前 |
|---|---|---|
| 2027年（クローラーの説明では2027年初め） | Google-Extended | |
| Microsoft | 2027年2月1日から | （robots.txt の名前はなし。今は NOARCHIVE の meta タグ） |
| OpenAI | 数か月以内（日付なし） | GPTBot |
| Anthropic | 対応を始めている（日付なし） | ClaudeBot |
つまずきそうな点は4つあります。1つ目は、この名前でクロールは止まらないことです。草案は、学習を断ったページをクローラーが取りに来ないことを「してもよい」と書いているだけです。サーバーの負荷を減らしたいなら、今までどおりクローラーの名前ごとに Disallow を書きます。
2つ目は Google の扱いです。共通の名前で断ると Google-Extended を断った扱いになるため、Gemini アプリがページを読んで答えに使い、リンクを出す経路も止まります。学習は断りたいけれど、Gemini の答えの中では紹介されたいサイトには、1つの設定で済む方法がありません。
3つ目は Microsoft の切りかえです。2027年3月1日から、NOARCHIVE と NOCACHE を学習やグラウンディングを断る合図として読まなくなります。今これらの meta タグで Bing や Copilot の利用を止めているサイトは、それまでにページ単位の新しい設定へ移す必要があります。
4つ目は強制力がないことです。OpenAI 自身が参加を自主的なものとしています。TollBit の調べでは、ヨーロッパで AI のページ取得の約15%が、robots.txt で禁止された URL に届いていました。ルールを守らないクローラーを止めたいなら、Cloudflare などの WAF（不正な通信を止める仕組み）で弾く対策も残しておくことになります。
これからどうなるか
次の日付は、Microsoft が読み取りを始める2027年2月1日です。ここから robots.txt に共通の名前を書く意味が実際に出てきます。草案は個人の提案の段階で、2027年5月3日に期限が切れます。それまでに AIPREF のワーキンググループで正式な文書として扱われるかどうかで、Meta や Apple などほかの会社が乗るかも変わってきます。
開発者の手元の作業で見ると、サイトを公開するときの robots.txt のテンプレートに、1つグループを足すだけで済むようになります。会社ごとの名前を追いかけて足す手間は減ります。ただし、すでに集められた文章はこの設定の対象外です。草案は、ページを取得したときの robots.txt で判断すると決めているので、断りたいなら早めに書いておいたほうが取りこぼしが少なくなります。
まとめ
AI の学習を断る方法が、User-Agent: __usage_ai-training という1つのグループにまとまります。Google、Microsoft、OpenAI、Anthropic が対応を表明し、Microsoft は2027年2月1日から読みます。* では数えられず、クロールも止まらず、Google では Gemini の答えへの掲載も止まる点に気をつけて、自分のサイトの robots.txt を書きかえてください。
参考リンク
- Supporting a shared AI training control for websites（Google Search Central Blog）
- draft-kelley-aipref-training-preference-signal-00（IETF）
- Making it easier for websites to express AI training preferences（OpenAI）
- Google, Microsoft, OpenAI and Anthropic back one AI training opt-out（PPC Land）
- RFC 9969 IAB AI-CONTROL Workshop Report
アイキャッチ画像: Photo by Noelle Koh on Unsplash
