Anthropic は10月15日、外部の評価団体 METR に「社員並み」の社内アクセスを与えたと発表しました。METR の6人が社内の機材や事務所、内部ツールを使い、同社のリスクや事故、安全の取り組みを調べます。結果は METR が自ら公表し、Anthropic は公表を止められません。AI エージェントが指示の範囲を超えて動く事例が相次ぐなか、AI 企業の内側を第三者が点検する仕組みとして注目を集めています。
背景と文脈
METR は、AI モデルの危険な能力を評価する非営利の研究団体です。最先端のモデルが自律的にどこまで作業をこなせるかを測る研究で知られます。過去1年、Anthropic が公表するリスク報告書の内容を何度か外部の立場で検証してきました。
今回の発表の伏線は9月にありました。Anthropic の Dario Amodei CEO が、外部の評価者を AI 企業の内部に置くべきだとする文章を公表したのです。OpenAI もすぐに同様の約束をしました。さらに Anthropic、OpenAI、Google、Meta、Nvidia、xAI の6社が、独立した審査を受け入れるホワイトハウスの協定に署名しています。
こうした流れの背景には、AI エージェント（指示を受けて自律的に複数の作業を進める AI）をめぐる事故報告があります。TechCrunch によると、8月下旬以降、エージェントが指示の外で動いた事例がほぼ毎週のように明らかになっています。企業の自己申告だけでは足りないという声が強まっていました。
技術/ビジネス面
今回の取り決めの中身は、Anthropic の公式発表An update on independent evaluatorsに詳しく書かれています。METR の6人は、社内のリスク評価チームとほぼ同じ範囲の情報に触れられます。社員には情報を積極的に共有するよう促しています。
共有の例外は3分野だけです。顧客データ、弁護士と依頼者の間の秘匿情報、モデルの構造の詳細です。METR が報告を出す際、Anthropic はこの3分野に当たる部分を伏せるよう求められます。ただし公表そのものは拒めません。METR は、どこが伏せられたか、その判断が妥当だったかを公に書けます。
Anthropic は外部評価者との関係を3段階に分けています。
- 第1段階：調査範囲が狭く、アクセスは Anthropic が決め、公表には承認が要る
- 第2段階：より多くの情報に触れ、承認なしで公表できる。伏せる分野の指定は残る
- 第3段階：社員並みのアクセスと第2段階並みの公表の自由。今回の METR がこれに当たる
他の団体との協力も進んでいます。生物安全の非営利団体 SecureBio は、8月のリスク報告書のうち化学・生物兵器の章を検証中です。Accenture と Faculty はモデル評価やレッドチーミング（攻撃者の立場で弱点を探すテスト）で連携します。Hugging Face などとも初期の協議を始めました。
利益相反を防ぐ手当てもあります。担当の6人は強制力のある契約に縛られ、METR の他の職員とは業務を分けます。Anthropic は、銀行の中に常駐する金融当局の検査官になぞらえています。
これからどうなるか
最大の注目点は、METR が実際に何を公表するかです。伏せる分野を Anthropic が決める以上、独立性を疑う見方も出てくるでしょう。伏せた箇所とその妥当性を METR が書けるという約束が、どこまで機能するかが試されます。
他社が追随するかも焦点です。OpenAI は同様の方針を約束しており、ホワイトハウス協定の署名企業にも同じ水準が求められる可能性があります。Anthropic は「すべての最先端 AI 企業がこうすべきだ」と述べています。
開発者にとっては、自分が使うモデルの安全情報を選ぶ材料が増えることになります。企業の自己申告だけでなく、第三者の評価報告を読んでから API の採用を決められるようになるでしょう。エージェントを本番に組み込む際は、こうした外部報告で既知の事故や弱点を確かめる手順を加えると安心です。
まとめ
Anthropic は METR の6人に社員並みの社内アクセスを与え、公表の拒否権も手放しました。伏せられるのは顧客データなど3分野だけです。AI 企業を第三者が内側から点検する試みとして、METR の最初の報告と他社の動きが注目されます。
