Anthropicの研究者チームが、AIモデル自身にアライメント(AIの挙動を人間の意図や価値観に合わせる調整作業)を改善させる手法「Automated Alignment Researcher(AAR)」を発表しました。文献調査から改善案の考案、訓練の実行までをAIエージェントが自動で行う仕組みです。10種のベンチマーク全てで性能を落とさず改善し、最良の手法は平均6時間で人間の専門家の提案を上回りました。AIが自ら学習を改善していく「再帰的自己改善(RSI:人手を介さずAIが自分の性能や安全性を高め続ける仕組み)」への一歩として注目されています。
背景と文脈
アライメント研究は、AIモデルが指示に忠実に従いつつ、有害な出力や意図しない挙動を避けるよう調整する分野です。虚偽の説明をする、指示にない行動を取る、評価だけをすり抜けるような振る舞いをするなど、避けたい挙動のパターンは数多くあります。モデルの性能が上がるほど検証すべきパターンも増え、人間の研究者だけで全てをカバーするのは難しくなってきました。
Anthropicはこれまでも、AIモデル自身に監督や評価を手伝わせる「スケーラブルな監督」の研究を進めてきました。人間がAIの出力をひとつずつ確認する体制には限界があるため、AIにAIをチェックさせる発想です。今回発表したAutomated Researchers Can Reliably Mitigate Alignment Failuresという論文は、その延長線上に位置づけられます。AIに「アライメント研究そのもの」を任せられるかを検証した点が新しいところです。
研究を主導したのはAnthropicのフェローであるChen Yueh-Han氏です。研究チームは、モデルが陥りやすい既知のアライメント上の欠陥を10種類選び、それぞれについてAIエージェントに改善策を考えさせました。人間の熟練研究者が同じ課題に取り組んだ場合の成果と比較し、自動化手法がどこまで通用するかを測っています。
背景にあるのは、モデルの能力向上のスピードに、アライメント研究にかけられる人手が追いつかなくなりつつあるという危機感です。研究プロセス自体を自動化できれば、この差を埋められる可能性があります。
技術/ビジネス面
AARの仕組みはシンプルです。AIエージェントがまず関連する既存研究を検索し、次に改善案を考案し、実際に約30分間モデルを訓練して効果を検証します。この一連の流れを何度も繰り返して、効果が出た手法だけを残す設計です。複数のAARに異なる初期案を与え、似たようなアイデアばかりに偏らないよう工夫しています。
検証では、Claude Sonnet 5を使ったAARが、開発中のClaude Opus 4.8の早期版に対して改善策を提案しました。その結果、正式にリリースされたOpus 4.8との安全性の差の大半を、短時間で埋めることに成功したといいます。10種のベンチマーク全てで、能力を落とさずにスコアを改善できた点も重要です。単に安全側に寄せて出力を丸めるだけなら性能は落ちやすいため、この両立が成果として評価されています。
さらに、AARが見つけた改善策は、訓練時に見せていなかった別のベンチマークや、敵対的な複数ターンの対話をシミュレートして誤動作を洗い出すツール「Petri」でも有効性を保ちました。最適化に使ったモデルより最大4.7倍大きいモデルでも効果が続いたことから、特定モデル向けの小手先の調整ではなく、ある程度汎用的な改善だと見られます。
コスト面の差も際立ちます。AARの実行コストはAPIの利用料としておよそ時給4ドルなのに対し、人間の研究者を雇う場合は時給150ドルほどかかるとされています。速度と費用の両面で、人間の研究プロセスを大きく上回る結果です。
これからどうなるか
研究チーム自身も、TechCrunchの取材に対し、AIによるアライメント研究者が人間の研究者に取って代わる可能性に言及しており、業界の反応は大きいです。安全性を担う研究者の役割そのものが変わっていく可能性を示した点で、単なる技術デモを超えた意味を持ちます。
一方で懸念もあります。Automated alignment is harder than you thinkという論文は、自動化された研究エージェントが意図的に妨害しなくても、もっともらしいが誤った安全性評価を出し、結果として不安全なモデルがそのまま世に出てしまうリスクを指摘しています。ベンチマーク自体が実際のアライメント目標を正しく反映しているかどうかが、今後の焦点になりそうです。
開発者にとっても無関係な話ではありません。自社で使うAIモデルの挙動を細かく調整したり、安全対策を検証したりする場面で、AARのように「自動で改善案を探して検証する」ループを、自分たちの評価基準に沿って回せる可能性が出てきます。社内向けのAIアシスタントやエージェントを運用しているチームなら、安全性チェックの一部を自動化する発想は今後の検討課題になりそうです。
まとめ
Anthropicは、AIにアライメント改善を任せる手法「AAR」を発表し、10種のベンチマーク全てで人間の熟練研究者を上回る成果を、大幅に低いコストで実現しました。再帰的自己改善に向けた具体的な成果である一方、ベンチマークの妥当性という宿題も残っています。今後の追試や第三者検証の動向に注目したいところです。
参考リンク
- Automated Researchers Can Reliably Mitigate Alignment Failures
- An Anthropic researcher just gave us a peek at self-improving AI – TechCrunch
- Automated alignment is harder than you think
アイキャッチ画像: Photo by Google DeepMind on Unsplash
