Cheng Xu氏らの研究チームが、LLM（Large Language Model、大規模言語モデル）エージェントの「自己改善」を報告する多くの研究に、測定方法の欠陥による見かけ上の改善が紛れ込んでいると実証しました。論文Phantom Gains: Auditing Self-Improvement Against a Measured Nullは、報告結果を逆転させかねない7種類の測定上の欠陥を特定しています。厳密な統計検定を適用すると、有意な改善は一切検出されませんでした。
背景と文脈
2026年に入り、LLMエージェントが自分自身の出力を使って自分を訓練し、性能を高める「自己改善」の手法が相次いで報告されています。外部の教師モデルに頼らず能力を伸ばせる手法とされ、コストを抑えながら性能を拡張する手段として関心を集めてきました。エージェントが自分の解答を検証し、良かった例だけを次の訓練に使う仕組みは、開発コストの削減につながるとして期待も大きい分野です。
ただし、こうした報告の多くは訓練前後の単純な比較に基づいています。単一のgreedyデコーディング(もっとも確率の高い単語を都度選んで文章を生成する方式)による評価は、まったく訓練していないモデルにさえ「能力が変化したように見える」結果を生み出します。原因は推論バッチ処理(複数のリクエストをまとめて処理する仕組み)の副作用です。バッチの組み合わせ次第で、同じ入力への出力がわずかに変わってしまい、比較対象がずれてしまいます。
研究チームは、こうした測定上の揺らぎが自己改善の「効果」として誤って報告されている可能性を疑い、体系的な監査に乗り出しました。監査の対象は、単一の実行結果を鵜呑みにせず、統計的な有意性まで踏み込んで検証する点が従来の評価と異なります。
技術/ビジネス面
研究チームは、自己訓練の成功度を測る「拡張統計量」という指標を検証しました。すると、まったく訓練していないベースモデルにさえ0.280という自己訓練率が割り当てられることが判明しました。訓練していないのに「改善した」と出てしまう、欠陥のある指標だったわけです。
一般的な自己訓練手法である「閾値修復」(モデルが自分で問題を解き直し、一定の基準を満たした修正だけを採用する手法)も検証しています。偽発見率(本物の効果と偶然のノイズを統計的に区別する厳密な検定手法)を管理した正確な統計検定をホールドアウトの再現データに適用したところ、有意な改善は一切検出されませんでした。よく使われる手法でも、厳密な検定では再現に失敗したことになります。
対照的に、外部蒸留(自分より強い教師モデルの出力から学習する手法)には実際の効果が確認されました。ベースモデルがめったに解けない難しい問題を改善する働きが見られたのです。3種類の自己訓練手法では、この効果は見られませんでした。回帰分析では、蒸留のほうが全体の改善幅が大きいこと(p<10^-8、統計的に極めて有意)が、この差を説明すると分かりました。さらに自己訓練は、以前解けていた問題を壊してしまう割合が、測定されたベースラインを大きく上回っていました。性能を伸ばす一方で、既存の正解を静かに失っていたわけです。
検証に使ったコードはchengxuphd/phantom-gainsとしてGitHubで公開されています。
これからどうなるか
研究チームは「遷移レベルの監査には、報告する統計量ごとに個別に測定されたnull(訓練していない場合の基準値)が必要」と提言しています。すでに多くの研究で行われている複数アーム比較のベースライン再現実験から、このnullを取得できるとしています。特別な追加実験を組まなくても、既存の実験デザインの中でnullを確保できる点が実務上のポイントです。
2026年は「自己改善エージェント」が話題になっていますが、今回の論文はその多くの主張の測定方法に警鐘を鳴らす内容です。自社であれ他社であれ、「自己改善で性能がX%向上した」というベンチマーク結果を見たときは、その改善が適切なベースラインと比較されているか確認する姿勢が欠かせません。
自前のエージェント評価パイプラインを組む際も、before/afterの単純比較だけでは不十分です。未訓練モデルで同じ測定パイプラインを走らせた再現結果と突き合わせることで、見かけ上の改善を排除しやすくなります。デコーディング設定やバッチサイズを固定した上で複数回評価し、ばらつきの幅を把握しておく作業も、社内評価基盤を作る上で参考になります。単発の実行結果だけを根拠に「性能が上がった」と判断しない姿勢が、今後の評価設計に求められそうです。
まとめ
Phantom Gainsは、LLMエージェントの自己改善研究に潜む測定上の欠陥を体系的に示した論文です。単一デコーディングの副作用や欠陥のある指標が、見かけ上の改善を生んでいました。厳密な統計検定では自己訓練の有意な効果は確認されず、効果が裏付けられたのは外部蒸留のみでした。ベンチマーク結果を見る際は、測定されたnullとの比較が欠かせません。
参考リンク
アイキャッチ画像: Photo by Google DeepMind on Unsplash
