論文Phantom Gains:LLM自己改善の「伸び」は測り方で出る

a black and white photo of a wall AI

LLM(大規模言語モデル)が自分の出力で学び直す「自己改善」の効果を、問題ごとに「解けるようになった・解けなくなった」で数えると、まったく訓練していないモデルでも変化が出てしまいます。Cheng Xu氏らの論文Phantom Gains: Auditing Self-Improvement Against a Measured Null(2026年8月20日公開)は、この見かけの伸びを生む測り方の問題を7つ挙げました。比べる相手として「訓練していないモデルを同じ手順で測った結果」を必ず用意するよう提言しています。

何を調べたか

研究チームは、Qwen3-8B に LoRA(モデルの一部だけを追加で学習させる方法)で自己訓練を3回くり返しました。同時に、何も訓練しないモデルを同じ評価の手順に通し、比べる基準にしています。この「訓練していないのに出る変化」を、論文は測定された null(基準値)と呼んでいます。

比べると、基準がないまま数えた場合に結論が逆になりうる問題が7つ見つかりました。たとえば訓練していないモデルでも、問題ごとの正誤が変わって見えます。主な原因は推論のバッチ処理(複数のリクエストをまとめて処理する仕組み)で、同じ入力でも出力が少し変わるためです。よく使われる、しきい値で変化を数える補正も、訓練していないモデルで0にならないことがわかりました。

わかったこと

graphical user interface
Photo by 2H Media on Unsplash

代わりの方法として、論文は問題ごとの正確検定を提案しています。基準のモデルを何度か走らせた結果をまとめて比べ、偽発見率(「変化あり」と判定したもののうち、実際は偶然だったものの割合)を抑えます。この方法で、訓練していないモデルの再実行どうしを比べると、変化は1つも検出されませんでした。偶然の揺れを「改善」と判定しない、ということです。

同じ条件で学習のしかたを比べると、外部蒸留(自分より強いモデルの出力から学ぶ方法)は、元のモデルがめったに解けない問題を伸ばしました。3種類の自己訓練では、この伸びは見られませんでした。回帰分析では、この差は主に蒸留のほうが全体の伸びが大きいことで説明できるとしています。

一方で、自己訓練は、もともと解けていた問題を解けなくする割合が、基準の揺れより高くなっていました。元のモデルが一度も解けない問題については、はっきりした結論は出ていません。

検証に使ったコードはchengxuphd/phantom-gainsとしてGitHubで公開されています。

開発者として試すなら

研究チームは、報告する数字ごとに、訓練していないモデルで測った基準値を用意するよう提言しています。複数の学習方法を比べる実験なら、すでにある基準モデルの再実行の結果から作れるとしています。

自分でモデルやエージェントの評価をするときも、学習の前と後を1回ずつ比べるだけでは足りません。訓練していないモデルを同じ手順で何度か走らせ、揺れの幅を先に測っておきます。バッチの大きさで出力が変わるので、評価のときはバッチの設定もそろえます。「自己改善で X% 伸びた」という発表を読むときは、この基準と比べた数字かどうかを確かめてください。

まとめ

Phantom Gains は、問題ごとの正誤の変化で自己改善を測ると、訓練していないモデルでも変化が出ることを示した論文です。基準と比べる方法で調べ直すと、苦手な問題を伸ばしたのは外部蒸留だけで、自己訓練は解けていた問題を落としていました。

参考リンク

アイキャッチ画像: Photo by Google DeepMind on Unsplash

タイトルとURLをコピーしました