Self-RefineとReflexion、反復サンプリングに完敗

AIモデルに自分の回答を批評させたり、書き直させたりする「自己添削」型の手法は、本当に精度を高めているのでしょうか。研究者Iliya Mirzaei氏が発表した論文は、Self-Refine（モデルが自分の出力を自己評価し書き直す手法）やReflexion（失敗を振り返り改善案を次の試行に反映させる手法）といった代表的な手法を、生成トークン数（コスト）を揃えたうえで「反復サンプリング」と厳密に比較しました。結果は、自己添削型の手法がことごとく反復サンプリングに敗れるという意外なものです。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

AIの精度を上げる工夫として、chain-of-thought（CoT：途中の考える過程を書き出させることで回答精度を高める手法）はすでに広く定着しています。近年はさらに一歩進み、モデル自身に出力を振り返らせて訂正させる「推論時スケーリング」の手法が注目を集めてきました。Self-RefineやReflexionはその代表格です。モデルに「もう一度考え直させる」ことで、一度だけ答えさせるより良い結果が出ると期待されてきました。

こうした自己添削系の発想は、じっくり時間をかけて考えるほど賢くなるとされる近年の推論特化モデルの流行とも重なり、コーディング用エージェントの実装でも似た仕組みを見かけるようになっています。ただし2024年にWang氏らが指摘した通り、同じ質問に何度も答えさせ、最も多く出た答えを採用する「反復サンプリング」という単純な方法だけでも、生成量を揃えて比べると意外に高い精度が出ることが分かっていました。とはいえこの指摘は点推定にとどまり、統計的な検定は伴っていませんでした。今回の論文は、この比較を有意差の検定つきで厳密にやり直した点に価値があります。

技術/ビジネス面

数式が書かれた黒板 — Photo by Bozhin Karaivanov on Unsplash

研究チームは、Self-RefineやSample More, Reflect Lessで扱うReflexion、Best-of-N（複数の回答案を出させ、モデル自身に一番良いものを選ばせる手法）、モデル同士に討論させる手法など計7種類を、1.5B・3B・7B（パラメータ数。数字が大きいほど表現力が高いモデルとされる）という3種類のオープンモデルで検証しました。対象は数学のベンチマーク2種、各150問。批評や検証に使ったぶんも含めて全トークンを数え、反復サンプリングと条件を揃えたうえで計36通りの比較を行っています。単純な多数決ではなく厳密な統計検定を挟んでいる点が、過去の追試との大きな違いです。

結果は明確でした。反復サンプリングより確実に優れていた手法はゼロ。逆に10通りは統計的に有意に劣っており、しかもその全てがモデルに自分の出力を検査させる「自己検査」型の手法でした。自己検査を伴う18通りの比較は、すべてマイナスの結果に終わっています。

Best-of-Nでは、モデル自身に選ばせるより単純に多数決を取る方が、1.5Bモデルで8.0〜11.3ポイント上回りました。しかしモデルが7Bまで大きくなると差は2.0〜1.3ポイントまで縮み、統計的な有意差は消えています。Self-Refineと、強制的にリトライさせたReflexionは、7Bモデルでも反復サンプリングを3.6〜10.1ポイント下回ったままでした。最小モデルに至っては、Reflexionが一度も自分の誤りに気づかず、常に「自分の答えは正しい」と判定し続け、実質的に普通のchain-of-thoughtと変わらない動きになっていたといいます。

これからどうなるか

この結果が示すのは、複雑な内省の手順を組むより、単純に何度もサンプリングして多数決を取る方が、同じ計算コストで高い精度を出せる場合が多いという点です。自社のAIエージェントやチャットボットに自己添削のロジックを組み込んでいる開発者にとっては、実装の複雑さに見合う効果が本当に出ているか、見直す良いきっかけになりそうです。

特にコスト管理がシビアなプロダクション環境では、複雑な自己検査ステップを削って反復サンプリングに置き換えるだけで、レイテンシとコストの両方を改善できる可能性があります。例えば社内向けのQ&Aボットで「回答を自己チェックさせる」処理を挟んでいる場合、その処理を同じ予算ぶんのサンプル生成と多数決に置き換えるだけで精度が上がるケースもありそうです。もちろんタスクによっては自己添削が有効な場面も残るはずで、導入前に自分たちのユースケースで両方を比較してみる価値はあります。研究チームはコードとプロンプト、全生成結果、検証スクリプトをすべて公開しており、自分のユースケースで追試しやすい点も実務者にはありがたいポイントです。