推論能力の向上にはモデルを再学習するか、大量の試行をこなさせるかのどちらかが一般的でした。5月28日にarXivに投稿されたCORE（Contrastive Reflection Enables Rapid Improvements in Reasoning）という論文は、その常識に挑みます。成功した推論トレース（モデルが問題を解く際の思考過程の記録）と失敗した推論トレースを対比させ、短い自然言語のヒントとして蒸留するアルゴリズムです。わずか5サンプルから有意な推論改善を達成し、モデルの重みを更新しない非パラメトリック手法でありながら、重みを更新するアプローチと同等以上の性能を示しました。
背景と文脈
LLMの推論能力を向上させるアプローチは大きく2種類に分かれます。一つはモデルの重みを直接更新するパラメトリック手法で、RLVR（Reinforcement Learning with Verifiable Rewards、検証可能な正誤判定に基づく強化学習）やGRPO（Group Relative Policy Optimization、グループ相対方策最適化）が代表格です。もう一つは重みを変えずに外部の記憶やプロンプトを活用する非パラメトリック手法で、過去の推論トレースをそのまま記憶するエピソードRAG（Retrieval-Augmented Generation、検索拡張生成）などが挙げられます。
パラメトリック手法は効果が高い一方、数百のトレーニングサンプルと数千ロールアウト（モデルが試行して報酬を受け取るまでの一連の実行）が必要です。GPUコストだけでなく、学習パイプライン全体の管理が必要で、小規模チームや個人にとっては現実的でないケースが多くあります。
非パラメトリック手法はコストが低い反面、過去の推論をそのまま参照するだけでは「同じ失敗を繰り返す」問題を抜け出せません。COREはこの2つの課題を同時に解消するアプローチとして設計されています。
技術/ビジネス面
COREの仕組みは「対比」にあります。同じ問題について成功した推論トレースと失敗した推論トレースをペアで与え、「なぜ一方は成功し他方は失敗したか」を短い自然言語の洞察として抽出します。この洞察は「問題をより小さなステップに分解する」「条件の見落としを確認する」といった推論戦略の説明文となり、次の問題を解く際にプロンプトとして差し込まれます。
実験は4つの推論タスク（数学・論理・コード・科学的推論）を対象に評価しました。パラメトリック手法のGRPOと比較して少ないサンプル数で同等または優れた性能に到達し、非パラメトリック手法（GEPA・エピソードRAG・MemRL）より速く改善します。最も注目すべき点は、わずか5つのトレーニングサンプルから有意な改善を達成したことで、GRPOが数百サンプル・数千ロールアウトを要するのとは対照的です。
洞察は自然言語で格納されるため、推論戦略が有効な理由を人間が確認・修正できます。ブラックボックスになりがちな重み更新と異なり、解釈可能性が高い点も実用上の強みです。プロンプトトークン数も従来の非パラメトリック手法より少なく、コンテキストウィンドウを効率的に使えます。
これからどうなるか
COREが示す「5サンプルで改善可能」という性質は、本番環境のフィードバックループへの組み込みを現実的にします。ユーザーが誤りと指摘したレスポンスと正しいレスポンスをペアでCOREに与え続ければ、モデルの再トレーニングなしに推論品質を継続的に底上げする仕組みが構築できます。
開発者視点では、LLMを使ったコード生成・数学的なデータ処理・複数ステップのワークフロー実行といったタスクのエラー率を下げるために、COREをミドル層として挟むアーキテクチャが検討できます。特定ユースケースに特化させたい場面で、モデルプロバイダーへの依存度を下げながら精度調整できる実用的な手法です。今後はマルチモーダル推論への拡張や、他の非パラメトリック手法との組み合わせ評価が研究で試みられるでしょう。
まとめ
arXivのCORE論文は、成功・失敗の推論トレースを対比して自然言語の洞察を生成し、LLMの推論能力をわずか5サンプルから改善できることを示しました。重み更新不要で解釈可能性も高く、本番フィードバックループへの組み込みに有望です。コード生成や多段階推論タスクの精度底上げに直接活用できる手法として注目されます。
