arXivに公開された論文「FORGE（Failure-Optimized Reflective Graduation and Evolution）」は、LLM（Large Language Model、大規模言語モデル）エージェントがモデルの重みを更新せずに自己改善できる集団型プロトコルを提案しています。ネットワーク防御シミュレーションでの評価では、ゼロショット（事前学習済みモデルをそのまま使うアプローチ）比で1.7〜7.7倍、既存の反省型手法Reflexionと比べて29〜72%の性能改善を達成しました。ファインチューニング（特定タスク向けにモデルの重みを追加学習する手法）なしでエージェントを継続改善できる実践的なパターンとして、エージェント開発者の注目を集めています。
背景と文脈
LLMを使ったAIエージェント開発では、ファインチューニングによる性能改善が主流でした。数十億〜数千億パラメータを持つ大規模モデルの追加学習には、大量のGPUリソースと十分な量の教師データが必要です。クラウドAPIで提供されるモデルはそもそも重みを直接変更できないケースも多く、スタートアップや個人開発者がエージェントを継続的に改善し続けることは、コスト・権限の両面で難しい状況があります。
こうした課題への一つの答えとして、外部メモリを使った「重み更新なし」の改善アプローチが研究されてきました。先駆的な存在が2022年に提案されたReflexionです。Reflexionはエージェントが自分の失敗を言語で振り返り（リフレクション）、次のタスクへの指示（プロンプト）に経験則を付加することで同じ失敗を避けながら性能を上げます。モデルの重みを変えずにAPIコストだけで改善ループを回せる点が魅力で、多くのエージェント実装で参考にされてきました。
ただしReflexionには限界もあります。1体のエージェントが失敗から順番に学ぶ単一ストリーム設計では、多様な失敗パターンを素早く網羅できません。また誤ったリフレクションが蓄積すると意思決定が劣化するリスクもあり、長時間稼働の本番環境では品質の担保が難しくなります。FORGEはこうした課題を「集団（ポピュレーション）」という概念で解決しようとした研究です。
技術/ビジネス面
FORGEの核心は「集団ブロードキャスト」という仕組みです。複数のエージェントインスタンスを並列で走らせ、それぞれが異なる戦略でタスクに挑みます。失敗した行動ログを専用のリフレクションエージェントが分析し、「なぜ失敗したか」をテキストのヒューリスティック（経験則）やfew-shot例（成功事例の短いデモ）へ変換します。この知識は全エージェントに共有（ブロードキャスト）され、集団全体の意思決定に活かされます。単一ストリームのReflexionと異なり、並列実行により多様な失敗パターンを短期間で収集できる点が大きな違いです。
FORGEはさらに「卒業基準（Graduation criteria）」を設けています。十分な成功回数を重ねたエージェントの行動パターンをベストプラクティスとして保存し、次世代エージェントへ引き継ぐ設計です。これにより、質の低いリフレクションが無制限に蓄積する問題を防ぎながら、集団の記憶を継続的に更新できます。
評価にはCybORG CAGE-2というネットワーク防御シミュレーション環境を使用しました。攻撃エージェントが仕掛けるサイバー攻撃をAIが防ぐシナリオで、長期的な意思決定能力が試されます。4種類のLLMファミリーで実験した結果、ゼロショット比で1.7〜7.7倍、Reflexion比で29〜72%の改善を確認しました。重大な失敗（即時ゲームオーバーに相当するミス）の発生率は約1%まで低下しており、安定性の面でも有望な結果です。注目すべき知見として、「弱いベースラインモデルほど改善幅が大きい」点が挙げられています。高性能・高コストなモデルへの依存を下げながら品質を確保する方向性を示しています。
これからどうなるか
FORGEの手法は、再学習なしにエージェントを継続改善したい開発者に直接的な指針を与えます。LangGraphやAutoGen（複数エージェントの協調動作を管理するオープンソースライブラリ）に組み込む形で、本番環境の失敗ログからリフレクション知識を生成し集団内に共有する設計を実装することが現実的な選択肢になります。既存のRAGパイプライン（Retrieval-Augmented Generation、検索拡張生成：外部知識を検索してモデルの回答精度を高める手法）と組み合わせ、失敗記憶を検索可能な形式で蓄積するアーキテクチャとも相性がよいでしょう。
課題としては、評価環境がネットワーク防御という特定のゲーム的シナリオに限られていることです。ソフトウェア開発補助・文書処理・カスタマーサポートなど別ドメインへの汎化性はまだ未検証です。また、リフレクション生成のたびにLLMのAPI呼び出しが発生するため、スループットとコストのバランスを設計段階で試算しておく必要があります。
「弱いモデルほど恩恵が大きい」という知見は、コスト制約の高い環境でも実用的な改善が見込めることを示しています。ファインチューニングの権限やリソースが得られない場面でも、本番での失敗データをそのまま集団メモリの改善に変えられる点は、エージェント開発の裾野を広げる可能性があります。
まとめ
FORGEはモデルの重みを変えずにLLMエージェントを集団的に改善する新手法です。失敗軌跡を全エージェントに共有する「集団ブロードキャスト」と卒業基準による記憶の品質管理により、Reflexion比で最大72%の性能改善を達成しました。ファインチューニングが難しい環境で継続的にエージェントを改善したい開発者にとって、実装を検討する価値のある設計パターンです。
参考リンク
アイキャッチ画像: Photo by ThisisEngineering on Unsplash
