AIコーディングエージェントを、実際に動かす環境そのままで強化学習（RL：Reinforcement Learning。行動の結果に応じて報酬を与え、望ましい振る舞いを学習させる手法）で鍛えられるオープンソースの新しい枠組み「OpenForgeRL」が公開されました。Claude CodeやCodexのような複雑な「ハーネス」（モデルの推論や外部ツール呼び出しをとりまとめる制御層）を丸ごと学習対象にできる点が特徴で、独自ツールを使うエージェントを自前でRL訓練したい開発チームに新しい選択肢を示しています。
背景と文脈
コーディング支援AIは、文章を生成するだけの存在から、ファイル操作やテスト実行、外部ツール呼び出しを何度も繰り返しながらタスクをこなす「エージェント型」へと進化してきました。Claude CodeやCodexといった代表的なツールは、この一連のやり取りを取りまとめる「ハーネス」を備えており、モデル単体の性能だけでなく、ハーネス込みでの振る舞いが実用性を大きく左右します。
一方で、モデルをRLで鍛える既存の基盤は、単純な一問一答形式のやり取りを前提に設計されてきました。ハーネスは複数のプロセスにまたがって状態を保持し続けるため、veRL（大規模言語モデル向けの代表的なオープンソースRL訓練ライブラリ）のような既存基盤では、ハーネスを経由したやり取りをそのまま学習データとして扱うのが難しいという問題がありました。そのため多くのチームは、簡略化した模擬環境でエージェントを訓練したうえで、実運用のハーネスに載せ替えるという手順を踏まざるを得ませんでした。
模擬環境と本番のハーネスとでは、ツールの応答速度や失敗の起こり方、外部システムとのやり取りの手順まで細部が異なります。訓練で高得点だったモデルが、本番のハーネスに載せた途端にツールをうまく呼び出せなくなる、という不整合も珍しくありませんでした。研究者たちは、この訓練と本番のズレこそがエージェント開発の見えにくいボトルネックだと指摘しています。OpenForgeRLは、この長年の溝を埋めることを狙った基盤です。
技術/ビジネス面
論文「OpenForgeRL: Train Harness-native Agents in Any Environment」（2026年7月23日提出）によると、仕組みは大きく2つです。1つ目は、ハーネスがモデルへ送る呼び出しを横取りして記録する軽量な「プロキシ」です。これにより、ハーネス側のコードを書き換えずに、実際のやり取りをveRLなど既存のRL訓練コードがそのまま使える学習データに変換できます。2つ目は、訓練の各試行（ロールアウト）をそれぞれ独立したコンテナ上で動かすKubernetesオーケストレーターです。これにより、多数のハーネス・環境の組み合わせを並列かつ大規模に走らせられます。両者を組み合わせることで、実際に本番投入するハーネスとツールをそのまま使い、その場でモデルに報酬を与えて鍛える、という訓練が可能になりました。
成果として、ツール利用エージェント向けベンチマーク「ClawEval」でpass@1（1回の試行で正解する割合）31.7、pass@3（3回試すうち少なくとも1回正解する割合）55.9を記録しました。加えてPC操作エージェント向けの「OSWorld-Verified」で37.7、ブラウザ操作エージェント向けの「WebVoyager」で72.3を達成し、同規模のオープンなモデルを上回っています。論文によれば、GUI操作の領域では自身より何倍も大きいモデルに匹敵する結果も出ています。一方で、ハーネスによって学習の難しさに差があることも分かり、自己検証やツールの使いこなしは向上した一方、間違いに気づいて途中で修正する「エラー復帰」の能力は依然として弱いままだと報告されています。
これからどうなるか
OpenForgeRLがオープンソースで公開された意味は、独自のコーディングエージェントやツール利用エージェントを作っているチームにとって小さくありません。これまでプロンプト調整や少数事例での模倣にとどまっていた自社ハーネスの改善を、実際のツール呼び出しを含めた強化学習というかたちで直接行えるようになるからです。たとえば社内向けCLIやカスタムAPIを組み込んだ独自ハーネスを持つ場合、それをそのまま訓練環境として使い、目的のタスク達成率を報酬にモデルを鍛え直す、という運用が現実的になります。
ただし、エラー復帰の弱さは実運用でそのまま効いてくる部分です。長いタスクの途中でエージェントが誤った判断をしたとき、自力で軌道修正できるとは限りません。当面は人の目によるレビューや、失敗時に安全に停止する仕組みと組み合わせて使うのが現実的でしょう。RL訓練がエージェントの信頼性を底上げする有力な手段になりつつある一方、完全に手離れした自律エージェントにはまだ距離があると見ておくべきです。
まとめ
OpenForgeRLは、Claude CodeやCodexのような実運用ハーネスをそのまま学習対象にできるオープンソースのRL訓練基盤です。ハーネスの呼び出しを記録するプロキシと、試行を並列実行するKubernetesオーケストレーターの組み合わせで、訓練環境と本番環境のズレという長年の課題に取り組んでいます。ベンチマークでは同規模モデルを上回った一方、エラー復帰は今後の課題として残りました。
参考リンク
- OpenForgeRL: Train Harness-native Agents in Any Environment
- veRL（GitHubリポジトリ）
- Claude Code（Anthropic）
- Codex（OpenAI）
アイキャッチ画像: Photo by Matthieu Joannon on Unsplash
