LLM（大規模言語モデル）エージェントが実際の業務最適化問題をどこまで解けるかを測る新ベンチマーク「ORAgentBench」が、2026年6月18日にarXivで公開されました。107件の実務的なタスクに対して14種類のエージェント構成を評価した結果、最高スコアは35.51%にとどまり、難易度の高いタスクでは20.59%まで落ち込みました。コードを生成するだけでなく「使える意思決定」を実現するには、現状のエージェントに大きな課題が残ることが示されています。
背景と文脈
オペレーションズ・リサーチ（OR：在庫管理・配送計画・生産スケジューリングなど、数理的手法で業務上の意思決定を最適化する学術分野）は製造・物流・金融などで長年活用されてきました。近年、LLMを使って自律的にORタスクを解かせる試みが増えており、これを評価するためのベンチマークが求められていました。
既存の評価方法にはいくつかの問題がありました。モデルの構築と求解を分けてテストする設計が多く、実務の端から端（問題の理解・モデルの設計・コードの実装・結果の検証）を通して評価するものが少なかったのです。また、単純化されたサンプルを使うケースが多く、現実のビジネス制約を反映したタスクが乏しいという指摘もありました。
ORAgentBenchはこれらの課題に正面から取り組んでいます。論文を執筆したのは李嘉俊らを含む研究者グループで、107件のタスクはすべて人間の専門家がレビューしたものです。タスクには複数のデータファイルと設定ファイルが含まれており、エージェントは孤立した環境で実行しながら、最終的な意思決定として使えるアウトプットを出すことが求められます。
技術/ビジネス面
評価では14種類のエージェント・モデル構成を試しています。採点は「スキーマ（出力の形式が正しいか）」「実行可能性（制約を満たしているか）」「解の品質（目的関数の値が十分か）」の3段階で行われ、最終的な合否判定には隠されたバリデーターが使われました。
最高スコアのエージェントが達成したのは全タスク中35.51%のパス率です。難しいタスクに限ると20.59%まで下がります。注目すべきは「構造的には正しいアウトプットを出せているのに、品質水準に届かない」ケースが多いことです。形式は合格でも中身が不十分という状況は、エージェントが問題の表層的な仕様は理解できても、ビジネス的に使えるレベルの答えまで到達できていないことを示しています。
失敗パターンとして論文が挙げるのは以下の4つです。第一に「業務ルールの読み飛ばし」——問題文に書かれた実務上の制約を見落とす。第二に「問題定式化の脆弱性」——最適化モデルの組み立てが壊れやすく、データが変わると崩れる。第三に「解の構築の弱さ」——解を組み立てるアルゴリズムの選択や実装が不十分。第四に「最適化の甘さ」——実行可能な解は出せても最適解には程遠い。OR固有の手続き的スキルを注入することで難しいタスクの実行可能性は上がりましたが、解の品質やパス率の改善には繋がらなかったとも報告されています。
これからどうなるか
ORAgentBenchの結果は、LLMエージェントへの期待値を再調整する材料を提供しています。「エージェントに投げれば難しい意思決定も自動化できる」という楽観論に対し、今回のデータは「ビジネスで実際に使える水準には程遠い」と示しています。特に製造・物流・金融の最適化業務への自動化適用を検討している開発者にとっては、現時点でのエージェントの能力を正確に把握する上で有益なベンチマークです。
論文は現段階での自律的解決より「人間の専門家とエージェントが協働する形」が現実的だという示唆も含んでいます。エージェントを完全自律として使うより、問題の定式化や初期解の生成を補助するツールとして位置づける方が、現在の能力にフィットした使い方といえます。
研究の方向性としては、OR固有の知識をファインチューニング（特定タスク向けに追加学習させる手法）で組み込む試みや、解の品質を自己評価できるフィードバックループの設計が次のアプローチとして示唆されています。既存の最適化ソルバーとエージェントを組み合わせるハイブリッド手法も有望です。自社のERPや在庫管理システムにエージェントを組み込む際は、まず評価ベンチマークを設けてから本番投入する設計が不可欠でしょう。
まとめ
ORAgentBenchはLLMエージェントの業務最適化能力を厳密に測った初めての試みのひとつです。最高35%というスコアは「まだ使えない」という証左でありながら、課題が何かを具体的に示している点で前進でもあります。自律的な業務意思決定AIは可能性の段階にとどまっており、現実的な適用には人間との協働設計が求められます。
参考リンク
アイキャッチ画像: Photo by Osarugue Igbinoba on Unsplash
