複数のタスクを1つの予算でこなす場面で、LLM（Large Language Model：大量のテキストで学習し、対話や推論を行う大規模言語モデル）はどれだけ賢く立ち回れるのでしょうか。新しいベンチマーク（性能を測る評価基準）「R³-Bench」の検証によると、72通りのテストケースのうち71通りで、モデルは理論上出せるはずの実力を発揮できていませんでした。均等に予算を配れば良い結果が出るのに、モデル自身の判断がかえって足を引っ張るケースも目立ちます。
背景と文脈
これまでのLLMベンチマークは、1問ごとに独立した試行回数や計算資源を与えて採点する形式が主流でした。1つの数学問題に何回まで挑戦できるか、1つのコーディング課題に何秒使えるかを個別に決め、モデルの素の実力を測る設計です。
しかし実際のAI活用は違います。開発者が複数のチケットをまとめてAIエージェントに処理させる、限られたAPI呼び出し回数の中で多数の問い合わせを捌かせるなど、複数タスクにまたがって「限られた予算」を配分する場面がほとんどです。1問ごとの実力が高くても、全体で見ると時間やトークンの配分に失敗し、成果が伸び悩む恐れがあります。今回の論文は、認知科学で使われる「資源合理性（resource rationality：限られた時間や労力をどれだけ賢く配分できるかを測る考え方）」という概念をLLM評価に持ち込みました。人間の意思決定研究で培われた枠組みをAIの評価軸に応用した点が新しい試みです。
提案されたR³-Benchは、数学・競技プログラミング・抽象推論という3領域にまたがる6問セットを使います。特徴的なのは、6問すべてに使える予算を1つだけ与える点です。ツールを使わない設定と、外部ツールを呼び出せるエージェント設定の両方で評価しています。個別配点ではなく共有予算という制約により、モデルが「どの問題にどれだけ時間や試行回数をかけるべきか」を自ら判断する能力を直接測れます。単体タスクの正答率だけを見る従来型のベンチマークでは、この種の判断力は見落とされがちでした。
技術/ビジネス面
研究チームは各モデルの実力を測る基準として「経験的オラクル（empirical oracle：理想的な予算配分を行った場合に達成できる成績の目安）」を設定しました。単独問題ごとの実力を積み上げ、共有予算下で理論上どこまで到達できるかを算出する仕組みです。単体タスクの成績を積み上げただけの理想値であり、モデルの潜在能力の上限を示す物差しといえます。
この基準値と実際の成績を比べた結果、72通りのテストケースのうち71通りで、オラクルが実際のモデルの成績を上回りました。ほぼ全てのケースで、モデルは持っている実力を発揮しきれていません。さらに軌跡（トライアルの過程）を分析すると、複数の予算配分戦略（scheduling：どの問題にどの順番でどれだけ資源を割り当てるかの計画）を試しても改善しきれない失敗パターンが見えてきました。ある問題に予算をかけすぎて他の問題に回す余力を失う、逆に早々に見切りをつけて解けたはずの問題を取りこぼすといった傾向が共通して見られます。
特に注目すべきは、6モデル中4モデルで「単純に均等に予算を配分するだけ」の戦略が、モデル自身が実際に行った配分よりも良い成績を出した点です。一見賢く時間や試行回数を割り振っているように見えても、結果的には均等配分に負けてしまいます。主要評価は6モデルで実施し、うち3モデルはタスク数が多く時間的圧力が強い「エージェント的な圧力」下での診断分析も受けています。
これからどうなるか
この結果は、AIエージェントに複数タスクをまとめて任せる運用の設計に直結します。単体の問題を解く能力（素の知能）は高くても、複数タスクを横断した戦略的な資源配分は別の能力だと分かったためです。複数のチケットを一括処理させるバッチ処理や、限られたAPI予算内で多数の問い合わせを捌かせる設計では、性能が理論値より大きく劣化する可能性があります。
開発者にとっては、AIエージェントに複数タスクを渡す際のコスト予測や時間見積もりが、単体タスクのベンチマーク結果通りにはいかない点に注意が必要です。CI（継続的インテグレーション）上で複数のチェックをAIエージェントにまとめて任せる設計では、あえて均等に予算を割り振るシンプルな運用の方が、モデル任せの動的配分より安定する場合もあります。
今後は、モデル自身に資源配分の戦略を明示的に学習させる手法や、外部からスケジューリングを補助する仕組みの研究が進むと見込まれます。
まとめ
R³-Benchは、複数タスクに共有予算を配分する新しい評価軸をLLMベンチマークに導入しました。72件中71件でモデルは理論上の実力を発揮できず、均等配分にすら劣る例が6モデル中4例確認されました。単独問題を解く実力と、複数タスクを横断した資源配分の戦略は別物だと示す結果です。AIエージェントの実運用設計を考えるうえで見逃せない知見といえます。
参考リンク
アイキャッチ画像: Photo by Google DeepMind on Unsplash
