Nvidiaの研究チームが、AIエージェント(複数の手順を自ら判断し実行するAIシステム)を動かす仕組みについて、注目すべき結果を示しました。モデルを取り巻く実行環境「ハーネス」を独自に設計し直すと、Claude Opus 5の推論ベンチマークでのスコアが30%から100%まで跳ね上がったのです。モデル自体は一切変更していません。周辺のソフトウェア設計を工夫しただけで、スコアが3倍以上に伸びた計算になります。モデル選びだけに頼ってきた開発者にとって見逃せない結果です。
背景と文脈
AIエージェント開発は、これまで新モデルの性能競争が中心でした。OpenAIのGPTシリーズやGoogleのGeminiなど、数か月おきに新モデルが登場し、その都度ベンチマークの順位が入れ替わってきました。開発者の関心も、どのモデルを選ぶかに集中しがちでした。
しかし実際の運用では、モデルの推論力だけで長時間タスクを完遂するのは困難です。エージェントは何十、何百というステップを重ねながら試行錯誤を続けます。途中経過を記憶し、脱線した際に軌道修正する仕組みがなければ、同じ失敗を繰り返してしまいます。
特に長時間にわたる自律的なタスクでは、この差が顕著になります。数百ステップに及ぶ探索の中で、モデルが同じ間違いを繰り返したり、有効な手がかりを忘れたりする場面は珍しくありません。こうした問題は、モデルの性能を上げるだけでは解決しにくいという見方が、開発者の間で徐々に広がってきました。
この課題を浮き彫りにしたのが、Nvidiaの研究チームによる今回の検証です。TechCrunchの記事によると、複雑なタスクほどモデル本体より実行環境の設計が結果を左右すると報じられています。データブリックスのCEOアリ・ゴドシ氏も、ハーネスの選び方次第でコストが2倍に膨らむ可能性があると指摘しています。同社は従業員1万1000人規模の自社基盤で、モデルとハーネスの組み合わせを比較検証したと明らかにしました。
技術/ビジネス面
AVOは、Nvidiaが2026年3月にCUDAカーネル最適化用として開発した汎用コーディングエージェントです。DGX B200という高性能GPUサーバー上で7日間動かし続けました。その結果、既存のライブラリcuDNNを最大3.5%、FlashAttention-4を最大10.5%上回る性能を記録しています。今回はこの同じ仕組みを、ARC-AGI-3ベンチマーク(複雑な視覚パズルを使い、AIエージェントの汎用的な推論力を測る評価基準)に転用しています。
AVOの核となるのは、永続的メモリと監督層という2つの仕組みです。永続的メモリは、過去の試行結果や評価結果を保持し、同じ探索を繰り返さないようにします。監督層は全体の進み具合を見守り、行き詰まった際に別の戦略へ切り替えるよう主エージェントに促す役割を担います。環境とのやり取りを担うインターフェース部分だけを入れ替え、エージェント本体と記憶、監督の仕組みはそのまま使いました。
結果は明確でした。Claude Opus 5単体でのスコアは30%程度でした。AVOを組み込むと、指標RHAE(Relative Human Action Efficiency)で100.00を記録しています。RHAEは、人間の行動数を基準にした達成効率の指標です。25種類の環境、合計183レベルを全てクリアし、必要な行動回数は6,624回でした。比較対象のVISTAが同じ183レベルの攻略に7,542回を要したのに対し、約12%少ない行動数で達成しています。
これからどうなるか
この結果は、モデル選定に加えて実行環境の設計まで含めた総合評価の必要性を示唆します。データブリックスは既に、複数のモデルとハーネスを組み合わせて切り替えられるOmnigentというメタハーネスの開発を進めています。コストと性能のバランスを、モデル単体ではなくシステム全体で見極める動きが広がりそうです。
ハーネス設計の巧拙が性能をここまで左右する以上、ベンチマークの数値だけでモデルの優劣を判断するのは危険です。同じモデルでも実装次第で結果が大きく変わるため、比較には実行環境まで含めた検証が欠かせません。
開発者にとっての実務的な示唆もあります。自作のエージェント実装でも、メモリ管理やリトライ設計、監督ロジックを見直すだけで、精度が大きく改善する可能性があります。新しいモデルへの乗り換えを検討する前に、まず自分のハーネス設計を点検する価値がありそうです。ベンチマークの数値をモデル単体の実力と鵜呑みにしない視点も、今後は欠かせません。
まとめ
Nvidiaの検証は、AIエージェントの性能がモデル単体ではなく、周囲のハーネス設計によって大きく左右されることを示しました。Claude Opus 5はハーネス次第で30%から100%までスコアが伸びています。モデルの新旧を追うだけでなく、記憶管理や監督の仕組みまで見直す姿勢が、開発者に求められる時代になりそうです。
