Writer社のMuayad Sayed Ali氏らAI研究者32人が、企業向けAIエージェントの運用コストを左右するのはモデル選択よりも「オーケストレーション（複数のAIエージェントやツール呼び出しの順序・実行フローを制御する仕組み。以下ハーネス）」層の設計だと示す論文を発表しました。The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AIと題する論文です。22件の固定評価タスクとClaude Sonnet 4.6など6種のモデルを使った比較実験で、独自ハーネス「Writer Agent Harness」が従来型の処理ループに比べタスクあたりのコストを41%、処理時間を44%削減しつつ品質を維持したと報告しています。
背景と文脈
企業がAIエージェントを導入する際、これまでの議論の中心は「どのモデルを選ぶか」でした。MMLUやSWE-benchのような公開ベンチマークでモデル同士の性能を比べ、より高精度・低価格なモデルへ乗り換える発想が主流です。一方で、モデルを呼び出す周辺の仕組み、つまり文脈（コンテキスト）をどう組み立て、どのツールをいつ使わせ、エージェントの応答をどう連鎖させるかという「ハーネス」部分は、比較の対象になりにくい領域でした。
実際の業務システムでは、同じモデルでもプロンプトの組み方やツール呼び出しの回数次第でトークン消費量が大きく変わります。無駄な文脈を毎回送り直したり、不要なツール呼び出しを繰り返したりすれば、コストと待ち時間は膨らみます。Writer社のチームは、この「見えにくいコスト要因」を22件の固定タスクという統制環境で定量化し、モデル選択とハーネス設計のどちらがコストに効くのかを直接比較しました。企業がAIエージェントを本番導入する段階に入り、トークン課金の総額が経営判断に直結し始めたことも、この検証の背景にあります。
これまでも、モデル周辺の実装（スキャフォールディング）がエージェントの成否を左右するという指摘は開発者の間で経験則として語られてきました。ただし、複数モデル・複数タスクを同一条件で並べ、コストと品質の両面から数値で裏付けた研究は多くありませんでした。今回の論文は、22件のタスクを固定して条件をそろえ、ハーネスという変数だけを切り出して比較した点に価値があります。
技術/ビジネス面
実験では、Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1、Palmyra X6の6モデルそれぞれに対し、一般的な本番運用で使われる従来型のオーケストレーションと、Writer社が開発した「Writer Agent Harness」を適用し、22件の固定タスクで結果を比較しています。ハーネス側は文脈の組み立て方やツール公開の範囲、エージェントのターン進行を最適化した設計です。
平均値で見ると、タスクあたりのコストは0.21ドルから0.12ドルへ41%減少、処理時間は48秒から27秒へ44%短縮、消費トークン数は14,200から8,800へ38%削減されました。品質スコアは0.78から0.81とむしろ微増し、精度を犠牲にしていません。コストあたりの品質（quality-per-dollar）は82%向上、100万トークンあたりのタスク完了数も54.9件から92.0件へ増えています。この傾向は6モデル全てで確認され、モデルごとのコスト削減幅は33〜61%とばらつきはあるものの、どのモデルでもハーネス側が優位でした。論文は「オーケストレーション層がタスクあたりのコストを動かした度合いは、モデル選択肢の価格差の幅よりも大きかった」と結論づけています。
これからどうなるか
この結果が広く再現されれば、企業のAI導入戦略は「どのモデルに乗り換えるか」から「ハーネスをどう設計するか」へ重心が移る可能性があります。特にモデルAPIの価格差が縮まっている現状では、周辺の実装が総コストを左右する比重が増すはずです。ただし今回の実験はWriter社自身のハーネス製品を評価対象に含んでおり、第三者による独立検証の有無は注視すべき点です。今後、他社製ハーネスやオープンソースのエージェントフレームワークでも同様の検証が進むか、追いかける価値があります。
開発者目線では、自作のAIエージェントで無駄な文脈の再送信やツール呼び出しの重複がないか、ターンごとの処理設計を見直すだけでもコストと応答速度を改善できる余地があることを示唆しています。モデルのグレードを上げる前に、まず自分のオーケストレーション部分を点検する価値がありそうです。
まとめ
Writer社の研究チームは、AIエージェントのコストを左右するのはモデル選択よりオーケストレーション設計だと実験で示しました。6モデル共通でコスト41%減、処理時間44%減を達成しつつ品質は維持されており、企業のAI活用における設計の重要性を裏付ける結果です。
参考リンク
アイキャッチ画像: Photo by Shubham Dhage on Unsplash
