AIエージェントが長いツール出力をファイルに逃がして必要な部分だけ読む設計は、いまや広く使われています。この設計で正答率がどこで失われるかを調べた論文が公開されました。GPT-5.1では検索経由で読むと正答率が11.3ポイント下がり、Claude Opus 4.6とSonnet 4.6では目立った低下が見られませんでした。計算自体は合っているのに、答えの根拠に別のファイルを使ってしまう「証拠のすり替え」が原因だと著者らは分析しています。
背景と文脈
LLM（Large Language Model、大規模言語モデル）エージェントは、コマンドやシミュレーターを実行し、その出力を読んで答えを出します。出力が長くなると、コンテキストウィンドウ（モデルが一度に読める文章量の上限）に収まりません。そこで多くのハーネス（エージェントを動かす実行環境）は、出力をファイルに保存し、目次や検索で必要な部分だけ読ませる方式を取っています。
この方式はトークンの節約になる一方、精度への影響は十分に測られてきませんでした。最終的な正答率だけを比べても、「計算を間違えた」のか「読み方を間違えた」のかを区別できないためです。
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracyは、この2つを切り分けることに挑んだ論文です。著者はKe Zhang氏、Maziar Raissi氏らで、10月19日に投稿されました。
技術/ビジネス面
実験の舞台は、米地質調査所の地球化学シミュレーターPHREEQCです。水溶液の化学反応を計算するツールで、レポートは最大84万6,800文字に達します。結果が決定的に決まるため、出力されたどの数値も出どころをたどれます。著者らは実行で正解を確かめた158問の選択式問題を用意しました。
レポートをコンテキストに直接入れる場合と、目次から読ませる場合を比べたところ、GPT-5.1は11.3ポイント、GPT-5.2は7.9ポイント下がりました。さらに記録した1万1,007回のシミュレーター呼び出しを再実行して調べると、GPT系は正しい値を計算できている頻度がほぼ変わっていませんでした。
違いは根拠の選び方にありました。検索方式では、GPT系がレポートを読まずに、自分で出力させた精度の高いファイルから答えを作る傾向がありました。その値を丸める際に隣の選択肢を選んでしまうのです。シミュレーションを固定しても、GPT-5.2は9.4ポイントを失いました。GPT-5.4はシミュレーションの成功率が上がった分で約10ポイントの損失が隠れ、見かけの差はほぼゼロになっていました。
対策の効果も測っています。「正式な出力はこのファイル」と明示すると、GPT系3モデルで6.3〜7.9ポイント改善しました。一方、「正しく丸めて」と指示するだけでは効果がありませんでした。
これからどうなるか
この論文の教訓は、最終的な正答率が同じでも、中身では別々の損失と改善が打ち消し合っている場合があることです。GPT-5.4の例のように、平均点だけを見ていると設計上の欠点を見逃します。コンテキスト管理の方式を比べるときは、どの段階で精度が落ちたかを分けて測る必要があります。
実装者にとってはすぐ試せる示唆があります。自作のエージェントでツール出力をファイルに逃がしているなら、システムプロンプトで「答えの根拠にすべき正本」を名指しするだけで精度が戻る可能性があります。収まる長さの出力は無理に逃がさず、そのままコンテキストに入れる方が安全な場面もありそうです。
まとめ
ツール出力を検索で読ませる設計は、モデルによっては根拠のすり替えを招き、正答率を最大11.3ポイント下げました。Claude系では低下が見られず、モデルごとの癖が出ています。正本のファイルを明示する簡単な工夫で多くを取り戻せる点が実用的です。
参考リンク
- Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy（arXiv）
- arXiv cs.AI recent
アイキャッチ画像: Photo by Jess Bailey on Unsplash
