AIコーディングエージェントのコストを下げるには、送るトークン数を減らせばよい——多くの開発者が抱くこの直感が崩れました。研究チームは、Claude Codeを使った2,908件の課金対象の実行ログを分析した論文Token Reduction Is Not Cost Reductionを発表し、ツール出力を38%削っても課金は逆に6.8%増えたと報告しています。プロンプトキャッシュの仕組みが実際の請求額の8割を占めており、トークン数だけを見た最適化は的外れになりがちだと示しました。
背景と文脈
Claude CodeのようなAIコーディングエージェントは、タスクを進めるたびに大量のテキストをAPIに送受信します。API課金は基本的に入出力のトークン（LLMが文章を処理する際に区切る最小単位）数に比例するため、「送る文章を短くすればコストは下がる」という発想は自然に見えます。実際、多くの開発チームがツールの出力を要約・圧縮したり、不要なログを削ったりして、トークン数を減らす工夫を重ねてきました。
しかし今回の研究チームは、この前提を実際の請求データで検証しました。対象は7つのリポジトリで実施された103のタスク、3種類のモデルを使った2,908件の課金対象実行です。条件をハッシュ値で固定してから比較するペア実験という厳密な設計により、トークン数の増減と実際の請求額の関係を統計的に洗い出しています。背景にあるのは、多くのLLM APIが備える「プロンプトキャッシュ（同じ文脈を再利用し、再計算のコストを抑える仕組み）」の存在です。この仕組みが課金構造を複雑にし、単純なトークン削減では説明できない挙動を生んでいます。これまでコンテキスト圧縮を扱う研究の多くは、送信トークン数の減少幅そのものを成果指標にしてきました。今回の研究は、その指標が実際の請求額と一致するとは限らないことを、大規模な実運用データで初めて突き詰めた点に特徴があります。
技術/ビジネス面
分析の結果、キャッシュの作成と読み込みを合わせた費用が、4要素で再構成したコストの約87%、実際の請求額の約80%を占めることが分かりました。課金の大部分は「新規に送ったトークンの量」ではなく「キャッシュがどう効くか」で決まっています。この構造の下では、送信トークンを減らしてもキャッシュのヒット率が下がれば再計算が増え、かえって費用が膨らむことがあります。実際、ツール出力の推定トークン量を38%削る介入を行うと、ペア比較で課金は6.8%高くなりました（95%信頼区間：+2.8%から+11.3%）。信頼区間は統計的なばらつきの範囲を示す指標で、ここでの増加は偶然とは考えにくい水準です。タスクごとのトークン削減量と費用削減の相関係数（2つの数値がどれだけ連動するかを示す指標）はピアソンのrで0.15にとどまり、両者はほとんど連動していませんでした。キャッシュには新しく文脈を書き込む際の作成コストと、既存の文脈を呼び出す際の読み込みコストがあり、削減対象を誤ると、せっかく再利用できたはずの文脈が無駄になり、作成コストだけが積み上がる場合があります。
さらに深刻なのは、圧縮がタスクの成功率そのものを下げた点です。Go言語のコーディングタスクでは、出力を圧縮したことでコードの一致箇所を示す文字列が壊れ、パッチの適用成功数が40件中27件から15件に落ち込みました。エージェントはコードを書き換える際、元のテキストと一字一句一致する箇所を手がかりに変更位置を特定します。圧縮でこの手がかりが崩れると、正しい修正案でも適用できなくなるわけです。
これからどうなるか
研究チームは、生のトークン削減量ではなく「タスクの成功率で調整した実際の請求額」を基準にすべきだという評価の枠組みを提案しています。見た目のトークン数だけで最適化を評価すると、実際の費用や品質を見誤るリスクがあるという指摘です。
開発者にとっての実利ははっきりしています。自前のコーディングエージェントやRAG（Retrieval-Augmented Generation、検索拡張生成）パイプラインでコンテキストを圧縮する際は、トークン数の増減だけでなく、キャッシュのヒット率と実際の請求額、タスクの成功率をセットで計測する必要があります。圧縮ツールを導入する前に少数のタスクでA/Bテストを行い、請求額と成功率の両方を確認する運用が現実的でしょう。特にコード編集を伴うエージェントでは、出力の要約や省略が編集対象の文字列を壊し、パッチが当たらなくなる副作用にも注意が必要です。
まとめ
Claude Codeの実運用データを使った大規模検証は、「トークンを減らせば安くなる」という直感が誤りうることを示しました。課金の大半はプロンプトキャッシュの挙動が左右しており、圧縮のしすぎはタスクの成功率まで損ないます。コスト最適化は、トークン数ではなく請求額と成功率で測るべき段階に来ています。
参考リンク
アイキャッチ画像: Photo by ThisisEngineering on Unsplash
