ベトナム・ハノイの VNU 科学大学の研究者が、小さなコーディングエージェントを評価するキットと、その実験の全記録を52ページの論文で公開しました。開発用の48課題で元の版を最大6.2点上回った変更3つを、別の課題で確かめ直すと、2つはわずかに下がりました。残る1つは4.10点上がったものの、偶然では説明しにくいと言える基準には届きませんでした。何も変えない版を2回動かしただけでも、解けた割合は1.17点ずれています。プロンプトや設定を変えて、少しの課題で前後を比べている開発者には耳の痛い結果です。
背景と文脈
コーディングエージェントの出来は、課題集のうち何割を解けたかで比べるのが一般的です。代表的なのが SWE-bench(GitHub の実際の issue をもとに、コードを直せるかを測るベンチマーク)です。ただ、LLM(Large Language Model、大規模言語モデル)は同じ入力でも毎回少し違う答えを返します。1回ずつ動かして比べると、変更の効果と偶然の揺れが混ざります。
この問題は前から指摘されていました。Anthropic の Evan Miller さんは2024年の論文 Adding Error Bars to Evals で、評価の数字に誤差の幅をつけるよう勧めています。2つのモデルは同じ問題ごとの差で比べること、問題がまとまりを持つならまとまりごとに誤差を見ること、1問を何度も解かせて揺れを減らすことが主な中身です。たとえば読解ベンチマークの DROP では、まとまりを無視すると誤差を3分の1ほどに小さく見積もってしまう例が出ていました。
今回の論文は、こうした考え方を小さなエージェントの開発で実際に回した記録です。主なねらいは、測り方そのものの点検です。対象は、Kaggle のコンペティションに出すエージェントでした。
技術/ビジネス面

論文 Contain, Conform, Compare のキットは drydock-eval という名前で、Apache-2.0 で公開されています。名前のとおり3つの部分があります。Contain は、エージェントを1回ごとに新しいコンテナで動かし、ネットワークを切り、使える権限を絞ります。Conform は、手元で組み立てたプロンプトが、コンペの採点側と同じになっているかを確かめます。比べるのは文字ではなく、モデルに渡る直前のトークンの番号です。Compare は、変更を採用してよいかを決める規則です。
Compare の規則はかなり厳しめです。同じ課題で新旧を動かし、平均で3.45点以上よくなっていること、リポジトリ単位で偶然の揺れを見積もった片側の p 値が0.025以下であることなどを求めます。p 値は、本当は差がないのに、たまたまこれだけの差が出る確率の目安です。
実験に使ったモデルは Gemma 4 E4B の4ビット版で、エージェントは Google の google-adk 1.36.1、モデルの配信は vLLM 0.19.1 で組んでいます。手元の RTX 5090 1台で、1時間に約250回動かせました。
測り方の点検で見つかった不具合は、解けた数には表れていませんでした。配信するモデルの名前に gemma4 が入っていると、google-adk が道具の結果を tool ではなく tool_responses という役割で送っていたのです。手元で作り直したプロンプトは、114回の呼び出しのうち106回で、サーバー側のトークン数と tool_responses のときにだけ一致しました。それでも解けた課題の数は、24課題中で手元が3と5、Kaggle が4と4で、差は見えません。
事前に決めた計画で行った本実験は、5通りの設定を231課題で4回ずつ、合わせて4,620回動かしました。手元の設定と採点側の設定のずれを4種類、1つずつ再現したものです。一番大きかったのは、それまでの考えた過程を履歴から消す変更で、マイナス2.1点でした。誤差を考えると、本当の値はマイナス4.4点からプラス0.4点のあいだです。4つとも、元の設定との差は見つかりませんでした。
開発者として試すなら
開発中の比べ方がどれだけ当てにならないかは、次の表でわかります。3つの変更は、48課題を2回ずつ解かせた比べ合いで、それぞれ1位になったものです。
| 変更 | 開発中の差(96回中) | 確かめた課題 | 新しい課題での差 | 判定 |
|---|---|---|---|---|
| 1 | +6.2点(25対19) | 72課題 | -0.35点(p = 0.60) | 不採用 |
| 2 | +1.0点(22対21) | 128課題 | -0.39点(p = 0.60) | 不採用 |
| 3 | +5.2点(25対20) | 128課題 | +4.10点(片側 p = 0.0405) | 不採用 |
3つめは平均の条件を満たしましたが、p 値が0.025を超えたため、論文は改善とは呼んでいません。論文の計算では、まったく同じ実力の案を5つ並べただけでも、1位の案は元の版を平均2.4点上回ります。たくさん試して一番よかったものを選ぶと、その差には偶然が上乗せされているわけです。
自分のエージェントやプロンプトを比べるときは、論文と Miller さんの勧めを合わせて、次の順で進められます。
- 新旧を同じ課題で動かし、課題ごとの差を見ます。全体の正解率どうしを比べるより、揺れが小さくなります。
- 1課題を何回か解かせます。論文は4回ずつで、誤差の幅はプラスマイナス2.2〜2.5点でした。
- 案を選ぶ課題と、選んだ案を確かめる課題を分けます。選ぶのに使った課題で確かめ直しても、偶然の上乗せは消えません。
- 元の版も、新しい案と同じ時期に動かし直します。何も変えなくても1.17点ずれるので、前に測った数字と比べるのは危険です。
- 課題がリポジトリのようなまとまりに分かれるなら、まとまりごとに差を見ます。1つのリポジトリの課題だけで点が上がっていないかも確かめます。
手元の結果で、課題ごとの差から誤差の幅をざっと出すなら、次のくらいの計算で足ります。まとまりごとの補正はしていないので、目安として使ってください。
import statistics as st
# a[i], b[i]: 課題 i を何回か解かせたときの、変更前と変更後の正解率
d = [y - x for x, y in zip(a, b)]
mean = st.mean(d)
se = st.stdev(d) / len(d) ** 0.5
print(f"差 {mean * 100:.1f}点、95%の幅 ±{1.96 * se * 100:.1f}点")
課題の数を増やすときは、結果が揺れる課題の数に目を向けてください。論文の128課題では、8回とも解けなかった課題が83、8回とも解けた課題が10ありました。新旧の差を生むのは、残りの35課題だけです。いつも解ける課題や絶対に解けない課題をいくら足しても、比べる力はほとんど上がりません。
解けた数だけを見ていると、今回の tool_responses のような組み立ての不具合も見落とします。手元と本番でモデルに渡るプロンプトが同じかどうかは、トークン数を比べるだけでもかなりわかります。
これからどうなるか
この論文には弱いところもあります。使ったモデルとエージェントは1組だけで、プロンプトなどの中身は伏せられています。中身は2026年12月3日に公開する予定です。確かめ用の128課題は2回使われていて、3つめの変更は1回目の結果を見たあとに作られました。コードや分析、本文はAIのエージェントが書き、人は隔離の設定や計算機の時間、公開を承認したと書かれています。
サンドボックスの点検でも、参考になる結果が出ています。コンテナの外に出られた攻撃はありませんでした。ただし、ホストと共有していた部分を通る重大な穴が9つ見つかり、どれも自前の脱出テストには合格していました。エージェントを手元で動かす仕組みを自作している人は、コンテナの設定だけでなく、ホスト側で動く準備の処理も点検の対象に入れておくと安心です。
開発者が自分の仕事にすぐ持ちこめるのは、比べ方の手順です。社内のエージェントで、プロンプトを直すたびに20〜30課題を1回ずつ流して前後を比べているなら、その差の多くは偶然と見てよいでしょう。課題を2組に分け、元の版も同じ時期に流し直すだけで、間違った変更を採用する回数はかなり減らせます。
まとめ
小さなコーディングエージェントの改善を別の課題で確かめ直した論文では、開発中に最大6.2点よかった変更3つが、どれも採用の基準に届きませんでした。何も変えずに動かし直すだけで1.17点ずれ、同じ実力の5案から1位を選ぶだけで2.4点の上乗せが出ます。プロンプトや設定を比べるときは、同じ課題で何回か動かし、選ぶ課題と確かめる課題を分けてください。
参考リンク
- Contain, Conform, Compare (Extended Version): A Red-Teamed Evaluation Kit for Small Coding Agents and the Full Record of Its Experiments(arXiv)
- drydock-eval(GitHub)
- Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations(arXiv)
アイキャッチ画像: Photo by Markus Spiske on Unsplash

