Virginia Tech と Genentech の研究者が11月16日、AI エージェントが呼ぶ API の見えにくい誤りを調べた論文を arXiv に出しました。HTTP 200 の成功の応答が返り、形も正しいのに、中身が頼んだ条件に合っていない誤りです。論文はこれを silent failure(静かな失敗)と呼んでいます。研究用の公開 API 15個を調べると、11個でこの誤りが見つかりました。著者たちは API の答えを検算する仕組み SilentGuard を作り、公開モデル7種のエージェントで誤答を74.0%から1.7%に減らしています。
背景と文脈
エージェントが API を呼んで失敗したとき、エラーが返れば対処はしやすいです。400 や 500 のステータスを見て、やり直すか人に知らせればすみます。困るのは、エラーが返らない失敗です。論文の例では、カタログの API に条件を2つ付けて件数を聞きます。1つの条件の名前がまちがっていると、API はその条件を黙って無視し、もう1つの条件だけで数えた件数を返します。
実際の API でもこの動きが見られました。Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures によると、15個のうち10個が、知らないパラメーターを無視して成功の応答を返しています。化合物のデータベース ChEMBL では、返ってきた件数が正しい件数の約691倍でした。ページの件数を黙って打ち切るものや、条件の値のつづりがちがうと無視するものもありました。
こうした答えは、それだけ見ればつじつまが合っています。応答だけをいくら調べても見抜けない、と著者たちは書いています。LLM(Large Language Model、大規模言語モデル)に注意をうながしても、効き目は小さめでした。おかしいと警告して答えないことも許した場合でも、誤答は70.1%から18.2%までしか減りません。別の LLM に審査させると、誤りのある実行の82.4%に印を付けられました。それでもエージェントは、印の付いた実行の77.4%で、その件数をそのまま答えています。
技術/ビジネス面

SilentGuard は、同じ API にもう何回か問い合わせて答えを検算します。中心になるのは件数の検算です。「合格かつ腫瘍」の件数と「合格かつ腫瘍以外」の件数を足すと、「合格」の件数と同じになるはずです。API が「腫瘍」の条件を無視していれば、この足し算が合わなくなります。条件の位置ごとにこれを確かめるので、どこの条件が無視されても見つかります。
件数のほかに、一覧を返す API の検算もあります。返ったレコードがすべて条件に合っているか、同じレコードが重複していないか、一覧の長さが合計の件数と合うかを見ます。API の仕様にないパラメーターは、呼ぶ前にはじきます。正しく動いたときの記録から、項目の型や日付の順番などのきまりを学ばせることもできます。ただし、学ばせたきまりはまちがって警告を出すことがあります。
検算に失敗したときの動きは決まっています。まず1回だけ呼び直します。それでも合わなければ、その値はエージェントに渡しません。どの値が確かめられなかったかと、代わりに使える道具を伝えます。件数の質問では、検算を通らない件数を2回はじいたあと、「わからない」と答えさせます。SilentGuard は値を自分で直すことはしません。論文では、自動で直す版も試しました。その版では、まちがった答えが49件、確かめ済みの印付きで出てしまっています。
主な数字は次のとおりです。
| 条件 | 検算なし | SilentGuard |
|---|---|---|
| 公開モデル7種、狙った種類の誤り | 誤答 74.0% | 誤答 1.7% |
| 最先端のモデル3種 | 誤答 70.2% | 誤答 0.5% |
| あとから足した新しい種類の誤り | 誤答 61.1% | 誤答 24.5% |
| 誤りのない課題の正答率 | 84.9% | 84.9% |
検算は LLM を呼ばず、プログラムの中だけで動きます。そのため、誤りのない課題では正答率が下がっていません。
開発者として試すなら
コードはGitHub の silentguard にあります。ライセンスは Apache-2.0 で、Python のライブラリです。README によると、次の手順で入れて、モデルもネットも使わない例を動かせます。
git clone https://github.com/Sajib-006/silentguard.git
cd silentguard
pip install -e .
python examples/01_quickstart.py
使うときは、条件を受け取って件数を返す関数を自分で書いて渡します。検算のための問い合わせは、ライブラリがその関数を使って組み立てます。
from silentguard import Condition, SilentGuard
guard = SilentGuard(count=my_api_count) # 条件の一覧を受け取り、件数か None を返す関数
result = guard.count([Condition("status", "pass"), Condition("tissue", "tumor")])
件数の検算は、条件1つにつき API の呼び出しが2回増えます。料金や回数の制限がある API では、この分を見込んでおいてください。呼び出し自体が失敗したときに関数が None を返すようにしておくと、その回の検算は止まります。リポジトリはスター1つの公開直後の段階なので、まずは自分の API の性質を調べる道具として使うのが無難です。
ライブラリを入れなくても、手元の API の癖はすぐに確かめられます。わざとつづりをまちがえたパラメーターを付けて呼び、エラーが返るか、件数が増えるかを見ます。件数が増えたら、その API はまちがった条件を黙って無視します。ページの上限も、ドキュメントに書いてあるか確かめておきましょう。たとえば GitHub の検索 API のドキュメント には、1回の検索で返る結果は最大1,000件と書かれています。total_count がそれより大きくても、全部はたどれません。
論文には、道具の入力をきびしい型で決めておく方法と比べた結果もあります。型で縛った場合の誤答は28.6%で、仕様にないパラメーターを呼ぶ前にはじく方法の21.0%より多くなりました。型を決めるだけでは、API の側が条件を無視する誤りは防げません。
これからどうなるか
この方法でも防げない誤りがあります。API が、足し算のつじつままで合うように一貫してまちがえる場合です。論文の実験では、この場合に見つけられたのは2.8%だけでした。API とは別の、正しさを確かめられる情報源が必要になります。クエリ文字列の中に書いた条件も、パラメーターの検算では見えません。誤りが起きると「わからない」と答えることが多くなる点も、使う側は知っておく必要があります。
結果はまだ査読前で、試した課題の多くは著者たちが作った模擬の API です。それでも、HTTP 200 を成功とみなすだけでは足りないことは、実際の API 15個の調査からわかります。エージェントに件数や一覧を答えさせるアプリを作っているなら、答えの元になる API を1つずつ、わざとまちがえた条件で呼んでみてください。黙って無視する API には、件数の検算か、答える前に人が確かめる手順を入れておくと安心です。
まとめ
研究用の公開 API 15個のうち11個が、成功の応答のまま頼んだ条件と違う中身を返していました。SilentGuard は同じ API への追加の問い合わせで答えを検算し、公開モデル7種の誤答を74.0%から1.7%に減らしています。一貫したまちがいは見抜けず、API の呼び出しも増えます。まずは自分の使う API が、まちがった条件をエラーにするかどうかを確かめるところから始められます。
参考リンク
- Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures(arXiv)
- 同じ論文の本文(HTML 版)
- Sajib-006/silentguard(GitHub)
- REST API endpoints for search(GitHub Docs)
アイキャッチ画像: Photo by Hush Naidoo Jade Photography on Unsplash

