論文:古いAIエージェントのスキル、使わないより最大13点低く

古い紙の地図 AI

AI エージェントに覚えさせた手順(スキル)が、環境が変わったあとにどう働くかを調べた論文が11月17日に出ました。AWS の研究チームによると、API の名前や設定ファイルが変わったあとも古いスキルを使い続けると、スキルなしで解かせたときより正解率が最大13.0ポイント下がりました。答えの値を直接書いたスキルほど、悪くなる幅が大きくなっています。Claude Code などでスキルを書いている人は、書き方を少し変えるだけで、この落とし穴を避けやすくなります。

背景と文脈

エージェントのスキルは、一度うまくいった作業の手順やコードを残しておき、次から読みこませて使う仕組みです。Anthropic の Agent Skills では、SKILL.md という1つのファイルに名前と説明、手順を書きます。Claude Code なら ~/.claude/skills/(自分用)か、リポジトリの .claude/skills/(プロジェクト用)に置くだけで使えます。

同じ調べものや試行錯誤をくり返さずに済むので、スキルがあるとトークンも手数も減ります。ところが、スキルが書かれたあとで、ライブラリの版が上がったり、API のエンドポイント名が変わったりすることはよくあります。Anthropic の説明ページにも、スキルを最新に保つ方法は書かれていません。

今回の論文 When Agent Skills Go Stale: Runtime Behavior and Selective Maintenance in Evolving Environments は、スキルが古くなったときに何が起きるかを数字で測りました。南カリフォルニア大学と AWS Agentic AI の7人による、査読前の論文です(Ömer Faruk Akgül ほか)。

技術/ビジネス面

机に積まれた古い本
Photo by Jenny Pace on Unsplash

実験では4つの環境を使い、それぞれに変更を1つずつ入れました。ターミナル作業の課題集 Terminal-Bench 2 では、パッケージや設定ファイル、データの形を変えています。米国の税の書類(IRS の様式)では、欄の番号や名前を変えたり、欄そのものを消したりしました。消えた欄に書きこんでも、エラーにならずに無視されるのが厄介な点です。ほかに、API のエンドポイント名を3つ変えた AppWorld と、目当ての物の置き場所を変えた ScienceWorld も試しています。モデルは Claude の Opus 4.7 と Haiku 4.5 の2つです。

環境が変わったあと、古いスキルは Opus でスキルなしより悪い結果になりました。差は次のとおりです。

環境(Opus 4.7) スキルなしとの正解率の差 手間・費用への影響
Terminal-Bench 2 -11.4ポイント 費用の削減が66.5%から35.6%に縮小
IRS の様式 -12.5ポイント 費用はまだ24.6%少ない
ScienceWorld -13.0ポイント 手数がスキルなしより38.9%多い

IRS の行を見ると、費用は安いのに答えは間違っています。成功したかどうかだけ見ていると、この状態に気づけません。Haiku 4.5 では古いスキルでもスキルなしより上でしたが、IRS での上乗せは91.5ポイントから25.9ポイントに減りました。

スキルの書き方でも差が出ました。今の値を調べる手順を残した書き方と、調べた結果の値やコマンドだけを残した書き方を比べると、4つの比較すべてで後者のほうが悪くなる幅が大きかったそうです。Opus の IRS では、欄の正解率の落ち幅が12.6ポイントと31.3ポイントでした。値だけのスキルを読んだ Opus は、様式を開いて確かめる回数も50回中30回で、手順を残したスキルの43回より少なくなっています。確かめても古い欄に書いてしまうこともあり、Haiku では80回中36回ありました。

著者たちは直し方も示しています。スキルを書いた時点の環境で確認用のチェックを記録しておき、使う前にモデルを呼ばずに再生します。結果が違えば、本当に食い違っているかを確かめ、影響のある部分だけを直します。直せなければスキルを作り直し、検証用の課題で正解率と費用の両方を確かめてから入れかえます。古いスキルをそのまま使う場合と比べて、正解率は最大67ポイント上がり、手数は最大37%減りました。

開発者として試すなら

論文の仕組みそのものは公開されていませんが、考え方は手元のスキルにすぐ取り入れられます。Claude Code の SKILL.md を例にすると、次の3点を変えるだけで古くなりにくくなります。

  1. 値ではなく、値の調べ方を書きます。「注文 API は /v1/orders」と書く代わりに、「OpenAPI の定義を読んで、注文を作るエンドポイントを確かめてから呼ぶ」と書きます。
  2. スキルが頼りにしている前提を、確認用のコマンドとして同じフォルダに置きます。たとえば scripts/check.sh にエンドポイントの存在や設定ファイルのパスを確かめる処理を書き、SKILL.md の最初で「まずこれを実行し、失敗したら手順より実際の中身を優先する」と指示します。
  3. 依存パッケージを上げたときに、そのチェックも CI で動かします。.claude/skills/ をリポジトリに入れておけば、Dependabot などの更新の PR で、どのスキルが古くなったかがわかります。

SKILL.md の形は、Anthropic のドキュメントにあるとおり YAML の先頭部分に name と description を書くだけです。

---
name: create-order
description: 注文APIで注文を作る。注文の登録を頼まれたときに使う
---
1. scripts/check.sh を実行する。失敗したら下の手順を信用しない
2. openapi.json を読み、注文を作るエンドポイントと必須項目を確かめる
3. 確かめた内容で呼び出す

チェックを最初に毎回動かすと、そのぶん手数は少し増えます。論文の結果では、値だけを書いたスキルは変更前の費用の削減が大きい一方、変わったあとの落ち方も大きくなっていました。よく変わる外部の API を相手にするスキルは調べ方を書き、ほとんど変わらない社内の決まりごとは値を書く、と分けるのが現実的です。

スキルの効き目を測るときは、成功率だけで比べないようにします。スキルを入れた前後で成功率だけ比べると、IRS の例のように、安いが間違っている状態を見逃します。成功率と一緒に、1回あたりのトークン数や手数を記録しておくと、スキルが古くなり始めたことに早く気づけます。

これからどうなるか

この論文で試したのは4つの環境と、同じ系列の2つのモデルだけです。変更も1回に1つずつで、実際のプロジェクトのように複数の変更が重なる場合は調べていません。数字はそのまま当てはまるとは限りませんが、値だけのスキルほど壊れやすいという傾向は、手元でも起きやすい話です。

Claude Code のスキルやエージェント用の指示ファイルは、チームで共有するほど数が増え、誰がいつ書いたかもわからなくなっていきます。コードと同じように、スキルにもテストと更新の手順を用意しておく必要が出てきそうです。今のところ、Anthropic のドキュメントにスキルの更新の決まりはないので、各チームで CI にチェックを入れておくのが一番手早い方法です。

まとめ

AWS の研究チームは、環境が変わったあとに古いスキルを使うと、スキルなしより正解率が最大13.0ポイント下がることを示しました。値だけを書いたスキルほど悪くなり、費用は安いまま答えを間違えることもあります。スキルには値ではなく調べ方を書き、前提を確かめるチェックを添えて、依存を上げるたびに動かすのが手元でできる対策です。

参考リンク

アイキャッチ画像: Photo by Bruno Martins on Unsplash

タイトルとURLをコピーしました