Microsoftの研究チームは、AIエージェント（自律的にタスクをこなすAIプログラム）の性能を左右する「システムプロンプト」を、コーディングエージェントに自動で最適化させる新手法「CASD（Coding-Agent Skill Distillation）」を発表しました。従来手法のように何度も試行錯誤を繰り返す必要がなく、過去の実行ログを1回読み込ませるだけで済みます。4つのベンチマーク（AIの性能を測る標準テスト）で、既存手法を上回る改善幅を示しました。
背景と文脈
AIエージェントは、同じモデルを使っていても与える指示（システムプロンプト）次第で成功率が大きく変わります。このため、プロンプトを自動で書き換えて改善する「プロンプト最適化」の研究が近年活発になっています。
従来手法の主流は探索型です。プロンプトの修正案を提案し、実際にエージェントを動かして結果を採点し、良い修正だけを残す、という手順を繰り返します。Coding Agents are Strong Prompt Optimizersという論文によれば、この方式には弱点が2つあります。
1つ目は、修正のたびに実際の環境でエージェントを動かして検証が要る点です。候補案が増えるほどコストが膨らみます。2つ目は、1回の改善判断が少数の実行ログしか見ていない点です。「あるツールが284回呼ばれ、うち123回が重複だった」といった、ログ全体を見て初めて分かるパターンは、少数サンプルの検討では見落とされがちです。代表的な手法GEPAはLLM（Large Language Model、大規模言語モデル）による振り返りで探索を強化しましたが、「編集・再実行・採点」のループ自体は変わりません。研究チームは、このループが本当に必要かを問い直しました。
技術/ビジネス面
CASDの仕組みはシンプルです。過去にエージェントを動かした実行ログ一式と、書き換え対象の元プロンプトをコーディングエージェント（コードを書いて実行できるAI）に渡し、「この結果ファイルを分析して、行動ルールをまとめたスキルファイルを書いてほしい」という指示だけを与えます。分析の手順は指定せず、コーディングエージェント自身の判断に委ねる点がポイントです。
論文が「reflection scope（振り返りの範囲）」と呼ぶ発想が核心です。従来手法が少数の実行ログだけを見て次の一手を決めるのに対し、CASDはコーディングエージェントに分析コードを書かせ、ログ全体を対象に統計を取らせます。カテゴリ別の成功率やツール呼び出し回数、重複呼び出しの件数などを機械的に集計したうえで、成績が悪いカテゴリや異常な挙動が出たエピソードだけを個別に読みに行く流れです。
論文の実例では「50件中16件で、存在しない顧客IDを捏造して検索していた」といった、ログ全体を見て初めて分かる具体的な事実がルールの根拠になっています。曖昧な印象ではなく実測データに基づく点が、人手の改善や単発の振り返り手法と異なります。
ALFWorld、τ²-bench（コールセンター業務を模したベンチマーク）の小売・通信版、SpreadsheetBench-Verified（表計算タスクの正確さを測るベンチマーク）の4種で評価した結果、CASDは未最適化のプロンプトから平均16.6ポイント改善しました。比較対象のGEPAは10.9ポイント、検証データを使うSkillOptは5.3ポイントにとどまっています。CASDは1回の最適化がおよそ1.60ドルで完了し、検証を繰り返す手法より22倍以上安く済みます。
これからどうなるか
CASDが示すのは、プロンプト改善に凝った検証環境や採点基準を用意しなくても、手元の実行ログだけで十分な手がかりが得られるという点です。自分のAIエージェントやプロダクトのプロンプトを調整している開発者にとって、この発想はそのまま応用できます。普段の運用で溜まっているログをコーディングエージェントに読ませ、「このログから改善案をまとめて」と頼むだけで、検証用データセットを別途整備する手間なしにプロンプト改善の材料が手に入ります。
コストも1回あたり数百円規模に収まるため、CI（継続的インテグレーション、コードの変更を自動でテストする仕組み）のパイプラインに組み込み、定期的にログを分析させる運用も現実的です。もっとも、論文の実験は4つのベンチマークに限られており、実運用の多様なタスクでも同じ精度で失敗パターンを見抜けるかは今後の検証が必要でしょう。ログの量が少ない立ち上げ期のプロダクトでは、統計的な裏付けが弱くなる点にも注意が必要です。
まとめ
CASDは、探索と検証を繰り返す従来のプロンプト最適化に対し、静的な実行ログを1回分析するだけで同等以上の改善を実現する手法です。4つのベンチマークで平均16.6ポイント向上し、コストは1回約1.60ドルと従来手法の22分の1に抑えられます。専用の検証データを用意できない開発者にとっても、手元のログを生かしてプロンプトを改善する現実的な選択肢になりそうです。
参考リンク
アイキャッチ画像: Photo by Solen Feyissa on Unsplash
