ターミナル上で自律的にコードを書くAIコーディングエージェントは、なぜ失敗するのか。研究チームがarXivで発表した論文「Failure as a Process: An Anatomy of CLI Coding Agent Trajectories」は、1,794本の実行軌跡を人手で解析し、失敗を「最終結果」ではなく「途中経過」として捉え直しました。多くの失敗は実行のごく初期段階で始まり、手遅れになるまで表面化しないという実態が明らかになっています。
背景と文脈
CLI(コマンドラインインターフェース)上で動くコーディングエージェントは、ターミナルベンチ(Terminal-Bench:ターミナル操作を伴う実務的なタスクでエージェントの性能を測る評価環境)のようなベンチマークを通じて、実際のソフトウェア開発タスクをどこまで自律的にこなせるかが評価されてきました。しかし従来の研究の多くは、「成功したか失敗したか」という最終結果だけを見て原因を分析するものが中心でした。
この見方では、エージェントが実行途中でどのように判断を誤り、どの時点で立て直せなくなったのかという過程が見えません。バグ修正でもコード生成でも、実際の開発現場では「最初のミスに気づかず、そのまま突き進んでしまう」という失敗パターンがよく見られますが、最終結果だけの評価ではこうした過程の違いを区別できないという課題がありました。
コーディングエージェントを実務で使う開発者からも、「途中まではうまくいっているように見えたのに、最後になって取り返しのつかない状態になっていた」という声はよく聞かれます。原因を後から特定しようとしても、ログを最初から読み直す以外に手段がなく、再発防止につなげにくいのが実情でした。今回の研究は、この「失敗の途中経過」そのものを体系的に分析した点で、従来の評価研究とは一線を画しています。
技術/ビジネス面
研究チームは、OpenHands・MiniSWE・Terminus2という3つの異なるコーディングエージェント基盤(scaffold:エージェントがツール呼び出しや思考をどう組み立てるかを規定する枠組み)の上で、7つの最先端の大規模言語モデルを動かし、Terminal-Bench上で合計3,843本の実行軌跡を収集しました。そこから完全かつ有効なものを厳選した1,794本、延べ6万3000超の実行ステップを人手で注釈付けし、失敗の発生・根本原因・回復・システム間の一貫性という4つの観点から14の知見を導き出しています。
最大の発見は、失敗の主な要因が「epistemic error(エピステミックエラー:エージェントが今の作業環境やコードの状態を取り違えたまま、誤った前提で判断を積み重ねてしまう認識面の誤り)」に集中しているという点です。構文ミスやツールの使い方を知らないといった単純な知識不足よりも、状況認識そのものが食い違っていくケースが失敗の主因でした。
さらに、失敗は実行のごく初期段階、つまり最初の数ステップ以内にすでに始まっているケースが大半でした。しかもその兆候は、もう手の施しようがなくなる段階まで表面化しない、つまり見た目の出力だけでは異常に気づきにくい形で進行することも分かりました。この傾向は、使用するモデルやエージェント基盤の種類を問わず共通して観察されており、特定の実装だけの問題ではないことを示しています。
これからどうなるか
この知見は、AIコーディングエージェントを実務に組み込もうとする開発者にとって直接役立つ内容です。最終的なテスト結果だけを見て「通ったから良し」とする評価方法では、途中で認識のズレが起きていても検知できません。実行の早い段階でエージェントの認識状態を検証し、誤りに気づいた時点で介入できる仕組みを用意することが、信頼性向上の近道だと論文は示唆しています。
自分でCIパイプラインにコーディングエージェントを組み込む場合も、最終的な差分やテスト結果だけをチェックするのではなく、途中のログから「エージェントが何を事実だと思い込んでいるか」を追跡できるようにしておくと、暴走を早期に止めやすくなりそうです。今後はこうした途中経過に着目した監視ツールや評価手法の登場が期待されます。
失敗が使用モデルやエージェント基盤の種類を問わず共通のパターンをたどるという知見も重要です。特定のツールを乗り換えれば解決するという単純な話ではなく、エージェント設計全体に共通する構造的な課題である可能性が高いことを示しています。
まとめ
論文「Failure as a Process」は、CLIコーディングエージェントの失敗が最終結果ではなく実行途中の過程として捉えるべきものだと示しました。失敗の多くは初期段階の認識の誤りに起因し、手遅れになるまで表面化しません。モデルや基盤を問わず共通する傾向で、早期検証の重要性を裏づける成果です。
参考リンク
アイキャッチ画像: Photo by Jantine Doornbos on Unsplash
