実際のターミナル操作録画から自動生成されたAIエージェント評価ベンチマーク「TerminalWorld」がarXivで公開されました。8万件超の実際のターミナル操作を処理して1,530タスクを生成し、8つのフロンティアモデルと6種のエージェント構成で評価した結果、最高達成率は62.5%にとどまりました。現行のAIエージェントが実務のコマンドライン操作に対してまだ大きな課題を抱えていることが浮き彫りになっています。
背景と文脈
AIエージェント（AI agent：与えられた目標に向けて自律的に行動・判断するAIシステム）の能力評価は、ベンチマーク設計の難しさで知られる領域です。人間の研究者が手動で作成した「模範的なタスク」を評価するベンチマークは多数ありますが、現実の開発者が日々行う操作とは乖離することが多い問題があります。
これまでのコマンドライン系ベンチマークの代表格にはTerminal-Benchなどがありますが、研究チームによると「TerminalWorldの結果と既存ベンチマークの相関係数は0.20」と非常に低く、既存ベンチマークで高得点を取るモデルが実際のターミナル作業を得意とするとは限らないことが示されました。
TerminalWorldが採用したアプローチは「データドリブンなベンチマーク自動生成」です。GitHub上などで公開されている実際のターミナル録画（asciinema形式など）80,870件を処理し、実タスクを自動的に抽出・検証することで1,530タスクを構築しました。このうち200タスクは人間が手動でレビューした「TerminalWorld-Verified」サブセットとして提供されています。
技術/ビジネス面
TerminalWorldのタスクは18カテゴリ、1,280種のユニークコマンドを網羅しており、単純な操作から50ステップを超える複合タスクまで含まれます。簡単な例では「特定のファイルを検索してgrepする」、複雑な例では「Dockerコンテナを起動してログを監視しながら設定ファイルを動的に変更する」といった操作が対象となります。
評価に使われた8つのフロンティアモデルには、GPT-4o、Claude、Geminiなど主要な商用LLMが含まれています（論文では具体的なバージョン名は明示されていません）。エージェント構成は6種類で、ReActループ（Reason+Act：推論と行動を交互に繰り返すエージェント設計パターン）やコード生成アプローチなど、現在主流のアーキテクチャが試されています。最高達成率62.5%という結果は、最も高性能な組み合わせでも4割近くのタスクで失敗することを意味します。
特に苦手とされた領域は、長いコマンド列を必要とする複合タスク、状態管理を伴うインタラクティブなプログラム（vim、tmuxなど）、エラーハンドリングが必要な実行シナリオです。これらは人間のエンジニアにとっては日常的な作業ですが、現行のAIエージェントにとって依然として壁となっています。
これからどうなるか
TerminalWorldのデータセットと評価フレームワークはオープンソースで公開予定とされており、今後のAIエージェント研究の基盤ベンチマークとして定着する可能性があります。特に、実際の操作録画から自動生成するアプローチは他の領域（ブラウザ操作、API呼び出しなど）への応用も考えられ、より現実に即した評価基準の整備が進むことが期待されます。
開発者への実務的な示唆は明確です。AIコーディングアシスタントやエージェントにターミナル操作を任せる際、現時点では「50ステップを超えるような複雑な操作」は人間のレビューが必須です。CI/CDパイプラインやDevOpsタスクへのAIエージェント導入を検討する場合、まず単純なコマンド列から段階的に自動化範囲を広げる設計が現実的でしょう。
一方で62.5%という数字は、1〜2年前のベンチマーク結果と比較すると大幅な改善を示しています。AIエージェントのCLI能力は急速に向上しており、今後1〜2年でより高い達成率が出てくることも予想されます。
まとめ
TerminalWorldは実際の開発者操作から生成した初のデータドリブンCLIベンチマークとして、AIエージェントの現実的な能力を測る新しい基準を提供します。最高62.5%という達成率は現行モデルの伸び代を示しており、エージェントへの作業委任範囲の設計指針として今後参照される研究になるでしょう。
参考リンク
アイキャッチ画像: Photo by Solen Feyissa on Unsplash
