コマンドラインで長い作業をこなす AI エージェントの学習データを、自動で作る手法の論文が公開されました。Scaling Agentic Data for Long-Horizon Terminal Intelligenceが提案する TerminalHorizon は、現実の専門業務から課題を作り、作成時に済んでしまった作業を洗い出して、エージェントが自分で行うべき形に作り直します。この手法で作ったデータで Qwen3.5-27B を調整した TerminalHorizon-27B は、Terminal-Bench 2.0 で 41.6 から 55.8 に伸びました。使った軌跡は約 3 千件です。
背景と文脈
ターミナルエージェントとは、シェルを操作して、ファイルの編集、コマンド実行、結果の確認を繰り返す AI のことです。コーディング支援だけでなく、実務の自動化にも広がっています。こうしたエージェントを鍛えるには、作業の記録（軌跡）を大量に集める必要があります。
著者らは、既存のデータ生成に 2 つの問題があると指摘します。短い軌跡では、エージェントが証拠を集め、方針を直し、成果物を仕上げる過程が見えません。さらに、環境を自動で合成すると、本来エージェントがやるべき探索や検証の作業が、環境づくりの段階で済んでしまうことがあります。
後者は、問題集の作成者が答えを知りすぎている状態に近いものです。そのため、できあがった課題は見かけより易しくなり、学習した結果も長い作業に耐えにくくなります。
この論文は、課題の難しさを「作業の長さ」で捉え直しました。長い作業とは、前の結果に依存して次の手が決まる作業を指します。
技術/ビジネス面
TerminalHorizon は 2 段階で動きます。1 段目は、課題の合成です。Planner が調査課題の案を出し、Deep Research Agent が実世界の証拠を集めて課題の種を作ります。Construction Agent が、指示文、環境、模範解答、検証用プログラムまでを一式で組み立てます。
ここからが特徴的です。課題の内容を知らない Independent Challenger に、公開された課題だけを解かせます。その結果と作成時の記録を突き合わせ、作成の段階で済んでいた作業を見つけます。これを Horizon Gap Analysis と呼びます。見つかった分は環境から取り除き、エージェントが自分でやらなければならない形に作り直します。
2 段目は、課題の拡張です。Evolution Agent が、承認済みの課題に同じ目的のまま新しい要件を足します。拡張の方向は 4 種類、やりとりの設計は 3 種類あり、後の段階が前の証拠や操作に依存するようになります。
データの規模はこうです。1,535 個の課題環境と、2,852 本の軌跡（TerminalHorizon-3K）を作りました。教師には DeepSeek-V4-Pro、実行の枠組みには Terminus2 を使っています。1 本あたりの平均は 52.8 ターンで、90 パーセンタイルでは 98 ターンです。25 の専門分野にまたがります。
この軌跡で Qwen3.5-27B を、3 エポック、学習率 1e-5、144 GPU で SFT（教師あり微調整、正解例をまねさせる訓練）しました。結果は、基礎モデルとの比較で次のとおりです。Terminal-Bench 1.0 は 46.3 から 55.0、2.0 は 41.6 から 55.8、2.1 は 46.82 から 60.67 でした。業務自動化を測る AutomationBench の部分点は 26.4 から 49.7 です。
数学や一般推論も落ちていません。MATH-500 は 96.9 から 98.9、AIME 2025 は 86.7 から 93.3 でした。データ量の効率も注目点で、同じ基礎モデルと枠組みで約 3.2 万本を使う Terminal-Universe-27B は Terminal-Bench 2.0 で 52.8 です。TerminalHorizon-27B は約 10 分の 1 の軌跡で 55.8 に届きました。ただし、表には異なる実行枠組みが混在し、欠けた数値もあるため、単純な比較はできません。
これからどうなるか
論文は、再帰的自己改善（RSI）の事例も示しています。各事例に 12 時間の研究予算を与えた実験です。多視点の点群統合の課題では、基礎モデルは 12.1 分で止まりました。TerminalHorizon のモデルは、視点を 1 つずつ外して影響を調べる診断を行い、位置合わせと点の選択を直し、効いた変更を成果物に残しました。非公開の評価での最終スコアは、基礎モデルより 27.03% 高くなっています。
ただし、検証の範囲は限られます。基礎モデルは 1 系統、教師モデルも 1 つで、教師の比較は 100 件の標本にとどまります。RSI の結果も少数の事例で、統計的な裏づけはありません。データ生成の品質は、Planner や Challenger といった LLM エージェント自体の出来にも左右されます。
開発者の視点では、2 つの示唆があります。27B 級なら、手元の GPU サーバーで動かせる規模なので、社内の定型作業に特化したエージェントを自前で調整する選択肢が現実味を帯びます。もう 1 つは、評価環境の作り方です。自社のエージェントを試す課題を作るとき、環境づくりの段階で答えに近い作業を済ませていないか確認する視点が、そのまま使えます。
今後は、他の基礎モデルや教師でも同じ効果が出るかが焦点です。重みや生成データが公開されれば、再現も進むでしょう。
まとめ
TerminalHorizon は、作成時に済んでしまった作業を洗い出し、エージェントが自分で行う形に課題を作り直す手法です。約 3 千件の軌跡で Qwen3.5-27B を調整し、Terminal-Bench 2.0 を 41.6 から 55.8 に伸ばしました。検証は 1 系統のモデルに限られますが、少ないデータで長い作業に強くする道筋を示しています。
参考リンク
アイキャッチ画像: Photo by Eric Krull on Unsplash
