ノートPCで動く小型のオープンモデルがエージェントとして失敗するのは、モデルの力不足とは限りません。arXivに10月1日に投稿された論文Mingbird: A Local-First Agent Harness Enabling Small Open Models to Complete Real Tasksは、失敗の相当部分がハーネスの設計に由来すると示しました。著者はHao Wang氏とTing Huang氏です。ローカルでエージェントを動かしたい開発者に役立つ知見です。
背景と文脈
ハーネスとは、モデルを包んで、ツール呼び出しや履歴管理、終了判定を担う周辺の仕組みです。大手クラウド向けのエージェントは、大きなモデルを前提にハーネスを作っています。
論文によると、2〜9B（パラメータ数が20億〜90億）の小型モデルを、この種のハーネスに載せると、実タスクをほとんど完了できません。原因として、次の四つが挙がっています。
- ツール説明がコンテキスト（モデルが一度に読める文章量）を溢れさせる
- 自己修正が収束せず、発散する
- ツールの使用例を真似て、同じ動作を繰り返す
- タスクが黙って放棄される
著者らは、単一マシンでの比較実験とサードパーティのベンチマークをもとに、これらの失敗の相当部分は、モデルでなくハーネスのせいだと主張します。
ローカルで動かす利点は明確です。通信費がかからず、データが手元から出ません。一方で、使えるモデルは小さく、既存のハーネスはその制約を考慮していませんでした。論文は、この組み合わせの悪さにこそ、改善の余地があると指摘しています。
技術/ビジネス面
Mingbirdは、WindowsとOllama（ローカルでモデルを動かすツール）向けの、ローカル優先のエージェントハーネスです。小型モデルに起きる失敗の形ごとに対策を用意し、全部で10の仕組みを備えます。代表的な3つは、次のとおりです。
- バイト単位で収支を合わせる、プリフィル予算（最初に読み込む文章量の上限管理）
- 完了を認める前にタスクを読み直す、終了ゲート
- 同じ動作の繰り返しを検出する、署名レベルのループ検知
評価は、LRABという実タスク18件の比較で行われました。マシン、モデル、予算、採点方法を固定し、4つのハーネスと4つのオープンモデル（2B〜35B）を組み合わせています。成果物を自動で採点する方式です。
総合スコアは、Mingbirdが0.886でした。比較対象は、gooseが0.631、opencodeが0.479、agent-miniが0.405です。τ²-bench（エージェントのツール利用を測るベンチマーク）の278タスクでも、0.856対0.791と0.737でした。
最上位モデルでも差は出ます。同じ18タスクでの検証では、ハーネスによって0.997から0.478まで開きました。ただし、きちんと作られた足場どうしの差は0.072以内でした。
ここで重要なのは、小型モデルが苦手な点を、ハーネス側で補う発想です。モデルに無理をさせず、足場で支えます。プリフィルの管理は、モデルが読みきれない量の情報を最初に渡さない工夫です。終了ゲートは、モデルが「終わりました」と言っても、鵜呑みにしない工夫にあたります。
論文は全288セルの結果を公開しています。数字を後から検証できる点は、再現性の面で評価できます。
これからどうなるか
著者自身が限界も明記しています。ベンチマークは自作で、実験は1台のマシンのみ、採点は1回ずつです。各仕組みを1つずつ外す実験は、傾向を見る参考程度とされています。同じ条件を同じ晩に再実験しただけで、平均が最大0.069動いたためです。
それでも示唆は明快です。ローカルでエージェントを動かすなら、モデルを大きくする前に、ハーネスの設計を疑う価値があります。手元のCIやノートPC上で完結させたい場合、プリフィルの予算管理や、完了判定の再確認は、自作のエージェントにも取り入れやすい工夫でしょう。
通信できない環境や、機密データを外に出せない現場では、小型モデルの実用度が直接効いてきます。今後は、第三者による再現実験が出るかが焦点です。
エージェントの性能を語るとき、話題はどうしてもモデルの大きさに寄りがちです。この論文は、同じモデルでも足場しだいで結果が大きく変わることを数字で示しました。モデルの選定と同じ重みで、ハーネスの選定や設計に時間を割く意味があります。
あわせて、論文の公開データも活用できます。288セルの結果がすべて公開されているため、自分の使うモデルがどの失敗形に当てはまるかを調べ、自作ハーネスの改善に役立てられます。小さく試して、数字で確かめる進め方が向いています。
まとめ
Mingbirdは、小型オープンモデルの失敗の一部がハーネス起因であることを、実験で示しました。18タスクで総合0.886を記録しています。自作ベンチマークという限界はありますが、ローカルエージェントの設計を見直す手がかりとして価値があります。
参考リンク
アイキャッチ画像: Photo by Jantine Doornbos on Unsplash
