Hugging Face は11月20日、オープンなモデル Qwen3.8-27B に後から足す小さな追加の重みを公開しました。AI エージェントを動かすプログラム(ハーネス)ごとに、そのハーネスの中で強化学習させたものです。pi というハーネスでは、実在のリポジトリの課題を直すテストの正解率が40.0%から64.0%に上がりました。ツールを呼ぶ回数は半分以下に減っています。元のモデルの重みは変えないので、手元の vLLM や llama.cpp に足すだけで使えます。
背景と文脈
ハーネスは、モデルとツールのあいだに立つプログラムです。モデルにツールの一覧とシステムプロンプトを渡し、モデルが返したツール呼び出しを実行して、結果を会話に戻します。Claude Code や Codex CLI もハーネスの一種で、オープンソースでは pi・OpenCode・Hermes Agent があります。
ハーネスごとに、ツールの名前や引数の形、プロンプト、過去の推論を履歴に残すかどうかが違います。Hugging Face のチームは、汎用のモデルはどのハーネスにも合わせて調整されていない、と説明しています。同じモデルでも、ハーネスを変えると点数が10点以上変わることがあります。今回の表でも、Qwen3.8-27B の素の状態の SWE-bench Pro は、pi で40.0%、Hermes Agent で29.4%でした。
そこでチームは、モデル本体には手をつけず、ハーネスごとに小さな追加の重みを学習させました。発表の冒頭の例では、pi で Terminal-Bench 2.1 を解かせたとき、1問あたり約2,900トークンで39%だったのが、追加の重みを足すと約1,500トークンで55%になっています。チームは、上がった理由の大半を、考えすぎず、ツールを呼ぶ回数が減り、1回目で正しく解けるようになったためだとしています。
この取り組みは、同じチームが以前に出した小さな実験の続きです。今回は課題の数を増やし、3つのハーネスでそれぞれ学習させたうえで、3つを1つにまとめる方法まで試しました。
技術/ビジネス面

追加の重みには LoRA(Low-Rank Adaptation:元の重みは固定したまま、小さな差分の行列だけを学習して足す方法)を使っています。学習の手法は GRPO(同じ課題を何回か解かせ、ほかの回より良かった回答を強めていく強化学習の手法)です。ハーネスは配布されているものをそのまま動かし、ハーネスと推論サーバーのあいだに中継役を置いて、モデルが出したトークンをそのまま記録しました。
報酬は、テストに通ったかどうかに、ツールを少ない回数で済ませたぶんのおまけ(重み0.1)を足したものです。1問につき8回解かせ、推論モード(答える前に長く考えるモード)は切っていました。課題は Hugging Face Hub から約5万9,000件を集め、動くか、難しすぎないかで絞りました。最後に残ったのは35のリポジトリの871問で、そのうち「解けたり解けなかったりする」171問を強化学習に使っています。1つのハーネスの学習に使った GPU は NVIDIA B200 が2枚です。費用は書かれていません。
学習中は、エージェントが危ないコマンドを打たないかを別の仕組みで確かめていました。3つのハーネスで合わせて130万回のツール呼び出しを確かめ、647回を止めています。
結果は次のとおりです。SWE-bench Pro(実在のリポジトリの課題を直し、テストが通るかを見るベンチマーク。今回は難しい51問)と、Terminal-Bench 2.1(ターミナルでコマンドを使って課題を解くベンチマーク)の、1回で解けた割合です。推論モードは切っています。
| ハーネス | ベンチマーク | 素のモデル | 専用の重み | 3つをまとめた重み |
|---|---|---|---|---|
| pi | SWE-bench Pro | 40.0% | 64.0% | 46.0% |
| Hermes Agent | SWE-bench Pro | 29.4% | 43.1% | 47.1% |
| OpenCode | SWE-bench Pro | 35.3% | 51.0% | 45.1% |
| pi | Terminal-Bench 2.1 | 40.0% | 56.5% | 48.2% |
| Hermes Agent | Terminal-Bench 2.1 | 44.7% | 58.8% | 55.3% |
| OpenCode | Terminal-Bench 2.1 | 47.6% | 52.4% | 52.4% |
専用の重みを足すと、どちらの素のモデルでも解けた問題で、ツールの呼び出しは SWE-bench Pro で56〜72%、Terminal-Bench で53〜70%減りました。3つをまとめた重みは、3つの LoRA を横に並べてつなぎ、半分の強さで足したものです。3つの重みの向きはほとんど重ならず、層ごとの似ている度合いは0.01〜0.02でした。推論モードを入れると、まとめた重みは6通りの組み合わせのうち5つで素のモデルを上回り、平均は55.5%から63.5%に上がっています。
開発者として試すなら
使い分けは、公式のブログで決まっています。1つのハーネスだけを推論モードなしで使うなら専用の重み、複数のハーネスで使うか推論モードを入れるなら、3つをまとめた重みです。どちらも モデルカードに手順があり、ライセンスは Apache 2.0 です。
vLLM で動かすときは、元のモデルに LoRA を足して起動します。まとめた重みの大きさ(ランク)は96なので、上限は次に大きい128にします。
vllm serve Qwen/Qwen3.8-27B \
--enable-lora --max-lora-rank 128 \
--lora-modules qwen3.8-super=harness-hub/Qwen3.8-27B-super-adapter \
--language-model-only --enable-prefix-caching --mamba-cache-mode align \
--enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 \
--max-model-len 131072
pi からつなぐ場合は、~/.pi/agent/models.json に次を書きます。
{
"providers": {
"local": {
"baseUrl": "http://localhost:8000/v1",
"api": "openai-completions",
"apiKey": "dummy",
"models": [{ "id": "qwen3.8-super" }]
}
}
}
モデルカードには、つまずきそうな点がいくつか書かれています。
--mamba-cache-mode alignを外すと、このモデルでは前の会話の計算結果を使い回せず、毎ターン履歴を全部読み直します- vLLM の起動のままだと推論モードが入ります。切るには
--default-chat-template-kwargs '{"enable_thinking": false}'を足します - pi で
"api": "openai-completions"を書かないと、評価していない別の API(Responses API)で通信します。pi には Node.js 22.19 以降が要ります - Hermes Agent は、一度に読める量(コンテキスト)が64,000トークン以上必要です
- llama.cpp 用の GGUF もありますが、量子化したあとの点数は測り直していません。元のモデルは Q8_0 をすすめています
GPU の量は、必要な VRAM としては書かれていません。LoRA を合体させた単体のモデルは BF16 で約54GB なので、24GB の GPU 1枚では BF16 のままでは載りません。ブログのコメント欄でも、必要な GPU の最低条件を尋ねる質問が出ていて、まだ答えはありません。
数字の読み方にも注意が必要です。Hugging Face の harness-hub のページでは、pi 専用の重みの SWE-bench Pro が29.4%から62.7%と書かれていて、ブログの40.0%から64.0%と合いません。まとめるときの強さ(半分)は Terminal-Bench で決めたので、Terminal-Bench の数字は少し甘めです。比べている相手は素の Qwen3.8-27B だけで、Claude や GPT など公開されていないモデルとは比べていません。学習に使っていない種類の課題(AutomationBench の300問)では、pi 用は4.0点上がった一方、Hermes Agent 用は5.3点下がりました。
これからどうなるか
今回の結果から、モデルを替えなくても、自分が使っているハーネスに合わせて小さく学習させれば、点数とツール呼び出しの回数の両方を改善できることがわかりました。ツールを呼ぶ回数が半分になれば、1つの課題にかかる時間と GPU の使用量も、ほぼそのぶん減ります。
学習に使った道具も一式公開されています。TRL の AsyncGRPOTrainer、課題の環境を動かす Harbor と OpenEnv、マージ済みのプルリクエストから課題を作る Repo2RLEnv が出ています。社内で自作のエージェントを Qwen などのオープンなモデルで動かしているなら、同じ手順でそのハーネス専用の LoRA を作れます。必要なのは、テストで正誤が決まる課題を数百問そろえることと、B200 クラスの GPU 2枚です。
チームは、推論モードを最初から入れたモデルでの学習と、推論モードのありとなしを混ぜた学習を次に試すとしています。今回の専用の重みは推論モードを切って学習していて、推論モードありの結果は評価しただけでした。
まとめ
Hugging Face は、Qwen3.8-27B に足す LoRA を、pi・OpenCode・Hermes Agent の3つのハーネスごとに強化学習で作りました。SWE-bench Pro の難しい51問では最大24点上がり、ツールの呼び出しは5〜7割減っています。vLLM と llama.cpp ですぐ試せます。ただし比べた相手は素のモデルだけで、ページによって数字が違う箇所もあるので、自分の課題で測り直してから使ってください。
参考リンク
- Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost(Hugging Face)
- harness-hub/Qwen3.8-27B-super-adapter(モデルカード)
- harness-hub(Hugging Face の組織ページ)
- Qwen/Qwen3.8-27B
- AsyncGRPOTrainer(TRL のドキュメント)
アイキャッチ画像: Photo by Kyle Johnson on Unsplash
