コーディングエージェントの実力を、利用者との複数回のやり取りの中で測る評価セットが登場しました。Tencent Hunyuanの研究者らによる論文UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Usersです。42のリポジトリから72の課題を作り、11のエージェントを比べました。1回の指示で直せる数ではClaude Fable 5.1が首位でしたが、8回目まで見るとGPT-6-Astraが首位に立ちます。1回勝負の点数だけでは、実際の使い心地を測れないことを数字で示した研究です。
背景と文脈
コーディングAIの評価では、SWE-bench（GitHubの実際の課題を直せるかを測るベンチマーク）系のテストが定番です。ただし多くは、課題文を1回渡して結果を見る1ターン形式です。実際の開発では、症状の説明があいまいだったり、原因の見立てが外れていたりします。エージェントは質問し、試し、利用者の返事を受けて直し続けます。
研究チームは、社内のコーディング支援ツールで記録された2万859件の開発セッションを分析しました。うちコードの変更を伴うものは1万3,530件です。最初の発言の約53%は「症状は明確だが原因は書かない」もので、約23%は「症状があいまいで原因もない」ものでした。症状も原因も正しい状態が5ターン続くのは、わずか0.72%です。理想的な利用者を前提にした評価は、現実とかけ離れているといえます。
こうした実態に合わせて、利用者の振る舞いまで再現する評価を作ろうというのが、この論文の狙いです。
技術/ビジネス面
72の課題は2種類あります。22件は、メンテナーが2つのissueを関連づけた履歴から作った連鎖型の課題です。残る50件は、SWE-bench ProやSWE-bench-Liveの1ターン課題を対話型に作り替えました。やり取りの上限は、単発の課題で5ターン、連鎖型で8ターンです。
利用者役はAIが演じます。軸は「症状が明確かあいまいか」と「原因の見立てがない・正しい・的外れ・誤り」の2つで、組み合わせると8種類のペルソナ（利用者の性格設定）になります。ターンごとのペルソナの移り変わりは、先のセッション記録から求めた確率で決めます。課題ごとに流れを先に決めておくため、どのエージェントも同じ利用者と向き合います。
判定は毎ターンのテスト実行が基本です。テストで決められない部分だけを、別の系統のAIが判定役とチェック役に分かれて確認します。チェック役が判定を書き換えた割合は40.9%に上りました。指標にはLDPR（少ないターンで解決するほど高く評価する解決率）を使います。
結果は、見るターン数で順位が入れ替わりました。1ターン目の解決率はClaude Fable 5.1が31.9%で首位で、Claude Opus 5が25.0%で続きます。8ターン目ではGPT-6-Astraが81.9%で首位となり、Opus 5とGrok-4.6が80.6%で並びました。GPT-6-Astraは1ターン目が12.5%で、粘って追い上げる型です。総合のLDPRではOpus 5が0.640で首位、Fable 5.1が0.593で2位でした。なおFable 5.1は一部の課題を拒否しており、未解決として数えています。
これからどうなるか
この研究が示すのは、エージェントを選ぶ物差しの変化です。1ターンの解決率は、11のエージェントの間で意味のある差が出た組み合わせが最も少ない指標でした。LDPRでは55組のうち17組で差が出ています。研究チームは、評価セットと評価の仕組みを公開すると予告しました。
開発者にとっては、ツール選びで「何回のやり取りで直るか」を見る視点が役立ちます。短い指示で一発の修正を任せたいのか、対話しながら詰めたいのかで、合うエージェントは変わります。症状を明確に書き、原因の見立てを添えるだけで結果が変わることも、日々のプロンプトの書き方に生かせそうです。
一方で、課題は72件と小さめです。利用者の行動も1社のツールの記録に基づいています。他の組織のデータで同じ傾向が出るかは、今後の検証を待つ必要があるでしょう。
まとめ
UserSWEは、利用者とのやり取りを再現してコーディングエージェントを評価する仕組みです。1ターンではFable 5.1、8ターンではGPT-6-Astra、総合ではOpus 5が首位と、見方で順位が変わりました。1回勝負のベンチマークだけでツールを選ぶ危うさを示しています。
参考リンク
- UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users（arXiv）
- UserSWE 論文本文（HTML版）
アイキャッチ画像: Photo by Milad Fakurian on Unsplash
