LLM（Large Language Model、大規模言語モデル）に別のモデルの回答を採点させる「LLM-as-a-Judge」は、いまや評価の標準手法です。しかしarXivに公開された論文All Verdicts are Not Equal: Rethinking LLM Judge Reliabilityは、その採点結果が思った以上にぶれると報告しました。最先端モデル6種を使った監査で、温度ゼロでも同じ入力に違う判定が出ること、答案の提示順を入れ替えると難しい課題の大半で判定が覆ることが分かっています。
背景と文脈
LLM-as-a-Judgeとは、人間の代わりにLLMへ採点を任せる方式です。たとえばチャットボットの回答2つを見せて、どちらが良いかを選ばせます。人手で評価するより速く安いので、モデル開発から社内のプロンプト改善まで広く使われています。
ただし多くの現場では、判定を「固定された正解」として扱いがちです。判定にぶれがあれば、モデルの優劣やプロンプト変更の効果を取り違える恐れがあります。CI（継続的インテグレーション）に評価を組み込んでいる開発チームにとっては、テストの信頼性そのものに関わる問題です。
これまでも、LLMには最初に見た答案を好む「位置バイアス」があると指摘されてきました。今回の研究は、位置バイアスだけでなく再現性や正確さも含め、まとめて測ろうとした点に新しさがあります。
技術/ビジネス面
著者はVineet Kumar氏ら3人です。実験では6つのフロンティアモデル（その時点の最高性能級のモデル）を審査役にしました。4つのベンチマーク（性能を測る共通課題）を使い、プロンプトの書式5種類、提示順2通り、サンプリング温度3段階を組み合わせています。各条件は10回ずつ繰り返しました。
サンプリング温度とは、出力のランダムさを決める設定値です。ゼロにすれば毎回同じ答えが出ると考えられがちですが、実際には同一入力でも判定が変わりました。サーバー側の計算順序などが原因として知られています。
特に目を引くのは、最も決定的に動く審査役の結果です。このモデルは毎回同じ判定を返しており、一貫性は完璧でした。ところが正解との一致率は51%にとどまります。つまり、間違った判定を安定して繰り返していただけでした。一貫性が高いことと正しいことは別物です。
そこで著者は「trustworthy verdict rate（T）」という指標を提案しました。判定が再現できること、提示順を変えても変わらないこと、正解と合うことの三条件を同時に満たす確率です。さらにTを使い、位置バイアスだけで精度に理論上の上限がかかることを導いています。信頼性はモデルごとではなく、問題1件ごとに大きく異なる点も示しました。
対策も1つ出ています。2つの答案を比べる勝率方式から、1つずつ採点基準（ルーブリック）に沿って点を付ける方式へ切り替えると、どのプロンプト書式の変更よりもTが改善したそうです。
これからどうなるか
自前でLLM評価を回している開発者は、まず自分の評価が同じ入力で何割ぶれるかを測ってみるのが手始めです。同じ組を10回流して判定が割れる件数を数えるだけでも、危うい項目が見えてきます。
実装面では、答案の提示順を入れ替えて2回判定し、両方で同じ結論になった場合だけ採用する方法が使えます。割れた項目は人が見る、と決めておけばコストも抑えられます。ペア比較で運用しているなら、ルーブリック採点への移行も検討に値します。
注意点もあります。この論文は現時点でプレプリント（査読前の論文）であり、結果は著者の設定に依存します。モデルや課題が変われば数字も変わるでしょう。それでも「温度ゼロなら安定する」という前提を疑う根拠としては十分です。評価結果を公表する側にも、再現性の指標を併記する流れが広がるかもしれません。
まとめ
LLM審査役の判定は、同一入力でも提示順の入れ替えでも変わります。最も安定した審査役ですら、正解との一致は51%でした。一貫性、順序への強さ、正確さをまとめて見るT指標と、ルーブリック採点への切り替えが提案されています。自社の評価パイプラインを点検するきっかけになる研究です。
