要約や回答の質を採点する役目を、人間ではなくAIモデルに任せる「LLM-as-a-Judge（AIを審査員として使う評価手法）」が、開発現場でも当たり前になってきました。しかしその審査AIが内部でどう判断しているのかは、これまでほとんど分かっていませんでした。米国の研究者Himil Vasava氏とMing Jiang氏は、代表的な審査モデル2種を分解し、採点の判断がモデルのどの層で固まるのかを突き止めた論文を発表しました。
背景と文脈
チャットボットやRAG（Retrieval-Augmented Generation、検索拡張生成：外部文書を検索してから回答を生成する仕組み）の出力品質を継続的にチェックする際、人手でのレビューは時間もコストもかかります。そこで近年は、別のLLMに「この要約は分かりやすいか」「内容は正確か」を採点させるLLM-as-a-Judgeという手法が広く使われるようになりました。ただし、審査役のAIがなぜその点数を付けたのかはブラックボックスのままで、採点結果をどこまで信用してよいのか判断しづらいという課題がありました。
今回の研究は、要約評価に特化してファインチューニング（あらかじめ学習済みのモデルを、特定の用途向けに追加学習させること）された2つの審査モデル、Themis（Llama-3-8Bベース）とPrometheus（Mistral-7Bベース）を対象に、内部の情報処理を解剖しています。
技術/ビジネス面
研究チームはまず、読みやすさ（Readability）と内容の妥当性（Adequacy）という2つの評価軸に沿って、意図的に誤りを混入させた要約文を大量に生成しました。誤りの強さを段階的に変えた「正常版」と「劣化版」のペアを用意し、審査モデルがどの時点で違いに気づくのかを追跡できるようにしています。
分析には4種類の手法を組み合わせました。特定の内部処理を意図的に置き換えて出力への影響を調べる「因果トレーシング」、モデルの中間層が単語のどの候補に注目しているかを可視化する「ロジットレンズ」、そして特定の注意機構（attention：文中のどの単語に注目するかを決める仕組み）を一時的に無効化して影響を見る「アテンションヘッド・ノックアウト」などです。
結果として見えてきたのは、2段階の明確な処理パイプラインでした。15層目より手前では、注意機構が誤りのある箇所とない箇所を局所的に比較する役割を担い、15層目より後ろでは、MLP（多層パーセプトロン：ニューラルネットの基本的な計算ユニット）が各層の情報を積み重ねながら評価信号を統合していきます。最終的な判定が固まるのは、Themisでは26層目、Prometheusでは25層目という、かなり後ろの層でした。
さらに興味深いのは、ファインチューニングが審査能力をゼロから作り出しているわけではなかった点です。論文は「既存の基盤を彫刻するように調整している」と表現しており、具体的には15層目より手前にあるMLPの一部の働きを抑え、判定が固まる層を素のモデルより2層分だけ後ろにずらすことで、審査モデルとしての性能を引き出していることが分かりました。
これからどうなるか
この研究が示すのは、審査AIの採点が一枚岩の判断ではなく、前半で細かい誤りを拾い上げ、後半でそれをまとめて点数に変換するという構造を持つという事実です。自動評価パイプラインをCI（継続的インテグレーション）に組み込んで、AI機能の品質を毎回自動採点している開発チームにとっては、なぜ特定の誤りが見逃されやすいのか、逆になぜ些細な言い回しの違いに過剰反応するのかを考える手がかりになります。判定が後ろの層でようやく固まるという特性は、短いプロンプトで審査させるより、十分な文脈と手がかりを与えたほうが安定した採点になりやすいことも示唆しています。
研究チームはソースコードとデータセットを公開しており、他の審査モデルでも同じ構造が再現するかどうかの検証が今後進みそうです。LLM-as-a-Judgeを本番の品質保証プロセスに組み込む前に、こうした内部メカニズムの理解を踏まえて採点基準を設計することが、評価結果の信頼性を高める第一歩になるでしょう。
今回検証されたのは8B前後の比較的小さなモデル2種、対象タスクも要約評価に限られています。数十億パラメータ規模のモデルや、コード生成・対話といった別のタスクでも同じ2段階構造が見られるかは今後の検証課題です。とはいえ、審査AIの「思考過程」を層単位で追える道具立てが揃ったこと自体が、評価パイプラインをブラックボックスのまま使い続けるリスクを減らす一歩と言えます。
まとめ
研究者はLLM審査モデルThemisとPrometheusを解剖し、15層目を境に誤り検出と採点統合が分かれ、判定は25〜26層目で固まる仕組みを解明しました。AI自動評価の信頼性を考えるうえで重要な手がかりです。
参考リンク
アイキャッチ画像: Photo by Mathew Schwartz on Unsplash
