法律分野でAIに文書を検索・要約させる「RAG」システムは、どれくらい事実と異なる回答を作ってしまうのでしょうか。研究者チームが8つの法務RAGシステムを対象に詳細な検証を行い、優秀なシステムでも回答の1割近くに、劣るシステムでは半分近くに事実誤認が混じることを明らかにしました。誤った前提を含む質問への弱さも浮き彫りになっています。
背景と文脈
RAG（Retrieval-Augmented Generation、検索拡張生成）は、AIが回答を作る前に関連文書を検索し、その内容をもとに答えを生成する仕組みです。学習済みの知識だけに頼らないため、最新情報や専門文書への対応力が高まるとされ、契約書レビューや法令調査、デューデリジェンスなど法務分野での導入が進んでいます。人手で文献を洗い出すより短時間で済み、根拠となる条文や判例を提示できる点が評価されてきました。実際、法律事務所や企業の法務部門では、大量の契約書や規制文書を短時間で横断検索する用途からRAG導入が始まり、今では下書き作成や一次回答の生成にまで用途が広がっています。
一方でRAGには「ハルシネーション」と呼ばれる問題が付きまといます。これは、AIが事実に基づかない内容をもっともらしく生成してしまう現象のことです。検索した文書があっても、その内容を誤って解釈したり、文書にない情報を補って答えてしまったりするケースが後を絶ちません。一般的な質問応答であれば誤りは訂正すれば済みますが、法務のように誤りが実害につながりやすい領域では、この精度が導入可否を左右する重要な指標になります。存在しない条文を根拠に契約書をレビューしてしまえば、企業の意思決定そのものを誤らせかねません。
技術/ビジネス面
今回の研究「How Much Do Legal RAG Systems Still Hallucinate?」では、GDPR（EUの個人情報保護規則、英語）とフランスの民法という性質の異なる2つの法律コーパスを使い、8つの法務RAGシステムを横断的に評価しました。回答単位だけでなく、回答内の主張ひとつひとつを検証する「クレイムレベル」の評価も行い、誤りの密度と深刻度を細かく分析しています。質問の種類やユーザーの立場（一般利用者・企業法務担当・弁護士など、想定される「ペルソナ」）ごとに結果を分けて集計している点も特徴で、単一のスコアでは見えない弱点をあぶり出す設計になっています。
検証結果はシステム間で大きな差が出ました。最も精度の高いシステムはハルシネーションを含む回答が1割未満に抑えられていた一方、最も精度の低いシステムではほぼ半数の回答に事実誤認が含まれていました。さらに研究チームは、法律専門家が作成した142問の独立した質問セットでも同じ傾向を確認しています。特に目立ったのが「誤った前提を含む質問」への弱さです。存在しない条文や誤った解釈を前提にした質問を投げると、多くのシステムがその前提を訂正せずに、誤りを含んだまま回答を続けてしまう傾向が見られました。たとえば「第◯条に定める猶予期間は何日か」のように、そもそも存在しない条文を尋ねる質問に対し、多くのシステムはもっともらしい日数を作り出して答えてしまい、前提自体の誤りを指摘できていません。
これからどうなるか
この結果は、法務や規制対応のためにRAGパイプラインを組んでいる開発者にとって見過ごせない数字です。標準的な質問応答の精度だけを評価基準にしていると、実運用で危険な「誤った前提への追従」を見落とす恐れがあります。自社のRAGを評価する際は、正しい前提の質問だけでなく、意図的に誤った前提を含む質問セットをテストケースに加えることが実用上の防御線になりそうです。加えて、回答単位だけでなくクレイムレベルで根拠文書と突き合わせる検証を評価パイプラインに組み込めば、見落としがちな部分的な誤りにも気づきやすくなります。
今後は法務以外の医療・金融など、誤りが実害に直結する領域でも同様の評価軸が標準化されていく可能性があります。ベンチマーク単体のスコアより、前提の誤りをどう検出し訂正するかという設計が、RAGシステムの信頼性を分ける差になっていくでしょう。専門家によるレビュー工程を完全になくすのではなく、どこに人の目を残すかを設計する段階に、議論の重心が移りつつあると言えます。
まとめ
法務RAG8システムの検証で、ハルシネーション率は最良1割未満から最悪5割弱まで大きく開きました。誤った前提の質問に弱いという共通課題も判明し、RAGを実務に使う際は前提の誤りを想定したテスト設計が欠かせないと言えそうです。
参考リンク
アイキャッチ画像: Photo by Matthieu Joannon on Unsplash
