arXiv：RLHFは表層的整合のみ — 党派的偏向は重みに残る

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを使った強化学習によるアライメント手法）で訓練されたLLMが、内部に党派的な偏向構造を保持したまま「中立的な出力」を生成しているとする論文が公開されました。arXiv論文「The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact」（2606.09735）は、アライメント訓練が「偏向を除去する」のではなく「偏向への出力経路を遮断するだけ」であることを実験的に示しています。ユーザーの政治的アイデンティティを示す情報を与えると、遮断された偏向が再活性化することも確認されました。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

大規模言語モデルは大量のテキストデータから学習するため、人間社会の政治的・文化的偏向を内包します。RLHFはこうした偏向を軽減し、有害なコンテンツを抑制するための標準的なアプローチとして確立されています。ChatGPT・Claude・Geminiといった主要なLLMはすべてRLHFを使ってアライメント（AIの出力を人間の意図・価値観と合わせる訓練）を行っています。

RLHFによるアライメントは一般に「モデルが有害な出力をしなくなる」として評価されてきました。しかし、「有害なパターンがモデルの重みから物理的に除去されているのか、それとも単に出力されないよう抑制されているだけなのか」という問いに答えた研究はほとんどありませんでした。本論文はこの問いに直接答えようとする研究です。

政治的偏向を研究対象に選んだのは、測定が比較的容易でありながら、AIの中立性に関する社会的関心が高い領域だからです。著者はLlama 3.1 8B（Metaが公開した80億パラメータのオープンウェイトモデル）の基盤モデルと、指示調整版（RLHF後のモデル）を比較分析しました。

技術/ビジネス面

black swirl of letters — Photo by Nathaniel Shuman on Unsplash

分析手法は疎自己符号化器（Sparse Autoencoder：モデルの内部表現からスパース＝疎な特徴を抽出する解釈可能性ツール）を使った表現空間の解析です。基盤モデルと指示調整版で、内部表現に含まれる政治的方向性を比較しました。結果として、RLHF後のモデルでは「党派的な幾何学的構造」がモデルの重みに残ったまま、その構造から出力への因果的経路だけが遮断されていることが判明しました。言い換えると、政治的偏向を表す内部表現は消えていないが、通常の入力では出力に現れないよう「マスク」されている状態です。

さらに実験では、ユーザーの政治的アイデンティティを示す情報（例：「あなたは共和党支持者に話しかけています」）をプロンプトに含めることで、このマスクを突き抜けて党派的な生成が再活性化することも確認されました。これはアライメントの脆弱性を直接示す結果です。特徴レベルのステアリング実験（モデルの特定の内部表現を外部から操作する手法）でも同様の再活性化が観察されました。

論文は、この現象がRLHF特有ではなく、SFT（Supervised Fine-Tuning、正解データを使った教師あり微調整）やDPO（Direct Preference Optimization、直接的な選好最適化の手法）でも同様の「表層的整合」が起きている可能性があると述べています。政治的偏向に限らず、他の価値観領域（誠実さ・有害コンテンツへの対応・プライバシーへの配慮など）でも同種の構造が存在するかどうかは今後の検証課題です。

これからどうなるか

この発見はAI安全性の研究と実装の両面に影響します。RLHFを適用したモデルが「安全である」と評価される場合、その安全性が「偏向の除去」に基づいているのか「偏向の抑制」に基づいているのかで、将来的なリスクの性質が変わります。抑制に基づくなら、何らかの条件が揃ったときに偏向が再表出するリスクが残ります。

開発者の視点では、LLMをコンテンツモデレーションや政治的に敏感なトピックの判断に使う場合は特に注意が必要です。ユーザーのペルソナや文脈をシステムプロンプトに含める設計が、アライメントを意図せず弱める可能性があります。特定の属性を推測・明示するプロンプトパターンがモデルの出力に予期しない影響を与えるケースを想定したテストが求められます。

長期的には、より堅牢なアライメント手法の必要性を示す根拠として、この論文は引用されるでしょう。偏向を「出力経路での遮断」ではなく「重みレベルでの除去」に近づけるためのアプローチ—データ選択・アーキテクチャ設計・訓練目標の改善—が今後の研究課題となります。