ハイブリッドLLM（TransformerとMamba等の線形注意機構を組み合わせた大規模言語モデル）に推論能力を持たせるためCoT（Chain-of-Thought、思考連鎖：問題を段階的に解く過程を明示するプロンプト手法）データで微調整すると、長文脈を扱う能力が激しく低下することが明らかになりました。清華大学などの研究チームが発表したarXiv論文（2606.11052）は、この現象を「Attention Amnesia（注意健忘）」と名付け、一部のモデルで長文脈検索の精度が67.2%から9.4%にまで落ち込むことを示しています。原因はWQ・WKパラメータの破損であり、訓練不要なQK-Restore手法で能力をほぼ完全に復元できます。ハイブリッドLLMを推論特化で使っている開発者には直ちに確認すべき問題です。
背景と文脈
近年のLLM開発では、純粋なTransformerアーキテクチャに代わり、ハイブリッド設計が注目を集めています。Transformerはすべての入力トークン間の関係を計算するため、文脈が長くなるほど計算量と使用メモリが二乗的に増加します。これに対し、Mamba（状態空間モデル：順次処理で長系列を効率的に扱う仕組み）やRetNetなどの線形注意機構は、シーケンスの長さに比例したスケールで動作し、長文脈を格段に効率よく処理できます。
HypeNet、Jamba、Jet-Nemotronなどのハイブリッドモデルは、両者の長所を組み合わせることで長文書要約・RAG（Retrieval-Augmented Generation、検索拡張生成：外部知識を検索してLLMに渡す手法）・長期記憶が必要なエージェント系タスクで採用が広がっています。推論能力の強化も進んでおり、CoTによるSFT（Supervised Fine-Tuning、教師あり微調整）を経た推論特化バージョンが次々とリリースされています。
しかし今回の研究以前は、このCoT微調整がハイブリッドLLM固有の長文脈能力に与える悪影響は体系的に調査されていませんでした。推論ベンチマークでの改善が注目される一方で、長文脈の検索性能がサイレントに劣化しているリスクは見過ごされていたのです。
技術/ビジネス面
研究チームはHypeNet-9BにCoT微調整を施し、NIAH（Needle-in-a-Haystack：長文書中の特定情報を見つける定番テスト）を実施しました。結果は67.2%から9.4%という衝撃的な低下で、推論性能は改善しながら長文脈能力が事実上機能不全に陥ることが確認されました。同様の劣化はJamba-7Bでも再現されており、特定モデルの問題ではなくハイブリッドアーキテクチャ全般に潜む構造的な問題といえます。
原因の分析では、CoT微調整時のグラジエントが短距離の注意パターンに強く偏ることが判明しました。これがWQ（クエリ射影：「何を探すか」を決めるパラメータ）とWK（キー射影：「どこに情報があるか」を決めるパラメータ）を書き換え、長距離ルーティング機能を破壊します。端的に言えば、「遠い位置の情報を引き出す」という能力が、推論特化の学習によって上書きされてしまう状態です。
解決策として提案されたQK-Restoreは追加学習が不要な手法です。微調整後のすべてのパラメータを保持しながら、WQ・WKだけを微調整前のチェックポイントから復元します。この一操作で、HypeNet-5BのS3@256K（25万6000トークンの長文脈でのスコア）が65.4%から76.4%に回復しました。さらにProcrustes変種は、線形変換を通じて「推論力を保ちながらルーティング能力を復元する」バランスを調整できる手法で、より精緻な復元が可能です。
これからどうなるか
ハイブリッドLLMは推論速度・メモリ効率・長文脈処理を両立できるとして、RAGパイプラインや長文書処理の基盤モデルとして採用が広がっています。今回の発見は、推論特化でファインチューニングされたハイブリッドモデルを使っている場合、長文コンテキストでの検索精度がサイレントに低下している可能性を示しています。
開発者への直接的な影響として、ハイブリッドLLMベースのRAGや長文チャンクを扱うエージェントを本番運用している場合は、長文脈でのNIAHテストや類似の検索精度評価を改めて実施することを検討すべきです。QK-Restoreは既存チェックポイントがあれば試験的に適用しやすく、性能改善を低コストで確認できます。
今後は、この問題への対処を前提にしたハイブリッドモデルの微調整レシピや、QK-Restore対応済みモデルのリリースが増えることが予想されます。推論能力の強化が進む中で、「副作用としての長文脈能力喪失」は見逃せない品質指標になってきています。
まとめ
CoT微調整がハイブリッドLLMの長文脈能力を破壊する「Attention Amnesia」が実証されました。精度が67%から9%に低下するケースもあり、WQ・WKパラメータの復元のみで修復できるQK-Restore手法が提案されています。ハイブリッドLLMを推論特化で利用している開発者は、長文脈での性能評価を見直すタイミングです。
参考リンク
アイキャッチ画像: Photo by Mathew Schwartz on Unsplash
