MoE型LLMに新攻撃、ビット反転で出力が平均60倍に

研究チームが、複数の小型モデルで処理を分担する「Mixture of Experts（MoE：入力ごとに一部の専門家ネットワークだけを選んで動かし、モデル全体を大きくしても計算コストを抑える仕組み）」型の大規模言語モデルに対し、新たなハードウェア攻撃を実証しました。モデルのパラメータをわずか数ビット書き換えるだけで、出力トークン数が平均5,912%増加し、多くのケースで応答が上限まで暴走することが分かりました。効率化のために広く使われ始めたMoE構造そのものが、攻撃の突破口になり得ることを示す結果です。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

ビット反転攻撃（bit-flip attack）は、メモリ上に置かれたモデルの数値データを、電気的な手法で1ビットずつ書き換える攻撃手法です。もともとはRowHammerと呼ばれるDRAMの脆弱性を突く技術から派生し、画像認識モデルの誤分類を狙う研究が先行していました。大規模言語モデルへの応用はまだ少なく、多くの先行研究は数十から数百ビットの改ざんを前提にしていました。

今回、Groundhog Bit-Flip Attack: Seeding Infinite Generation Loops in Mixture-of-Experts LLMs through Bit Flipsという論文で報告された手法が注目を集めているのは、標的をモデル全体ではなく「ルーティング層」に絞った点です。MoEモデルは、どのトークンをどの専門家に振り分けるかを決める小さな判断部分を持っており、ここは全体のパラメータ数に比べてごくわずかです。研究チームはこの急所を突くことで、改ざんするビット数を大幅に減らしながら攻撃効果を最大化できることを示しました。

Mixtral、DeepSeek、Qwen3など、効率重視で採用が広がっているMoE系モデルは多く、今回の手法はこうした構造の普及そのものが新しい攻撃面を生んでいる現実を突きつけています。

ハードウェア攻撃自体は目新しいものではありません。画像認識モデルの分類結果を狙い撃ちで誤らせる研究は2010年代後半から積み上がってきました。これに対しLLMは、パラメータ数が桁違いに多いため「1ビットの改ざんで実害を出す」のは難しいと見られてきました。今回の成果は、その常識をルーティング層という狭い急所への攻撃で覆した点に意義があります。

技術/ビジネス面

回路基板のクローズアップ — Photo by Mathew Schwartz on Unsplash

研究チームは実在する4種類のMoE型LLMを対象に検証を行いました。平均で4つ未満の専門家ネットワークを無効化する程度のビット改ざんで、出力トークン数が平均5,912%増加、つまり通常のおよそ60倍に達しています。対象となったサンプルの多くは、モデルが設定している最大トークン数の上限まで生成を続け、そこで強制的に打ち切られる結果になりました。これは会話モード・推論モード・エージェント動作モードのいずれでも再現され、特定の用途に限られた弱点ではないことが分かります。

これは典型的なDoS（Denial of Service、サービス妨害）攻撃の一種です。回答の中身を誤らせるのではなく、応答生成そのものを止まらなくすることでサービスを機能不全に陥らせます。しかも研究チームによれば、生成される文章の意味的なまとまりはある程度保たれるため、監視側が異常に気づきにくいという厄介な性質も持っています。トークン生成が続く限り計算資源が消費され続けるため、クラウド従量課金の環境ではコスト急増にも直結します。なお論文の要旨では具体的な防御策までは提示されておらず、脆弱性の実証にとどまっている点は留意が必要です。

これからどうなるか

MoE構造は、少ない計算量で大きなモデルを動かせる利点から、オープンウェイトモデルを中心に採用が加速しています。今回の結果は、その効率化の裏側で攻撃対象となる「急所」が生まれていることを示しており、モデル提供者はルーティング層の堅牢性を単体で評価する必要に迫られそうです。

自前でMoE系のオープンモデルを推論サーバーにデプロイしている開発者にとっても他人事ではありません。応答トークン数の異常な増加を監視するアラートを仕込んでおく、共有インフラではECCメモリなどビット反転そのものを起きにくくするハードウェア対策を確認する、といった運用面の備えが現実的な対策になりそうです。特にクラウドの共有GPUインスタンスを使う構成では、他テナントとメモリを物理的に近接して使う可能性があり、RowHammer系の攻撃耐性は今後インフラ選定の判断材料の一つになっていくと考えられます。最大トークン数の上限設定を厳しめに保っておくだけでも、被害を軽減する簡易な防御になります。