中国のAI企業DeepSeekが、新モデル「DeepSeek-V4.1-Flash」を発表しました。長い文章を扱う際にボトルネックとなる「KVキャッシュ」と呼ばれる記憶領域の使用量を、複数の新技術の組み合わせで前世代モデルの4分の1にまで圧縮しています。最大100万トークンという長い文脈を、より低コストで処理できるようにした点が特徴です。エージェント型AIの実用化が進むなか、コストと速度の両面で開発者に恩恵をもたらす発表といえます。
背景と文脈
AIモデルは、ユーザーの質問に答える際に「KVキャッシュ（Key-Valueキャッシュ：直前までに読んだ文章の情報を一時的に覚えておくための記憶領域）」と呼ばれるデータをメモリ上に保持します。文章が長くなるほどこのキャッシュも比例して膨らむため、コンテキストウィンドウ（AIが一度に読み込める文章量の上限）を広げようとすると、必要なメモリと処理コストが跳ね上がるという課題がありました。
近年はAIエージェント（人間の代わりに複数の作業を自律的にこなすAI）が、長時間にわたり大量の情報を参照しながら動く場面が増えています。会議の議事録やコードベース全体を読み込ませたまま作業を続けるようなケースでは、KVキャッシュの肥大化がサービスの応答速度やクラウド利用料を直接左右します。DeepSeekはこれまでも軽量で効率の良いモデル設計で知られてきましたが、今回の新モデルは「長い文脈を安く読ませる」という課題に正面から取り組んだ内容です。
DeepSeek-AIはDeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compressionと題した論文を公開し、590人を超える研究者が名を連ねる大規模な共同研究として詳細を明らかにしました。オープンにモデルの重みや手法を公開する姿勢は前モデルから一貫しており、海外の開発者コミュニティでも動向がたびたび話題になっています。
技術/ビジネス面
新モデルは、複数の圧縮技術を組み合わせることでKVキャッシュの使用量を大幅に減らしています。まず採用されたのが「Causal Encoder-Decoder」と呼ばれるアーキテクチャです。文章を読み込む段階（プレフィル：入力全体を一度に処理する最初のステップ）で動くパラメータ（AIの判断基準となる調整可能な数値）を80億個に絞り、回答を生成する段階の160億個から半分に減らしています。
さらに「CSA2（Compressed Sparse Attention 2）」という新しい注意機構（アテンション：文章中のどの部分に注目するかを決める仕組み）により、複数の層でキャッシュを使い回せるようにしました。加えて、通常16ビットや32ビットで保持する数値データを4ビットまで圧縮する「FP4」という量子化（データを少ないビット数で近似的に表現する技術）も導入しています。
これらを組み合わせた結果、1トークンあたりのKVキャッシュ容量は890バイトまで減少し、前世代モデル「DeepSeek-V4-Flash」の約4分の1に、長時間保持する分のキャッシュに限れば約8分の1にまで圧縮されました。552億パラメータの土台モデルを45兆トークンという膨大なデータで事前学習しながら、最大100万トークンの文脈長に対応しています。
これからどうなるか
KVキャッシュの圧縮は、エンドユーザーには見えにくい裏方の技術ですが、AIサービスの運用コストには直結します。メモリ使用量が減れば、同じGPU（画像処理用に開発され、AI計算にも使われる高性能な演算装置）でより多くの利用者を同時に処理できるようになり、長い文脈を扱うサービスの利用料が下がる可能性があります。
開発者目線では、社内文書やコードベース全体を読み込ませたまま対話を続けるRAG（Retrieval-Augmented Generation：外部データを検索して回答に反映させる仕組み）や、長時間稼働のエージェントを、より低コストで試せるようになりそうです。中国勢のオープンな技術公開が続くなかで、同様の圧縮手法が他のモデル開発にどう波及していくかが注目されます。手元のCI環境や小規模なGPUでも長文脈タスクを検証しやすくなる点は、個人開発者にとっても実用的な恩恵です。
まとめ
DeepSeek-V4.1-Flashは、KVキャッシュを4分の1に圧縮する複数の技術を組み合わせ、100万トークンの長文脈処理を低コスト化しました。エージェント型AIの実用化が進むなかで、メモリ効率の改善は開発コストと応答速度の両面に直結する重要な進展です。今後、他社モデルへどう波及していくかにも注目したいところです。
参考リンク
アイキャッチ画像: Photo by Nathaniel Shuman on Unsplash
