AI DeepSeek-V4向け新手法、推論速度最大18.5%向上
DeepSeek-V4のメモリ節約構造に対応したツリー型投機的デコーディング手法が発表されました。モデル自体を作り直さずにスループットを最大18.5%高められる可能性がある実用的な手法です。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI