AI arXiv論文:KVキャッシュのランダム削除で推論最大43%高速化
Salesforce AI Researchが、LLM推論時のKVキャッシュをランダムに間引くだけで、vLLM上のスループットを32〜43%高める手法を発表しました。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI