AI llama.cpp v1.0公開 推測デコードでRTX 3090が最大55%速く
llama.cppがv1.0.0を出し、C APIの互換性をメジャー番号で示す決まりにしました。RTX 3090の検証では1件ずつの速さは同じで、4件同時は22%、MTPの推測デコードは最大55%速くなっています。
AI
SQL
AI
AI
SQL
心理学
AI
AI
SQL
心理学