Kog、既存GPUのLLM推論を最大30倍高速化するKIE公開

パリ拠点のAIインフラスタートアップKogが、既存のデータセンター向けGPU上でLLM推論(学習済みモデルに入力を渡して結果を得る処理)を高速化するソフトウェア「Kog Inference Engine」の技術プレビューを発表しました。専用チップを新調せず、企業がすでに保有するAMD MI300XやNvidia H200からソフトウェア最適化だけで性能を引き出すアプローチです。20億パラメータのモデルで最大30倍の高速化を謳い、応答速度の遅れ(レイテンシ)や推論コストに悩む開発者に直結するテーマです。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

AI業界では今、専用の推論チップに巨額を投じる動きが主流です。新型ハードウェアの開発には数年単位の期間と数十億ドル規模の資金が必要で、実用化までの道のりは長いのが実情です。GPUの調達は世界的に品薄が続き、電力コストも高止まりしています。生成AIサービスを運営する企業にとって、GPU利用料はクラウド費用の大半を占める重い負担です。

こうした流れに対し、Kogは逆の発想を選びました。2023年創業のパリ拠点スタートアップで、新しいチップを作らず、企業がすでに保有するGPUの性能をソフトウェアだけで引き出します。CEOのGaël Delalleau氏は物理学とサイバーセキュリティを専門とし、DEFCON CTF(世界的なハッキング技術コンテスト)の常連という異色の経歴です。チームはわずか11人ながら、Varsity VC主導のシード資金に加え、フランス公的機関のBpifranceとFrench Tech 2030プログラム、クラウド大手Scalewayの支援も受けています。

TechCrunchによると、5月に技術プレビューを公開した後、200件を超える商談リードを獲得したといいます。同社のアプローチは、スタンフォード大学のHazy Researchラボに近いとされます。低レイヤーへ深く踏み込む姿勢が特徴で、専用チップへの投資が過熱する業界の中、既存資産を生かす手法として関心を集めています。

技術/ビジネス面

gray and back circuit illustration — Photo by Mathew Schwartz on Unsplash

Kogの手法は、GPUのアセンブリやバイナリレベルまで踏み込むリバースエンジニアリング(既存製品の内部構造を解析し、動作を再現・改良する手法)です。多くのソフトウェア最適化はモデルの量子化(パラメータの精度を落として計算量を減らす手法)止まりですが、Kogはさらにハードウェアの中まで踏み込みます。GPU1機種につき数週間から数ヶ月をかけて最適化するといい、専用チップの新規開発に比べれば圧倒的に短期間で済みます。この地道な積み重ねこそが同社の競争力の源泉です。

5月に公開した技術プレビューでは、20億パラメータ(モデルが学習で獲得する重み係数の数で、多いほど表現力が高まる指標)のモデルLaneformer 2Bを用いて検証しました。結果は8基のAMD MI300Xで1リクエストあたり3,000トークン(文章を分割した処理単位)/秒、8基のNvidia H200では2,100トークン/秒(FP16という16ビット精度の計算形式で、投機的デコーディング(複数候補を先読みして生成を速める技術)は未使用)を記録しています。同社は最大30倍の高速化を謳いますが、より大きなモデルでの実証はこれからです。

競合には、専用チップで2026年5月に55億ドルを調達しIPOしたCerebrasや、Nvidia CUDAへの依存を避けたソフトウェアで勝負するZMLがいます。Kogはハードウェアを持たない立場から、この2社とは異なる土俵で戦う構えです。

これからどうなるか

Kogが狙うのは、速度に対価を払うプロ向けユーザーです。コーディング支援ツールの利用者や、ゲーム・アプリ生成プラットフォームなど、推論の遅延に不満を持つ層を主な顧客に想定しています。CEOはAnthropicの有料プラン「Fast Mode」のような価格モデルを参考にしていると述べています。

同社は2026年9月までに、主要モデルの一つで10倍速を実証する計画です。この実績を足がかりにシリーズA調達を目指す方針といいます。まだチーム11人の小さな会社ですが、実証データ次第で評価は大きく変わりそうです。

開発者にとっては、推論コストとレイテンシの改善が自社プロダクトのAPI費用や応答速度に直結するテーマです。同じ処理を少ないGPU台数でこなせれば、クラウド利用料の抑制にもつながります。Claude Codeのような開発支援ツールの応答待ちにストレスを感じている人には、見逃せない動きでしょう。今後の実証結果は、注視しておく価値があります。