Stanford/Nvidia新モデルCLM-8B、推論9倍高速化

man and woman standing near laser light AI

StanfordとNvidiaの研究チームが、AIエージェント向けの新しいモデル「CLM-8B」をオープンソースで公開しました。文章を1語ずつ生成する代わりに、状況と選択肢を照合して答えを選ぶ仕組みを採用しており、ゼロショット(追加学習なしでその場のタスクをこなすこと)のテストでは既存モデルJevに対し最大9倍の高速化を確認しています。エージェント開発の裏側にあるコスト構造に踏み込んだ、実務寄りの成果です。

背景と文脈

近年のAIエージェントは、次にどのツールを呼び出すか、どの選択肢を選ぶかという判断を、通常のチャットモデルと同じように文章を生成する形で行ってきました。しかし実際には「複数の候補から1つを選ぶ」という単純な分類に近い作業も多く、文章をゼロから生成する処理は過剰なコストになりがちです。判断のたびに数百ミリ秒単位の遅延と計算コストが積み重なるため、多段階の作業をこなすエージェントほど負担が大きくなります。

CLM-8B(Contrastive Language Model:文章生成ではなく、状況と選択肢の類似度を比較して答えを選ぶ言語モデル)は、この「選ぶ」という作業に特化して設計されました。Alibabaが公開しているQwen3-8Bというモデルの重みを固定したうえで、状況を表す情報と、選択肢となる行動を表す情報をそれぞれ別のヘッド(用途ごとに追加した小さな変換の層)でベクトルに変換し、両者の近さを比較して最も合う行動を選びます。

この発想は、検索エンジンや推薦システムで使われてきた埋め込み(文章や画像を、意味の近さを距離として扱えるベクトルに変換する技術)の考え方を、エージェントの意思決定に応用したものといえます。生成モデルが次に来る単語を一つずつ予測するのに対し、CLM-8Bは最初から用意された選択肢の中から一番近いものを選ぶだけなので、出力の形式が崩れる心配も少なく、選択肢の追加や入れ替えにも柔軟に対応しやすくなります。

技術/ビジネス面

black laptop computer turned-on displaying source code on table
Photo by Jantine Doornbos on Unsplash

この設計が生きるのがキャッシュ(一度計算した結果を保存しておき、再利用することで計算を省く仕組み)です。状況と選択肢を別々にベクトル化できるため、選択肢側は先に計算して保存しておけます。たとえば承認済みの操作が50種類ある社内向けIT運用エージェントなら、50種類の行動はあらかじめ1回だけベクトル化しておき、新しい依頼が来るたびに変化する状況側だけを計算して、保存済みの行動ベクトルと照合すればよい仕組みです。

ベンチマークではゼロショットの状態で、TypeSafe社のJevに対し最大9倍の推論速度を記録しました。ただし内容によって差があり、ゲーム系のタスクではJevと互角、ツール呼び出しの精度ではCLM-8Bが95.2%、Jevが99.2%とやや劣勢、Web上を渡り歩いて目的のページへたどり着くWikiRacingでは30問中26問正解(Jevは30問正解)と、速度と引き換えに精度で一歩譲る場面も見られます。

これからどうなるか

開発者にとって魅力的なのは、対照学習(正解と不正解の候補を比べさせて、正しい組み合わせを近づけるように学習する方式)という設計により、8Bパラメータ全体を再学習しなくても、比較的小さなヘッド部分だけを学習し直せば特定業務向けに調整できる点です。ファインチューニング(既存モデルを手元のデータで追加学習し、特定用途向けに調整すること)のコストを抑えながら、多段階のエージェントワークフローで積み重なりがちな遅延を削減できます。

重みやコード、API、ファインチューニング用のツール、試せるプレイグラウンドまでApache 2.0ライセンスで公開されているため、手元の業務システムに組み込んで検証しやすいのも実務者には嬉しいポイントです。ルーティングや候補の絞り込みといった「選ぶだけ」の処理を担当エージェントとして切り出し、既存のエージェント基盤と組み合わせて使う設計が現実的な選択肢になりそうです。

まとめ

CLM-8Bは、AIエージェントの判断処理を「生成」ではなく「照合」に置き換えることで、推論速度とコストの両面を改善するアプローチです。精度で劣る場面もありますが、オープンソースで公開されたことで、多段階エージェントの高速化を狙う開発者が試しやすい選択肢が一つ増えました。

参考リンク

アイキャッチ画像: Photo by Matthieu Joannon on Unsplash

タイトルとURLをコピーしました