Mistral、1兆パラメータのLarge 4発表 重み公開は3週間後

a black and white photo of a wall AI

フランスのMistral AIが、1兆パラメータ規模のマルチモーダルモデル「Mistral Large 4」(ML4)を発表しました。マルチモーダルとは、文章だけでなく画像など複数の種類の入力を扱えることです。社内では「Le Chonk」の愛称で呼ばれています。訓練に使ったGPUは4,000基で、中国の競合より2〜3倍少ない計算量だと同社は主張しています。TechCrunchの報道をもとに、発表の中身と開発者への影響を整理します。

背景と文脈

ML4の発表は、米国のクローズドモデルと中国勢のオープンモデルに挟まれた「第三の道」を狙う動きです。Mistralは欧州発のAI企業で、これまでも重みを公開するモデルで存在感を高めてきました。

ここでいう「重み」とは、学習済みモデルの中身にあたる数値の集合です。重みが公開されると、利用者は自分の環境でモデルを動かしたり、手元のデータで追加学習(fine-tuning:既存モデルに少量のデータを学ばせて用途に合わせる手法)をかけたりできます。API経由でしか使えないモデルとは、自由度が大きく異なります。

資金面でも後ろ盾は厚くなっています。Series C(資金調達の第3ラウンド)はASMLが主導しました。Series DはSamsungが主導し、企業価値は210億ユーロとされています。半導体の装置と製造の大手が株主に並ぶ点は、欧州が自前のAI基盤を持とうとする流れを映しています。

背景には「ソブリンAI」への関心もあります。ソブリンAIとは、国や地域が外部の事業者に依存せず、自前でAIを運用できる状態のことです。欧州の政府機関や規制産業にとって、データを自国内に置いたまま使えるモデルは魅力があります。

欧州のAI企業にとって、米中の大手に正面から規模で挑むのは容易ではありません。だからこそ、限られた計算資源でどこまで性能を出せるかという「効率」が、Mistralの訴求の中心になっています。規模の競争から、効率と主権の競争へ軸を移そうとする狙いです。

これまでのMistralは、比較的小さなモデルを軽快に動かせる点で、開発者に評価されてきました。今回の1兆規模は、その路線から大きく踏み出す挑戦です。

技術/ビジネス面

diagram
Photo by GuerrillaBuzz on Unsplash

ML4の規模は1兆パラメータです。パラメータとは、モデルが学習で調整する数値の個数で、大きいほど表現力は増えますが、動かすためのメモリと計算も増えます。

注目点は訓練の効率です。Mistral側は、使ったNvidia製GPUが4,000基だったと説明しました。VPのPierre Stock氏は、中国の競合より「2〜3倍少ない」計算量で、クローズドモデルの競合よりはるかに少ないと述べています。ただし、この主張を裏づけるベンチマーク(モデルの性能を共通の問題セットで測るテスト)の結果は、報道時点でまだ出ていません。

想定する用途は、サイバーセキュリティ、金融、チップ設計です。いずれも専門知識と長い文脈の読解が必要な分野で、誤りのコストが高い領域でもあります。企業向けに絞った売り込みであることがうかがえます。

現時点で使えるのは、公開のガードレール用エンドポイントのみです。ガードレールとは、有害な出力や不適切な入力を検知して止める安全機構を指します。モデル本体の重みは、安全性試験が終わってから約3週間後に公開する予定です。

つまり、いま公開されているのは「安全側の入口」だけで、肝心の性能と使い勝手は3週間後まで確認できません。公開時期が確定ではなく、試験の完了に連動している点も押さえておく必要があります。

1兆パラメータの規模は、モデルの重みだけで数百GBから数TBのメモリを必要とします。そのため、自社のサーバーで動かす場合は、複数のGPUに分割して載せる構成が前提になります。重みが公開されても、実際に動かせるのは大規模な計算基盤を持つ組織に限られます。

用途にチップ設計を挙げている点も特徴的です。半導体の設計は、仕様書、設計言語、検証ログなど、長く専門的な文書を扱う分野です。株主にASMLやSamsungが並ぶこととも、方向性が一致しています。

これからどうなるか

最大の注目点は、3週間後に重みが公開された時点で、独立した第三者が性能を検証できるかどうかです。「少ない計算量で同等性能」という主張が成り立つなら、モデル開発のコスト構造の議論が変わります。

開発者にとっての実務的な論点は、1兆規模のモデルを自前で動かせるかどうかです。重みが公開されても、そのまま手元のGPUで動くとは限りません。多くのチームは、ホスティング事業者経由か、量子化(数値の精度を下げてモデルを軽くする手法)を施した派生版を使うことになるでしょう。

自社のプロダクトでAPIの切り替え先を探している場合は、公開後に評価用の問題セットを自分たちで用意しておくと判断が速くなります。ベンチマークの数字より、手元のタスクでの出来が重要です。ライセンス条件も、商用利用の可否を含めて確認しておきたいところです。

安全性試験の結果も、公開前後の重要な情報です。試験の内容がどこまで開示されるかは、欧州の規制環境で使う際の判断材料になります。

まとめ

MistralはML4で、1兆パラメータ、4,000基のGPU、重みの公開という三点を打ち出しました。性能の裏づけは3週間後の公開待ちです。公開後は、独立した検証結果とライセンス条件を確認してから、導入を判断するのが安全です。

参考リンク

アイキャッチ画像: Photo by Google DeepMind on Unsplash

タイトルとURLをコピーしました