中国の百度（Baidu）が11月5日、言語モデル ERNIE 5.5 Flash Base の重みを Hugging Face で公開しました。全体は2,800億パラメータで、1トークンごとに動くのは140億だけです。MoE（Mixture of Experts：たくさんの小さな専門家の中から、入力ごとに一部だけを動かす仕組み）を使っているためです。指示への答え方を教える前の、事前学習を終えただけのベースモデルで、自分のデータで追加学習したい企業や研究者向けです。ライセンスでは EU・英国・韓国での利用を認めておらず、Hacker News の議論もこの点に集まりました。
背景と文脈
ベースモデルは、大量の文章で次の単語を当てる学習だけを済ませた段階のモデルです。ChatGPT のように頼みごとに答えるには、このあとに指示への答え方を教える調整（instruction tuning）や強化学習が要ります。そのため、そのままではチャットやコーディングのエージェントには向きません。Hacker News でも spwa4 さんが、指示の調整がされていないのでコーディング用には向かないと書いています。
それでもベースモデルを出すのは、使う側が一から事前学習をしなくて済むからです。Baidu の発表ページは、分野に合わせた追加学習、指示の調整、強化学習の研究の出発点になることを理由にあげています。学習のやり方を同じ条件で比べたい研究者にとっては、手を加えていない基準のモデルとしても使えます。指示の調整まで済ませた ERNIE 5.5 Flash は「あとで出す」とだけ書かれていて、日付はありません。
Baidu は2025年6月に ERNIE 4.5 の系列を公開しています。2026年2月に発表した ERNIE 5.0 は2.4兆パラメータの大きなモデルでしたが、重みを公開したという記述は見当たりません。今回は300B前後の中くらいの大きさで、重みを出しました。同じ大きさのベースモデルでは、DeepSeek-V4-Flash-Base（284B）、Tencent の Hy3-preview-Base（295B）、Xiaomi の MiMo-V2.5-Base（310B）が先に出ています。
技術/ビジネス面
モデルの規模は、Hugging Face のモデルカードによると次のとおりです。
| 項目 | ERNIE 5.5 Flash Base |
|---|---|
| 全パラメータ | 280B（Hugging Face のページの表示は286B） |
| 1トークンで動くパラメータ | 14B |
| 専門家の数 | 512個から10個を選び、共通の1個を足す |
| 学習に使ったデータ | 33.5兆トークン |
| コンテキスト長（一度に読める長さ） | 学習中に128Kまで伸ばし、設定では100万トークン |
| 扱えるもの | 文章のみ（画像・音声はなし） |
| 重みの形式 | FP8版（約288GB）と BF16版 |
学習では、Muon という最適化の手法と、FP8（8ビットの小さな数値の形式）を使っています。ECHO という、1回で先のトークンもまとめて予測する仕組みも入っています。ECHO は投機的デコーディング（軽い仕組みで先に候補を出し、本体で確かめて推論を速くするやり方）の下書き役にも使えます。トークンの区切り方にも工夫があり、数字は右から3桁ずつまとめて1つのトークンにします。
性能は、同じ大きさのベースモデル3つと、同じ条件で比べた Baidu 自身の数字が出ています。30項目のうち24項目で一番でした。
| ベンチマーク | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| MMLU-Pro（MMLU を難しくした知識・推論の問題集） | 78.4 | 69.2 | 66.9 | 65.7 |
| HumanEval+（コードを書かせて正しく動くかを見るテスト） | 82.3 | 69.5 | 78.0 | 74.4 |
| LiveCodeBench（新しく出た競技プログラミングの問題） | 40.1 | 31.9 | 33.5 | 32.4 |
| LongBench-v2（長い文章を読んで答える問題） | 48.7 | 44.5 | 39.8 | 44.6 |
| ChineseSimpleQA（中国語の事実を問う問題） | 73.0 | 75.3 | 73.2 | 68.8 |
この比べ方には注意が必要です。数字はすべて Baidu が測ったもので、ほかの機関による評価はまだありません。Hacker News では input_sh さんと v9v さんが、比べた相手は4月の DeepSeek-V4-Flash で、新しい V4.1 ではないと書いています。一方で segmondy さんは、ベースモデルはベースモデルどうしで比べるものだと反論していました。
開発者として試すなら
最初に読むのはライセンスです。Apache 2.0 のような広く使われるライセンスではなく、Baidu が独自に作った ERNIE 5.5 Flash Base Model License Agreement です。主な条件をまとめます。
| 項目 | 条件 |
|---|---|
| 使える地域 | EU・英国・韓国を除く全世界（日本は対象）。対象外の地域での利用・配布・出力は不可 |
| 研究・個人の試用 | 無料 |
| 商用（関連製品の年商5,000万ドル以下） | 無料。「Powered by ERNIE」の表示と、Baidu へ1回の通知が必要 |
| 商用（年商5,000万ドル超） | 事前に Baidu の書面での許可が必要 |
| 追加学習・量子化・蒸留 | できる |
| 出力の使い道 | ほかの AI モデルの改良に使ってはいけない |
| 準拠法 | 香港 |
日本の会社が国内向けに使う分には地域の条件にかかりません。ただ、EU の利用者もいるサービスに組みこむと、出力を EU に届けた時点で条件から外れます。出力をほかのモデルの学習データにする使い方も禁じられているので、ERNIE で作った問答を別のモデルの追加学習に回す計画は立てられません。
動かすには大きな GPU が要ります。FP8 の重みだけで約288GB あり、公式の手順は GPU 4枚で分けて動かす前提です。モデルカードの vLLM の手順は、版を 0.32.0 にそろえ、Baidu の追加パッケージ vLLM-ERNIE を入れてから起動します。
uv pip install vllm==0.32.0
uv pip install git+https://github.com/baidu/vLLM-ERNIE.git
vllm serve baidu/ERNIE-5.5-Flash-Base --kv-cache-dtype fp8 \
--enable-expert-parallel --data-parallel-size 4 --max-model-len 131072 \
--moe-backend hummingベースモデルなので、チャット形式の /v1/chat/completions ではなく、文の続きを書かせる /v1/completions を使うと公式の手順にあります。呼び出しは、たとえば次のようになります。
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{"model": "baidu/ERNIE-5.5-Flash-Base", "prompt": "SQL の JOIN とは、", "max_tokens": 64}'つまずきやすい点は2つあります。transformers で BF16 版を読むときは、先頭の BOS トークン（文の始まりを表す記号）が要るので add_special_tokens=True を外さないようにします。GPU が手元にない場合は、今のところ借りられる API がありません。Baidu のクラウド Qianfan の料金表にもまだ載っていません。Hacker News では Tepix さんが、4ビットに量子化すれば128GB の GPU 2枚に収まると書いていますが、これは公式の数字ではありません。
これからどうなるか
次の区切りは、指示の調整まで済ませた ERNIE 5.5 Flash の公開です。ベースモデルの数字が本当かどうかは、ほかの機関が同じ条件で測り直すまでわかりません。Hacker News の ERNIE 5.5 Flash Base のスレッドでは、EU を外した理由についても意見が分かれました。eunos さんと segmondy さんは EU の規則に合わせる手間が大きすぎるからだと書き、zdragnar さんは EU AI Act の重み公開モデル向けの例外が一部しか効かないことを理由にあげています。
開発者にとって使いどころがあるのは、自社のデータで日本語の言い回しや社内の用語を覚えさせたい場合です。A_D_E_P_T さんも、ベースモデルは自社の文体を学ばせたい企業に向いていると書いています。指示の調整がすんだモデルから始めるより、癖の少ない状態から自分の目的に合わせて育てられます。ただし、出力をほかのモデルの改良に使えない条件と、EU に出せない条件があるので、サービスの利用者がどこにいるかを先に確かめておく必要があります。
まとめ
百度の ERNIE 5.5 Flash Base は、280B・動くのは14B の MoE のベースモデルで、FP8 と BF16 の重みが Hugging Face にあります。年商5,000万ドル以下なら商用でも無料ですが、EU・英国・韓国では使えず、出力をほかのモデルの学習に回すこともできません。数字は Baidu の自己申告で、指示の調整をした版はこれからです。
参考リンク
- ERNIE 5.5 Flash Base（Baidu）
- baidu/ERNIE-5.5-Flash-Base（Hugging Face）
- ERNIE 5.5 Flash Base Model License Agreement（Hugging Face）
- ERNIE 5.0（Baidu）
- Hacker News のスレッド
アイキャッチ画像: Photo by Greg Rosenke on Unsplash
