LLM（Large Language Model、大規模言語モデル）の事前学習は、数百万ドル規模の計算費用がかかる世界でした。2026年8月27日にarXivへ投稿された論文Puro-2B: Poor Lab’s Qwen2-1.5B Trained on RTX 5090 within $5090は、その前提に正面から挑みます。データセンター用ではなくゲーミング向けGPUのRTX 5090だけを使い、約20億パラメータのモデルを6,900ドル未満でゼロから訓練したという報告です。しかもデータ・コード・重みをApache 2.0ライセンスで全公開しています。個人や小規模チームが自前のモデルを持てるかどうか、その線引きが動き始めました。
背景と文脈
事前学習（pretraining：大量のテキストを読ませてモデルの土台となる言語能力をゼロから作る工程）は、これまで潤沢な資金を持つ企業の専有領域でした。オープンな取り組みは確かに増えています。ただ、その多くは完成した重みを配るところまでで、どんなデータをどんな順序で、どんな設定で流したかというレシピ全体まで開いた例は多くありません。
コストの壁も具体的です。論文によれば、3B規模と小さめのLlama-3.2-3Bですら再現には150万ドル超、SmolLM3-3Bの再現でも70万ドル超がかかると見積もられています。大学の研究室や個人開発者が趣味の延長で手を出せる金額ではありません。結果として、事前学習の中身をいじって仮説を検証する研究は、ごく一部のプレイヤーに集中してきました。
もうひとつの壁がハードウェアです。学習の話題はH100やB200といったデータセンター向けアクセラレータを前提に語られがちで、そもそも個人が買えません。クラウドで借りるにしても、時間単価と必要時間を掛け算した瞬間に予算が消えます。著者らはここに切り込みました。入手しやすいコンシューマー向けGPUを土台に据え、そのうえでコストを削る手法を積み上げるという方針です。論文は62ページ、図20点・表24点というボリュームで、思いつきの実験報告ではなく体系立てたレシピとしてまとめられています。
技術/ビジネス面
コスト削減は単一の魔法ではなく、5つの要素の組み合わせで達成されています。著者らが挙げるのは、ハードウェア選定、低精度学習、hyperball optimization、curriculum model averaging、そしてデータレシピです。
核になるのがFP8（8ビット浮動小数点：数値を粗く表現して1回の計算量とメモリ使用量を減らす形式）での学習でした。精度を落とせば当然、学習が不安定になるリスクを抱えます。そこを独自の最適化手法と、学習の進行に合わせて複数時点のモデルを平均していく手法で支えている構成です。データについても、何をどの段階で読ませるかというカリキュラム設計を検証対象に含めています。
成果として、最大1.4兆トークンまで学習させたモデル群を公開しました。最良のモデルは計算コスト6,900ドル未満で、著者らの評価プロトコル上ではQwen2.5-1.5Bに迫る性能に届いたとされています。さらに興味深いのが、モデル群の実測から導いた「Puro Cost Scaling Law」です。これは学習コストと平均性能の関係を式にしたもので、当てはめた結果として約4,400ドルあればQwen2-1.5B相当の性能に到達できると示しました。論文タイトルにある5,090ドルという数字は、GPU名にかけつつ「この額を下回る」という主張を込めた表現になっています。
加えて著者らは、事前学習時のデータカリキュラムが事後学習後の性能にどう効くかというエンドツーエンドの検証も行いました。重みだけ配られたモデルでは踏み込めない領域で、パイプライン全体を握っているからこそ回せる実験と言えます。
これからどうなるか
開発者にとっての意味は、選択肢が1段増えることです。これまで自社データでモデルを持とうとすれば、既存モデルのfine-tuning（学習済みモデルに追加データを与えて特定用途に寄せる調整）が事実上の唯一解でした。数千ドルで2B級モデルをゼロから作れるなら、語彙も学習データも自分たちで決めた小型モデルという案が、稟議に載る規模の話に変わります。ドメイン特化の分類器や社内文書用の下地モデルを検討しているチームには、試算をやり直す価値がありそうです。
もっとも、額面をそのまま受け取るのは危険でしょう。6,900ドルはあくまで計算コストの見積もりで、電気代・実行時間・失敗した試行のやり直しは別勘定になります。評価も著者ら自身のプロトコルによるもので、公開ベンチマークでの第三者検証はこれからです。とはいえレシピもデータもコードもApache 2.0で出ている以上、検証の入口は開かれています。
注視したいのは、このレシピを踏み台にした派生の動きです。数千ドルで実験が1周回せるなら、データ配合や学習順序を変えた比較検証を回す小規模ラボが出てきます。事前学習という工程が一部企業の中だけで進むのか、コミュニティで検証可能な対象になるのか。その分かれ目に立つ報告になりました。
まとめ
Puro-2Bは、コンシューマー向けGPUとFP8学習を軸に、2B級モデルの事前学習を6,900ドル未満まで引き下げたレシピです。コストスケーリング則からは約4,400ドルでQwen2級に届くと試算されました。150万ドル級だったLlama-3.2-3Bの再現コストと比べると、桁が2つ変わります。何より、データからコードまで全部が公開された点が大きい。事前学習を「読むもの」から「試すもの」へ動かす一歩になりそうです。
参考リンク
- Puro-2B: Poor Lab’s Qwen2-1.5B Trained on RTX 5090 within $5090（arXiv:2608.27370）
- NVIDIA GeForce RTX 5090
- SmolLM3-3B（Hugging Face）
- Qwen2.5-1.5B（Hugging Face）
アイキャッチ画像: Photo by ThisisEngineering on Unsplash
