米国の研究者Yuhua Chen氏が、20万トークン級の長い文脈を扱う大規模言語モデル（LLM：Large Language Model、大量の文章データで学習した対話・生成AIの基盤モデル）を、性能の限られたノートPC上でも動かせるようにする手法をまとめた論文JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State ManagementをarXivで発表しました。専用GPUを積んだサーバーではなく、市販のノートPC1台で長大な会話やコードベースを読み込ませ続けられる点が特徴です。モデルの重みを圧縮する量子化とは別の切り口で、実行中のメモリ使用量を巧みに制御する仕組みが核心になっています。
背景と文脈
大規模言語モデルは、指示や資料をどれだけ長く読み込ませられるかを示す「コンテキストウィンドウ（会話や文書として一度に扱える文字量の上限）」を年々広げてきました。数万〜数十万トークン（トークンは単語や文字の断片を数える単位）を扱えるモデルも珍しくありません。
ただし文脈が長くなるほど、モデルが生成の途中で参照する中間データ「KVキャッシュ（Key-Valueキャッシュ：直前までの単語同士の関係性を保持しておく作業メモリのようなもの）」も比例して膨らみます。データセンターのGPUなら潤沢なメモリで吸収できますが、ノートPCやスマートフォンのように性能の限られた「エッジ」環境では、この作業メモリだけで搭載メモリを使い切ってしまい、長い文脈を扱えないという壁がありました。
これまでの対策の主流は、モデルの重み自体を圧縮する量子化（パラメータの数値精度を落として保存容量を減らす技術）でした。今回のJustFitは重み圧縮とは別の軸で、実行中に発生する状態（KVキャッシュや読み込み済みの処理部品）そのものを賢く管理する点が新しく、量子化と組み合わせて使える点も利点です。
技術/ビジネス面
JustFitは、Appleのシリコン向け機械学習基盤「MLX（Appleが自社チップ向けに提供する推論・学習用フレームワーク）」上で動く推論ランタイムです。仕組みは3つの要素で構成されます。
まず「KVExec」は、KVキャッシュを圧縮したまま演算に使う仕組みです。次に「PhaseSwap」は、モデルのどの部分をメモリに常駐させるかを処理の局面ごとに切り替えます。そして「StateTrans」は、生成中の状態を保ったままモデルやセッションを引き継ぎます。3つが連携し、必要なデータだけをその都度メモリに展開し、不要になった瞬間に解放する「ジャストインタイムの状態管理」を実現しています。
検証では、メモリ24GBのApple M4 Pro搭載MacBookで、MXFP4という4bit量子化を施した約270億パラメータのモデル「Qwen3.8-27B」を動かしました。既存ツール（mlx-vlm）では文脈長が30,720トークンで頭打ちだったのに対し、JustFitでは212,992トークンまで拡張し、約6.93倍を達成しました。2リクエストを同時に走らせた検証では、合計229,376トークン分の状態を保持したままでした。
処理速度は、3.2万トークンを入力してから応答を返す条件で毎秒19.11トークンでした。同条件を繰り返した際のメモリ使用量（ピーク時の中央値）は約16,374MiB（約16GB）に収まっています。さらに大学入試レベルの数学コンテスト「AIME（American Invitational Mathematics Examination、米国の数学オリンピック予選にあたる大会）2026」の問題を解かせたところ、30問中29問に正解しており、長い思考過程を伴う推論でも実用に耐える精度を示しました。
これからどうなるか
JustFitが示すのは、コンテキストウィンドウを伸ばす競争が、モデル設計だけでなく実行時のメモリ管理という地味な領域でも続いている、という事実です。クラウドAPI経由でしか使えなかった長文脈処理を手元のノートPCで完結できる範囲が広がれば、社外に出せない社内資料やソースコード全体を読み込ませた解析を、通信費やAPI利用料なしで行えるようになります。
開発者にとっての実利は、ローカルでの検証環境が広がる点です。数十万トークン規模のログやリポジトリを丸ごと読ませてレビューさせる、といった用途を、専用GPUを持たない手元のマシンで試せる可能性が出てきます。ただし今回の成果はMLXというApple製フレームワーク上での実装であり、NVIDIA製GPUを使う一般的な開発環境にそのまま応用できるかは未検証です。他の推論エンジンへの移植や、他の量子化手法との組み合わせ検証が進むかが今後の注目点になります。
まとめ
JustFitは、量子化とは別の切り口で、生成中に発生する状態を必要な分だけその都度扱う仕組みにより、20万トークン級の長い文脈をノートPC上で処理できることを示しました。AIME 2026で30問中29問正解という結果も、精度を落とさずに省メモリ化できることを裏付けています。エッジ環境でのLLM活用を広げる手がかりになりそうです。
参考リンク
アイキャッチ画像: Photo by Bozhin Karaivanov on Unsplash
