Liquid AI、LFM2.5でトークナイザ拡張、多言語4倍速く

AIスタートアップのLiquid AIが、オンデバイス向け言語モデルLFM2.5-8B-A1Bのトークナイザ拡張手法をまとめた論文をarXivで公開しました。事前学習をやり直さずに語彙の数を倍増させ、ヒンディー語やタイ語の処理効率を大きく高める技術です。スマートフォンのような限られた計算資源で動くAIほど、この改善の恩恵は大きくなります。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

LLM（Large Language Model、大規模言語モデル）は文章をそのまま読むわけではありません。トークナイザ（tokenizer：文章を単語やその断片といった処理単位に分割する仕組み）が、まず文字列を「トークン」と呼ぶ小さな単位に区切ります。このトークンの区切り方を決める語彙は、通常は事前学習の開始時に固定されます。

問題は、語彙が学習データの言語構成をそのまま反映してしまう点です。英語中心のデータで学習したモデルは、後から重要になった言語をうまく圧縮できません。ヒンディー語やタイ語のような言語は、1単語が何個ものトークンに分解され、同じ内容を伝えるのに英語より多くの処理が必要になります。

クラウドで動く大規模モデルなら、語彙を増やしても影響は限定的です。埋め込み層（embedding：単語やトークンを数値ベクトルに変換する層）とLM-head（次のトークンを予測する出力層）が全体のパラメータに占める割合が小さいからです。ところがスマートフォンなどで動く小型モデルでは、この2つの層が処理コストの大きな部分を占めます。語彙を増やすほど1トークンあたりの計算量が増え、応答速度が落ちてしまうのです。

技術/ビジネス面

スマートフォンとチップを持つ手 — Photo by Hassan OUAJBIR on Unsplash

Liquid AIの研究チームが発表した論文In-Place Tokenizer Expansion for Pre-trained LLMsは、学習済みモデルのトークナイザを後から拡張する手法を提案しています。ポイントは、既存のBPE（Byte Pair Encoding：頻出する文字の組み合わせを1つのトークンにまとめていく圧縮方式）のルールを、多言語コーパス上でそのまま延長する点です。元からあったトークンのIDはほとんど変わらず、新しく追加されたトークンも必ず元のトークン列に分解できる形を保ちます。

埋め込み層の初期化も工夫されています。既存のトークンの埋め込みベクトルはそのまま引き継ぎ、新しいトークンは元になった複数のサブトークンの埋め込みを平均して作ります。そのうえで、まず埋め込み層だけを学習し、続けてモデル全体を追加学習する2段階の調整を行うことで、拡張前と同等の性能を取り戻せると報告しています。

この手法を、8BパラメータのMixture of Experts（MoE：入力ごとに一部の小さなモデルだけを動かして計算量を抑える仕組み）モデルであるLFM2-8B-A1Bに適用し、語彙数を6.5万から12.8万に倍増したLFM2.5-8B-A1Bを完成させました。結果として、ヒンディー語は元の約2.4倍、ベトナム語は約2.6倍、タイ語は最大4.0倍もトークン数が減り、実機での復号速度は言語によって2.2〜3.7倍まで向上したとしています。論文では、うまくいかなかった初期の設計についても率直に報告しており、追試する開発者にとって参考になりそうです。

これからどうなるか

この成果が直接影響するのは、スマートフォンやPC、ロボットなど端末上でAIを動かす「オンデバイス」の開発者です。多言語対応の製品を後から新しい市場に広げる際、これまではモデルを一から学習し直す必要がありましたが、今回の手法なら既存の学習済みモデルに語彙だけを継ぎ足せます。手元のアプリに軽量モデルを組み込んでいる場合、対応言語を増やすコストが大きく下がる可能性があります。

Liquid AIはモデルの重みと拡張済みトークナイザを公開しており、他の開発者が同じレシピを自分のモデルに応用できる状態にあります。今後は日本語のように既に語彙が手厚い言語よりも、専門用語や新しい方言、コード内の特殊な記法など、狭い領域の圧縮効率を上げる用途への転用も見込まれます。