同じ内容を伝えても、使う言語によってAIの利用料が変わります。言語の公平性を研究するCLEAR（Coalition for Language Equity in AI Research）がこの差を調べ、「トークナイザー税」と名付けました。Rest of Worldの記事によると、ネット上の主要20言語の間でも、必要なトークン数に1.5〜5倍の開きがありました。対象を200言語に広げると、あるモデルでは差が17倍に達しています。料金だけでなく、応答速度や扱える文章の量にも響く問題です。
背景と文脈
LLM（Large Language Model、大規模言語モデル）は、文章をそのまま読むわけではありません。トークナイザー（tokenizer：文章を、モデルが扱う単位であるトークンに切り分ける部品）で細かく区切ってから処理します。APIの料金も、入出力のトークン数で決まるのが一般的です。
トークナイザーは、学習データによく出てくる文字の並びを1トークンにまとめるよう作られます。英語のように大量のデータがある言語は、1単語が1トークンで済むことが多くなります。一方でデータの少ない言語は、1単語が何個もの断片に分かれがちです。CLEARはOpenAIの公開トークナイザーで英語とマラヤーラム語の文を比べました。英語は見慣れた単語単位に分かれたのに対し、マラヤーラム語は1語が多くの断片に砕けていました。
CLEARは2026年初めに発足した団体で、AIで十分に扱われていない言語の改善を目指しています。今回の「The Tokenizer Tax」が最初の調査報告です。
技術/ビジネス面
調査で目立ったのは、話者の数より文字の種類が効いている点です。たとえばアストゥリアス語は話者が少なく、大規模なWebデータにもほとんど含まれません。それでもラテン文字を使い、イタリア語などの近い言語に助けられて、比較的少ないトークンで済みました。
逆に、トークナイザーが学習でほとんど見ていない文字の言語は、ほぼすべてのモデルで最も不利でした。ビルマ語、チベット語、クメール語、ラオ語などです。日本語も英語とは文字体系が大きく違い、トークン数が増えやすい側に入ります。
影響は料金だけにとどまりません。記事は3つの負担を挙げています。1つ目は直接の費用で、ベンガルールの企業はオースティンの競合が払わない上乗せを毎回払うことになります。2つ目は速度で、トークンが多いほど応答は遅くなります。3つ目は文脈の量です。同じ上限でも非英語の文章は早く埋まり、資料や会話履歴を入れる余地が減ります。
投資会社Activate AIのPratyush Choudhury氏は、学習アプリを例に挙げました。ある言語では生徒の履歴がすぐに上限を埋めるため、その言語の利用者だけサービスの質が落ちるという指摘です。
これからどうなるか
改善策については意見が分かれています。インドの研究所と組み、38方言の文章と音声を集めたRESPINのように、データを増やす取り組みがあります。一方、Maya ResearchのDheemanth Reddy氏は、データだけでは足りないと話します。各社が最初からその文字や言語を意識してトークナイザーを設計すべきだという主張です。Choudhury氏は、言語ごとの費用を示す公開の採点表と、最も不利な言語の改善計画を求めています。現時点で、大手が具体的な対策を採った例は報じられていません。
日本語のサービスを作る開発者にとっても、身近な話です。英語の資料や事例で見積もったAPI費用は、日本語では膨らむことがあります。モデルを選ぶ前に、実際の日本語の入力でトークン数を数えておくと、費用と文脈の上限を正しく見積もれます。モデルによってトークナイザーは違うため、同じ文章でも料金差が出る点も比較の材料になります。
まとめ
CLEARの調査で、AIの処理に必要なトークン数が言語によって大きく違うことが示されました。主要20言語で1.5〜5倍、200言語では最大17倍の差です。差を生む主因は話者数より文字の種類で、費用、速度、扱える文章量のすべてに影響します。非英語のサービスでは、実際の言語で費用を測ることが欠かせません。
参考リンク
- AI models cost more when you don’t use English（Rest of World）
- CLEAR: The Coalition for Language Equity in AI Research（LILT）
アイキャッチ画像: Photo by Nathaniel Shuman on Unsplash
