論文:小型LLMの出力形式、単語にすると隠れた誤りが2.3分の1

具がのった白い皿のピザ AI

小さな LLM(Large Language Model、大規模言語モデル)にピザの注文文を読ませて、決まった形のデータに直させる研究が、11月12日に arXiv に出ました。結果を見ると、出力の書き方を変えるだけで、形は正しいのに中身が違う誤りの数が変わります。Qwen3.5-0.8B では、ふつうの単語で書かせた形式の正解率が87.5%でした。データセット本来の括弧の形式(85.8%)と同じくらいの正解率で、出力のトークンは4.1分の1です。中身の違う誤りは10.3%から4.5%に下がりました。トークンを短くしただけの形式では、どれもよくなりませんでした。

背景と文脈

小さなモデルを自分の用途に合わせて学習させ、音声の注文やコマンドを決まった形のデータに直す使い方は、手元の端末で動かせる分、よく選ばれます。出力が壊れていてパースできなければ、プログラムがエラーを出すので気づけます。困るのは、パースはできるのに中身が違う場合です。チーズ抜きの注文がチーズ入りで通っても、プログラムは何も言いません。

今回の論文「Parsed, Plausible, Wrong: Output Format Controls Silent Errors in Small-Model Semantic Parsing」は、この誤りを silent error(気づかれない誤り)と呼びます。そのうえで、モデルの出力を4つに分けて数えています。正解、気づかれない誤り、パースできない出力、本物の注文を断ってしまった出力の4つで、足すと100%になります。著者は、出力を人が見ずにそのまま使うなら、正解率より気づかれない誤りの割合を見るべきだとしています。

使ったデータは、Amazon の研究チームが2022年に公開したPIZZA データセットです。学習用の約245万件は文法から機械で作った文で、評価用の1,357件は人が書いた注文です。たとえば「five medium pizzas with tomatoes and ham」には、サイズや具を括弧で入れ子にした EXR という形の正解が付いています。

技術/ビジネス面

レストランの店内の白黒写真
Photo by william f. santos on Unsplash

著者たちは、同じ注文を6通りの形で書き、どれも元の構造に戻せるようにしました。「i want a pie with pepperoni and extra cheese」という注文を、それぞれの形で書いたときのトークン数です。

形式 書き方の例 トークン数
exr(データセット本来の形) (ORDER (PIZZAORDER (NUMBER 1 ) … 38
json {“orders”:[{“type”:”p”, … 33
exr-short(名前を1文字に) (O (P (N 1) … 25
tagged(キー=値) pizza n=1 extra=cheese topp=pepperoni 13
dsl(記号を使う) p 1 +cheese pepperoni 8
words(記号を単語に) pizza 1 extra cheese pepperoni 7

モデルは Qwen3.5-0.8B と LFM2.5-350M の2つです。LoRA(モデル全体ではなく、小さな追加の重みだけを学習する方法)で学習させました。学習に使う元データの量を1,000件から全件まで5段階に変え、乱数を変えて5回ずつ、合わせて300回の学習をしています。どの差を確かめるかは、結果を見る前に決めてありました。

全件で学習したときの正解率と、気づかれない誤りの割合です。

形式 Qwen 正解 Qwen 気づかれない誤り LFM2 正解 LFM2 気づかれない誤り
exr 85.8% 10.3% 74.0% 17.9%
json 81.6% 14.9% 70.7% 19.1%
exr-short 75.2% 17.4% 70.8% 16.9%
tagged 85.9% 11.6% 71.6% 21.4%
dsl 79.7% 8.3% 72.0% 13.1%
words 87.5% 4.5% 77.4% 10.0%

よく効いたのは、短くしたことより、ふつうの単語を使ったことでした。exr の名前を1文字にした exr-short は、Qwen で正解率が10.6ポイント下がっています。dsl と words は長さがほぼ同じで、違うのは「+」を「extra」と書くかどうかだけです。それでも words のほうが Qwen で7.8ポイント高くなりました。この差は、学習データの量を変えたどの段階でも残っています。

差がとくに出たのは、否定を含む注文です。words 以外の形式では、気づかれない誤りの19〜34%(Qwen)が否定の読み違いでした。words では5%です。words の残りの誤りで多いのは、注文の行の数を間違えるものでした。注文にない具を勝手に足す誤りも、Qwen では exr の5.5分の1に減っています。

開発者として試すなら

小さなモデルに決まった形で出力させる仕組みを作るなら、まず出力の書き方を見直してみてください。論文の結果からは、構造は短くまとめても、目印にする語は記号や略語にせず、ふつうの英単語のまま残すのがよさそうです。著者たちも、構造は詰めても語は自然なままにしておくことをすすめていて、推論のときの手間は増えません。

評価の数え方も変えておくと、本番での事故が減ります。正解率だけを見ていると、exr と tagged(Qwen で85.8%と85.9%)は同じに見えます。ところが、パースできない出力は再試行や人の確認で拾えるのに対して、気づかれない誤りはそのまま処理されてしまいます。4つの結果を分けて数え、そのまま使う出力については気づかれない誤りの割合で形式を選ぶのが、著者たちのすすめる方法です。

速さの差も大きく出ました。GPU 1枚で1件ずつ処理したときの待ち時間は、Qwen の exr が1,171ミリ秒、words は317ミリ秒でした。1トークンあたり約26.5ミリ秒かかるので、出力が短いほどそのまま速くなります。

断りすぎにも注意が必要です。学習データの30%に、メニューにない注文を断る例を入れています。そのため、評価用に用意した対象外の文は95.9〜99.0%を正しく断れました。その代わり、本物の注文も2.1〜10.1%断っています。Qwen の words では、丁寧な言葉が入った注文を断る割合が6.1%と、ほかの注文(2.6%)の倍以上でした。断る理由のほとんどは、学習用の文法に出てこない単語でした。

コードはGitHub の coffee-llmにあります。Python 3.12 と uv で、uv sync --group gpu --extra pizza のあと make prepare && make check && make smoke で動作確認まで進めます。著者たちは RTX 6000 Ada を2枚使っていて、GPU の段階を動かすには推論サーバーの設定も要ります。使う前に確かめておきたい点を並べます。

  • PIZZA データは CC-BY-NC-4.0 で、商用には使えません。README によると、このデータで学習したアダプターや予測も同じ扱いです
  • README に載っている数字は、試行の数を減らした前の版の実験のもので、論文の表とは違います。引用するなら論文の数字を使います
  • README で公開されている学習済みモデルは、別に作ったカフェの注文用(GGUF)だけで、PIZZA で学習した重みは入っていません

これからどうなるか

この研究で試したのは、10億パラメータ未満の2モデルと、ピザの注文という1つの分野だけです。大きなモデルでも同じ差が出るかは試されておらず、著者たちも、規模が大きくなると差が縮むかもしれないと書いています。API で使う大きなモデルの JSON 出力に、そのまま当てはめるのは早すぎます。

当てはまりやすいのは、スマホや店の端末で動かす小さなモデルに、注文やコマンドを読み取らせる仕組みです。出力の形をこれから決めるなら、記号の多い形と単語の形の2つを学習させて、気づかれない誤りの割合を比べてみる価値があります。学習の手間は同じで、推論はむしろ速くなります。著者たちは、断りすぎを減らす方法として、断る例を人の書いた文に近づけることを次の課題に挙げています。

まとめ

0.8B 以下の小さなモデルでは、出力の目印を記号ではなくふつうの単語にすると、気づかれない誤りが Qwen で2.3分の1、LFM2 で1.8分の1に減りました。トークンを短くしただけでは改善しません。否定の読み違いが減ったことが大きく効いています。小さなモデルに構造化した出力をさせるなら、正解率とは別に、パースできるのに中身が違う出力の割合を数えてから形式を決めてください。

参考リンク

アイキャッチ画像: Photo by gustavo nacht on Unsplash

タイトルとURLをコピーしました