Qwen3-4B-Deslop、AIっぽい文の癖を1/10に削減

AIが書く文章にありがちな癖を、学習で取り除いた小型モデル「qwen3-4b-deslop」が公開されました。開発者のErik Markus Kannike氏が、Qwen3-4Bをもとに作ったモデルです。ダッシュの多用や「AではなくB」の構文などを数える独自の指標で、癖の量を121から12.5へ約10分の1に減らしました。Hacker Newsでも注目を集め、Ollamaで手元のPCですぐに試せます。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

LLM（Large Language Model、大規模言語モデル）が書いた文章には、見慣れた癖があります。英語ではem dash（—）の多用、「not X, but Y」の対比、3つの例を並べる列挙、自分で問いを立てて即答する書き方などです。「delve」「seamless」といった特定の単語が増える傾向もよく知られています。こうした文章は「slop（質の低い量産文）」と呼ばれ、読み手がAI製だと気づく手がかりになっています。

対策として一般的なのは、システムプロンプト（モデルに最初に与える指示文）で「ダッシュを使うな」などと禁止する方法です。ただ、指示を守らせ続けるのは難しく、長い文章ほど癖が戻りがちです。推論時にモデル内部の値を操作して文体をずらす方法もありますが、文章全体の質を崩しやすい面があります。開発者の解説記事は、こうした課題をモデルの重みそのものを変えて解決しようとしています。

技術/ビジネス面

black and silver retractable pen on blank book — Photo by Mike Tinnion on Unsplash

手法の中心は蒸留（distillation：大きな教師モデルの出力を手本に、小さな生徒モデルを学習させる手法）です。まず教師モデルに288個のお題で文章を書かせます。癖の検出器を通った回答だけを残し、それを手本に生徒を学習させました。学習にはLoRA（モデル全体ではなく、小さな追加部品だけを学習する軽量な調整手法）を使い、M2のMacBook Airで回しています。

もう一つの工夫が、特定のニューロンの操作です。4つのニューロンの符号を反転させる編集を加え、その状態でLoRAを学習させました。作業は3回に分けて進めています。2回目のモデルは癖の量を9.9まで減らしましたが、架空の研究をでっち上げる、主張のない意見文を書くといった問題が出ました。3回目は、お題への適合度も確かめた回答だけを残し、288題中161題分を手本にしています。

評価は40個の未使用のお題で行いました。1,000語あたりの癖の数は元の121から12.5に減り、em dashは20.5から0になっています。人間の文章は通常15未満とされ、回答の68%がこの範囲に入りました。事実問題は30問中30問正解で、お題への適合度も元の78%から80%に保たれています。モデル本体と、量子化（数値の精度を落としてサイズを小さくする手法）した2.5GBの版がHugging Faceで公開されています。

限界も正直に書かれています。文体は平板で、個人的な文章は日記のように読めます。固有名詞を作り話で埋めることがあり、指定より長く書く傾向も残ります。評価は英語の短い文章4ジャンルに限られ、コード、長い会話、他の言語は試されていません。癖の指標も正規表現ベースで、読者による盲検テストはまだです。ライセンスも明記されていません。

これからどうなるか

開発者は今後、7〜8Bや30B前後のモデルに同じ手順を広げ、読者による盲検テストも行う予定です。4Bでこの水準なら、より大きなモデルでどこまで自然になるかが次の焦点になります。癖を数える指標と、それを減らす学習の組み合わせは、他の言語にも応用できる考え方です。

開発者にとっての学びは、「プロンプトで禁止する」以外の選択肢が現実的になったことです。数百件の手本とLoRAなら、ノートPCでも文体を調整できます。自社のドキュメント生成やメール下書きの機能で文体の癖が気になるなら、癖を数える簡単な検出器を作り、出力の評価やデータの選別に使うところから始められます。