元OpenAI研究者でChatGPT開発にも携わったDiogo Almeida氏が、新たなAIモデル「Jev」を発表しました。最大の特徴は、文章を一切生成しない点です。事前に定義した選択肢に対して確率だけを返す仕組みでありながら、圧倒的な速さと低コストぶりで開発者コミュニティを驚かせています。発表直後はアクセスが殺到し、APIが一時的に停止する事態にもなりました。分類やモデレーションといった地味な作業を担う開発者ほど、見逃せないニュースといえそうです。
背景と文脈
Almeida氏はOpenAIでChatGPTの開発に関わった研究者で、人間のフィードバックに基づく強化学習（RLHF：Reinforcement Learning from Human Feedback）の共同発明者としても知られています。OpenAIを離れた理由は、AIの性能がどれほど高くても、業務の自動化に組み込むには実用性が足りないと感じたことでした。約2年前に立ち上げたのがTypeSafe AIです。同社は言語生成そのものではなく、ソフトウェアの自動化に特化したAIモデルづくりを掲げています。従来の大規模言語モデルを分類や判定タスクに使う場合、事実と異なる内容をもっともらしく出力してしまう「ハルシネーション」のリスクが常につきまといます。しかも自由生成型のモデルは出力トークン単価が高く、単純な分類作業に大量に使うにはコストが見合わないという課題もありました。TypeSafe AIは社員の半数近くを、統計的に性質を把握しやすい合成データ（人工的に生成した学習用データ）を作る専門チームに割いているといいます。Jevはこうした土台の上に生まれたモデルで、ハルシネーションとコストという2つの課題を同時に解決する狙いがあります。近年は多くのサービスがコンテンツの安全性判定や問い合わせの振り分けに生成AIを流用しており、リクエスト数が増えるほど費用がかさむ点が悩みの種になっていました。Jevはそうした地味だが件数の多い判定業務を主戦場に据えている点で、汎用的な対話モデルとは方向性が異なります。
技術/ビジネス面
Jevはトランスフォーマー（文脈全体を並列に処理して次の要素を予測する、多くの生成AIが使う基盤技術）をベースにしつつ、自由な文章は一切出力しません。開発者があらかじめ用意した候補の集合に対して、それぞれの確率を返す「キャリブレーテッド・ディシジョン」という仕組みで判定します。出力が候補の範囲に固定されるため、TypeSafe AIはハルシネーションが原理的に起こらないと説明しています。TypeSafe AIはJevを、じっくり考える推論型モデルではなく、直感的に即答する「システム1」型のモデルと位置づけました。学習方法も独自で、「キャリブレーテッド・ディシジョンからの強化学習」と呼ぶ手法を使い、実データではなく合成データのみで訓練しています。料金体系も既存モデルとは大きく異なります。出力トークンは無料で、入力トークンは100万単位ではなく10億単位で課金されるため、大量の判定処理を回すほど割安になる設計です。導入企業の実績も具体的です。Vercelは安全性分類のタスクでOpenAIの「Luna 5.6」からJevに切り替え、処理速度が5〜18倍向上し、精度も改善したと報告しています。メール分類を手がけるBryo AIは、Geminiと比べて10〜20倍安く、ワークフロー自動化に役立つ確信度スコアリングの精度も高いと評価しています。
これからどうなるか
Jevのような非生成型モデルは、分類・振り分け・モデレーションといった定型判断タスクを得意とします。大量のリクエストを処理する場面では、入力課金が10億トークン単位である点が特に効いてきて、生成AIをそのまま分類器として使うより桁違いに安くなる可能性があります。開発者にとっての実用例を挙げると、RAGパイプラインの検索結果を「関連あり／なし」で振り分ける前処理や、ユーザー投稿を複数カテゴリに仕分けるコンテンツモデレーションのステップを、生成AIのAPI呼び出しからJevのような判定専用モデルに置き換えることが考えられます。カスタマーサポートの問い合わせ内容を部署ごとに自動振り分けするルーティング処理も、候補が固定されているため相性が良さそうです。出力候補があらかじめ決まっているタスクほど、コストと精度の両面でメリットが大きくなるはずです。月間で数百万件規模の判定処理を抱えるサービスであれば、入力課金の単価差だけでも運用コストへの影響は無視できない水準になりそうです。
まとめ
Jevは文章を生成しない判定特化型のAIモデルとして、分類やモデレーションの現場に新しい選択肢を示しました。Vercelやbryo AIの導入実績が示す通り、速度・コスト・精度のいずれでも既存の生成AIを上回る場面があります。自分のパイプラインに分類やルーティングの処理を抱えている開発者は、一度検討してみる価値がありそうです。生成AIの出力形式を無理やり分類用に整形している箇所があれば、置き換え候補として頭に入れておいて損はありません。
参考リンク
- A new kind of AI model from a ChatGPT inventor is thrilling developers（TechCrunch）
- ChatGPT co-creator launches a new kind of AI（The Rundown AI）
アイキャッチ画像: Photo by Jantine Doornbos on Unsplash
