Block、文字を介さない音声モデルDessa発表 MacBookで動作

Jack Dorsey氏が率いるBlockの研究チームが、音声で会話するAIモデル「Dessa」を発表しました。テキストを一切使わず、人の会話の音声だけでゼロから学習させたモデルです。話しながら聞くことができ、笑いやため息、皮肉の調子もそのまま扱います。推論はMacBook Pro（M4 Max以上）の手元で動き、待ち時間はほとんどないとしています。現時点で一般公開はしておらず、まずはAI安全の研究者に試してもらう段階です。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

今の音声AIの多くは、3段階の伝言ゲームで動いています。まず音声を文字に起こし、文字をLLM（Large Language Model、大規模言語モデル）に渡して返事を作り、最後に返事を音声に読み上げる流れです。この途中で、声の調子や感情、間の取り方といった文字にできない情報が抜け落ちます。

Blockはこの点を「今の音声AIとの会話は、正直ひどい」と率直に批判しました。世界最強のAIでも、相手がどう感じているかを聞き取れないと指摘しています。相手の動揺に気づけないAIは、体験が悪いだけでなく危険にもなりうるという主張です。

競合も同じ方向に進んでいます。OpenAIは7月、話しながら聞けるGPT-Liveを公開しました。ElevenLabs v4やFish AudioのDrama 3は、タグで感情を指定して表情豊かな音声を作ります。Dessaは、感情がタグではなくモデルに最初から組み込まれている点で違いを打ち出しています。

技術/ビジネス面

black and gray microphone on white background — Photo by Madrosah Sunnah on Unsplash

Dessaは「音声を受け取り、音声で返す」モデルです。間に文字を挟まないため、声の高さや速さ、息づかいがそのまま入力にも出力にも残ります。Blockは、事前学習済みのモデルもテキストも使わず、人の会話音声だけで学習したと説明しています。

もう1つの特徴がフルデュプレックス（全二重）です。電話のように、話しながら同時に相手の声を聞ける方式を指します。Dessaは割り込むタイミングや、「うん」「なるほど」といった相づちを入れる間合いを自分で判断します。公開されたデモでは、話の途中で笑ったり、頼まれて声を小さくしたり、口調や性格を切り替えたりしています。

知識の持ち方も変わっています。通常の音声モデルは、知識の部分を別のLLMに頼るのが一般的です。Dessaは会話の学習データそのものから知識を得たとしており、LLMより何百分の1も少ない単語数で言葉を覚えたと主張しています。

学習に使ったのは、NVIDIAのGB200 NVL72を1台だけです。パラメータ数やベンチマークの数値は公開されておらず、性能はデモ音声で判断するしかありません。Blockの決済端末Squareは、すでに音声AIでの注文受付に対応しています。端末上で動く音声モデルが実用になれば、店舗向けサービスのコストを下げる道も開けます。

これからどうなるか

当面の焦点は安全面です。人間らしすぎる声は、なりすましや詐欺に悪用されかねません。Blockは、音声エージェントが人をだます使われ方を中心に、研究者へ早期アクセスを提供しています。利用申請には所属機関のメールアドレスが必要で、公開の時期はまだ示されていません。

開発者にとっての注目点は、手元のPCで動く会話モデルが現実味を帯びてきたことです。音声をクラウドに送らずに済めば、通信の遅延や従量課金、録音データの扱いといった課題をまとめて減らせます。ただ、公開時の形がオープンウェイト（重みの配布）かAPIかは不明です。今のうちに「文字起こし→LLM→読み上げ」の分け方を前提にしない設計を考えておくと、乗り換えやすくなるでしょう。