Deepgram、Pipecat開発のDailyを買収音声AIを強化

音声認識AIを手がける米Deepgramが、音声・映像通話の基盤を提供するDailyを買収すると発表しました。Dailyは、音声エージェントを組み立てるオープンソースのフレームワーク「Pipecat」の開発元です。買収額は公表されていません。DeepgramはPipecatをオープンソースのまま、特定の会社に偏らない形で維持すると約束しました。あわせて、音声エージェント向けの新しい共通規格「RCS」を両社の開発陣で共同で始めます。音声AIの投資が過熱する中、モデルだけでなく組み立ての部品まで押さえる動きとして注目されます。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

電話の自動応対や音声アシスタントのような「音声エージェント」は、いくつもの部品をつないで作ります。基本の流れは、音声を文字にする音声認識、文字を読んで返事を考えるLLM（Large Language Model、大規模言語モデル）、返事を声にする音声合成の3段です。この3つを途切れなくつなぎ、人の会話のテンポに合わせて素早く返すのが難しいところです。

Pipecatは、この流れをまとめて扱うための道具です。音声や映像のストリームを受け取り、各部品にデータを渡し、待ち時間をできるだけ縮めます。どの会社の音声認識やLLMを使うかは開発者が選べる設計で、多くの音声エージェントの土台として使われてきました。

音声AIの市場には今年、大きなお金が流れ込みました。TechCrunchによると、ElevenLabsは評価額が倍の220億ドルに達し、新興のGradiumは1億ドル、Fish Audioは5,000万ドルをシード段階で集めています。音声エージェントの基盤を提供するLiveKitやVapiも、数千万ドル規模の資金を調達しました。Deepgram自身も今年、1億3,000万ドルのシリーズCで評価額13億ドルの「ユニコーン」になっています。

技術/ビジネス面

黒いコード付き電話機 — Photo by Quino Al on Unsplash

Deepgramの狙いは、エージェントを組み立てる「段取り役」の層を押さえることです。音声認識モデルの性能だけで勝負するより、開発者が最初に触る土台を持つ方が有利になります。DeepgramとDailyは2016年に同じY Combinatorの同期として創業した間柄でもあります。Dailyはこれまでに6,200万ドル超を調達してきました。

気になるのは中立性です。Pipecatの利用者の多くは、Deepgram以外の音声認識やLLMを組み合わせています。DeepgramのScott Stephenson CEOは、開発者は用途に合った最良のモデルを使うべきで、それがDeepgram製でなくてもよいという考えを示しました。Dailyの共同創業者Kwindla Kramer氏も、Stephenson氏がPipecatを「永久にオープンソースで、ベンダー中立」に保つと約束したと話しています。

新しく始めるRCS（Real-Time Context Standard）は、音声エージェントの部品同士で「文脈」を受け渡すための公開規格です。たとえば相手がささやき声で話した、といった音声から読み取れる情報を、LLMに伝える書式を決めます。その情報をLLMがどう扱うかの指示や、返事をどんな声の調子で話すかの指定も含みます。文字に起こすと消えてしまう話し方の情報を、パイプライン全体で共有する試みと言えます。

Pipecatは音声だけでなく映像も扱えます。Deepgramはこの買収をきっかけに、音声以外のリアルタイム通信にも手を広げる考えです。Kramer氏は、Pipecatを「音声の道具箱」ではなく、リアルタイム通信を前提にしたAIソフトを作るための道具箱だと位置付けています。

これからどうなるか

今後の焦点は、約束どおりの中立性が保たれるかどうかです。オープンソースのプロジェクトが企業に買われると、既定の設定やドキュメントの例が少しずつ親会社の製品に寄っていくことがあります。他社モデルとの連携部分の更新が続くかは、注視したいところです。

開発者にとっては、当面の影響は小さいでしょう。Pipecatで音声エージェントを作っているなら、これまでどおり好きな音声認識やLLMを組み合わせて使えます。一方でRCSが広まれば、話し方や感情のような情報を、文字起こしと一緒にLLMへ渡せるようになります。コールセンターの自動応対で、怒っている相手には落ち着いた声で返す、といった細かな作り込みがしやすくなりそうです。新規に音声エージェントを作る場合は、RCSへの対応状況も選定の材料に加えるとよいでしょう。