Deepgram 收购 Pipecat 开发商 Daily,并推出实时上下文标准 RCS
Deepgram acquires Pipecat-maker Daily to bolster its voice AI infrastructure
Deepgram 宣布收购开源语音 AI 框架 Pipecat 的开发商 Daily,交易金额未披露,双方承诺 Pipecat 将继续保持开源。Daily 此前累计融资超过 6200 万美元,Deepgram 今年早些时候以 1.3 亿美元 C 轮融资成为独角兽。Deepgram 同时发布与 Pipecat 团队共同开发的开放协议 Real-Time Context Standard(RCS),用于定义语音智能体中的音频上下文、模型指令和回复语气等元数据。
正文 · AI 翻译
语音 AI 领域热度高涨,随着更多商业模式通过合作与收购涌现,头部玩家正试图巩固自身地位。Deepgram 是最新采取此类行动的公司:该公司周四表示,将收购 Daily——后者是最受欢迎的开源语音 AI 基础设施之一 Pipecat 的开发者和维护者。
两家公司未披露交易金额,但表示将继续保持 Pipecat 开源。
对于不了解的人来说,Pipecat 是一个框架,负责管理语音和视频流以及流水线中的其他环节,如语音转文本(STT)、大语言模型(LLM)和文本转语音(TTS)模型,同时降低延迟。其开发者 Daily 为各类语音和视频通话提供托管基础设施。
借助 Pipecat,Deepgram 很可能将更深入地理解实时语音和视频基础设施。
根据 PitchBook 数据,Daily 迄今已从 Tiger Global、Highfield Capital、Nat Friedman、Lachy Groom 和 Kevin Weil 等投资者处筹集了超过 6200 万美元资金。今年早些时候,Deepgram 通过 1.3 亿美元 C 轮融资跻身独角兽行列。巧合的是,两家公司都曾是 2016 年同一批 Y Combinator 成员。
Daily 联合创始人 Kwindla Kramer 表示,大约在 GPT-4 问世时,公司开始尝试通过语音和文本进行 AI 与人类的交流,最终催生了 Pipecat 框架。他指出,尽管有很多收购意向,但他更看重 Deepgram CEO Scott Stephenson 对永久保持 Pipecat 开源的承诺,而且两家组织的工程文化相契合,这让 Daily 团队能在更大的组织中自由地从事技术栈的不同部分。
“Scott 非常坚定地承诺 Pipecat 将永远保持开源和供应商中立。我认为这既是个人承诺,也是商业驱动。如果你身处一个快速增长的生态系统的中心,并且该生态系统中有许多部分确实是你公司最擅长的,那么尽可能保持一切开放就像是一种商业优势,”Kramer 对 TechCrunch 表示。
Stephenson 表示,Deepgram 长期以来一直希望开展开源工作,公司意识到智能体的编排框架是一个潜在领域,这促成了与 Daily 合作的决策。
“我们希望开放生态系统,让每个人都能构建语音智能体。如果你使用 Deepgram 模型,那很好,但我希望你为你的用例使用最好的模型。如果 Deepgram 注意到我们自己的模型和产品在某个领域还有差距需要追赶,那也很好。我们希望你们使用合作伙伴的方案,然后我们也会努力在这些领域变得更好,”他说。
Stephenson 表示,此次收购让开发者能够通过接入不同模型和连接所有部分的上下文总线,构建具有表现力和端到端语音系统的智能体。
对 Deepgram 而言,这笔交易还让它能通过 Pipecat 探索语音之外的领域,因为该框架支持不同格式的实时通信。
“我们从未把 Pipecat 视为语音工具包。我们把它视为构建这种新型 AI 原生软件所需的工具包。由于我们的出身,我们一直默认它是实时的,”Kramer 说。
Deepgram 还推出了实时上下文标准(RCS),这是一个面向语音智能体的开放协议,由该公司与 Pipecat 团队共同开发。该协议定义了元数据,例如来自音频的上下文(如耳语)、关于语言模型如何使用这些信号的指令,以及关于回复应如何呈现的指导。
语音 AI 在模型和基础设施两端都获得了大量投资。ElevenLabs、Gradium 和 Fish Audio 等模型开发商已筹集数百万美元。另一方面,LiveKit 和 Vapi 等基础设施公司今年也完成了数百万美元的融资轮。