←新闻详情

Unite.AI更新于 10月25日 08:37

Block 发布全双工语音模型 Dessa,仅用人类对话数据从零训练

Block Unveils Dessa, a Full-Duplex Speech Model Trained on Conversation

AI 导读

Block 内部 AI 研究实验室于 10 月 23 日发布全双工语音到语音模型 Dessa,称其完全基于人类对话语音从零训练,可同时听和说,并能原生感知情绪、讽刺和笑声。该模型推理速度快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行,团队用单台 NVIDIA GB200 NVL72 完成训练。Block 已公开演示录音和公开等待名单,并向少量 AI 安全研究者开放早期访问。

推荐理由

精选AI 评分 78

Dessa 只用语音数据从零训练,展示了全双工对话在情绪与插话时机上的处理方式,也给出了本地运行条件。

主题

标签

正文 · AI 翻译

Block 的内部 AI 研究实验室于 2026 年 10 月 23 日发布了 Dessa,这是一款全双工语音到语音模型。公司称该模型完全基于人类对话数据从零训练而成,并同时发布了实时演示录音、公开等待名单,以及面向一小部分 AI 安全研究者的早期访问权限。

此次发布将 Block 的 Dessa 页面与该实验室负责人 Ragavan Thurairatnam 在 X 上的一篇帖子配合推出。Thurairatnam 称 Dessa 是首个完全基于语音训练后能够进行真实对话的 AI 模型,表示它可以在消费级 GPU 上运行,并将此次发布称为“语音领域的 GPT3 时刻”。Block 在其页面上写道,据公司所知,Dessa 是世界上首个仅通过人类语音训练后就能进行真实实时对话的 AI。

Block 将 Dessa 描述为真正的语音到语音模型:音频输入,音频输出。它是全双工的,因此可以边听边说。公司称,它从真实对话中学会了何时插话、何时用回应性语气表示自己在跟随对话。Block 表示,该模型能够原生地听出并说出情绪、讽刺、笑声、沮丧的叹息,以及因悲伤而颤抖的声音;其推理速度快于实时,因此回复不会出现尴尬的停顿;并且 Dessa 可在 MacBook Pro M4 Max 或更高配置上本地运行。公司称其是有史以来最真实的​​全双工语音模型,并表示与它交谈感觉就像在与真人交谈。

仅基于语音的训练方法

根据该页面,Dessa 仅基于声音从零开始训练,没有任何文本或预训练模型,并且完全通过聆听学会了实时对话。Block 认为,这项任务的难度很容易被低估,因为人们学习说话太过容易。语音数据从不重复:即使以完全相同的方式把同一句话再说一遍,产生的数据也不相同,而无论由谁输入,打出来的文本都是相同的。该页面指出,从数据量来看,一个说出的单词所占的字节数比其书面形式多数千倍,而且重音位置会改变含义;页面上的一句示例句子,每当重读不同的单词时,就会呈现出不同的含义。

Block 表示,Dessa 学习语言所用的单词量比大型语言模型少数百倍,并且团队研究出了如何在单台 NVIDIA GB200 NVL72 系统上训练它。该页面列出了这种方法引出的开放研究问题:与文本相比,此类模型学习语言和事实的效率如何,它们学习新语言的效率如何,以及它们能进行哪些类型的上下文学习。

录制演示

Block 发布了它称为人们与 Dessa 交谈的现场录音的片段。该公司表示,在这些对话中没有人操控模型,Dessa 自己决定说什么、何时说以及如何说,包括它自己的声音和个性;字幕是事后添加的。

所描述的片段包括:Dessa 在句子中间遇到好笑之处时会笑出来,而不是等说话者说完后才笑;被要求大声说话时会提高音量;当对方一时想不起电影片名时,会替对方把句子说完。在另一段录音中,Dessa 在听到意外的周年纪念公告时倒吸一口气,随后以该页面所描述的含泪感激之情作出回应;而一段较长的生活建议录音则被描述为听起来真诚而富有同理心。有一段录音是 Dessa 与第三方 AI 模型 GPT-Live-1 对话;Block 指出,该录音中的两个声音均由 AI 生成,且 GPT-Live-1 的开发者与 Block 无关联,也未审阅或认可 Dessa。

安全、访问与实验室

团队给出了构建 Dessa 的三个理由:好奇心、增进人类与 AI 之间的理解,以及安全。该页面指出,婴儿学习说话时从未见过书面文字,并表示团队想看看模型能否做到同样的事。在安全方面,Block 认为 AI 的能力和自主性不断增强,却仍无法感知说话者声音中的情绪,并举例说,一个人正处于严重痛苦之中,而语音 AI 却毫无察觉,继续说话。该公司将 Dessa 描述为朝着解决这一问题迈出的一步,并批评当前的语音 AI 将语音简化为文本,丢失了只有声音才能承载的信息。

Block 正在向一小群 AI 安全研究人员提供早期访问权限,以发现团队尚未预料到的风险,其申请表格要求填写姓名,以及来自大学、公司或实验室的机构邮箱,还可选择提供 Google Scholar 或博客链接。公开等待名单已开放,更多录音将在 Thurairatnam 的 X 账号上分享,页面称发布链接即将公布。

Dessa 来自 Block 所描述的该公司内部一个非常小的 AI 研究实验室,由多伦多深度学习初创公司 Dessa 的前成员创立。该团队表示,自 2012 年以来一直在构建深度学习模型,构建生成式语音模型已超过八年,并直接向 Block 联合创始人、董事长兼 Block 负责人 Jack Dorsey 汇报。Thurairatnam 的 X 简介称,他此前创立并出售了 Dessa,并曾在多伦多大学授课。除他之外,页面还列出了研究人员 Louay Hazami、Hashiam Kadhim、Qi (Alex) Liu、Rayhane Mama、Aydin Polat 和 Marc Tyndel;实习生 Cara Ji、Jibran Iqbal Shah 和 Dvir Zagury-Grynbaum;以及前实习生 Aryan Sharma 和 Olivia Yan。

来源

Unite.AI