Block 发布全双工语音模型 Dessa，可在消费级 GPU 本地运行

Jack Dorsey 旗下的 Block 公司从其研究实验室推出了一款新的语音模型，该模型可在本地运行，其笑声、停顿和哭泣等表达方式听起来出奇地像真人。该公司表示，这款名为 Dessa 的模型完全基于人类语音和单张 NVIDIA GPU 训练而成。

Dessa 是一款全双工模型，这意味着它可以像 OpenAI 今年早些时候发布的 GPT-Live 模型一样，一边说话一边聆听。通常，语音模型会与大型语言模型配对以进行知识检索。Block 表示，Dessa 的知识来源于它所拥有的对话数据。

我们相信语音是与智能交互最自然的方式，因此我们创造了 Dessa，这是有史以来最真实的双工语音模型。与它交谈就像与人交谈一样……充满情感、细微差别、停顿和自然的节奏。https://t.co/r0qFLdvd6c

Block 表示，当前的模型可能听起来不自然且令人烦躁，因为它们的流程中包含驱动语音生成的文本。许多模型，如 ElevenLabs v4 或 Fish Audio Drama 3，使用语音标签来驱动语音生成中的情感。Dorsey 的公司声称，情感已内置于其模型中。目前尚不清楚这种情感是否由某种标签来引导。

“与当前的语音 AI 交互简直糟透了。它把你的声音转成文本，丢弃了文本本身无法承载的大量信息。世界上最强大的 AI 也听不出你的感受。我们认为这很荒谬，会导致更差的体验，并且可能很危险，”该公司在一篇博客文章中表示。

该公司的研究人员发布了多个与 Dessa 对话的示例，其中智能体具有不同的声音、节奏和情感。例如，在对话中，机器人说自己工作累了，而那时它听起来确实很累。

我们打造了首个可以与之进行真实对话、且完全基于语音训练的 AI 模型！Dessa 是一款全双工语音到语音模型，可以在消费级 GPU 上运行。这是语音领域的 GPT3 时刻。pic.twitter.com/XVD8sSyJn8

在下面的示例中，机器人谈到对方让它感到舒适，同时听起来情绪激动，几乎要崩溃。

Dessa=全双工语音模型 vs 人类=我，https://t.co/1eI6QFHo1w pic.twitter.com/zlZfxH2BA5

另一个示例显示，一名 Block 团队成员与语音助手一起玩游戏。

为了对游戏的热爱。观看 Cara 与 Dessa 玩猜谜游戏。模型立刻猜对了第一个，第二个也没花多长时间。https://t.co/FDmoXNPpIh pic.twitter.com/I9f8saduEA

该公司表示，该模型可以在 MacBook M4 Max 或更好的消费级电脑上本地运行。然而，目前 Dessa 尚未公开开放，Block 已发出呼吁，邀请安全研究人员测试该模型。这很可能是为了测试语音智能体可能欺骗对话另一方的案例。

Block 从事金融业务，并向小企业销售其解决方案。Square 已经使用语音 AI 来处理点单。但凭借其可在设备上运行的自家语音模型，它可以以更低的成本支持更多的商业和消费者体验。