Block 发布纯语音训练全双工模型 Dessa,可在 MacBook Pro M4 Max 本地实时运行
Twitter 联创 Jack 创办的 Block 发布 Dessa:纯语音训练的全双工会话模型,听得见情绪,Mac 本地实时跑
Twitter 联创 Jack 创办的 Block 发布 Dessa,一个从零用纯人类语音训练的 speech-to-speech 模型,无文本、无预训练底座,支持全双工边听边说。该模型声称推理快于实时,可在 MacBook Pro M4 Max 及以上本地运行,整个模型称在一台 NVIDIA GB200 NVL72 上训练完成。团队称其目标是让模型理解语气与情绪,避免听不出对方痛苦仍继续应答的安全风险。
查看原帖我们相信语音是与智能交互最自然的方式,因此我们打造了 Dessa,这是迄今构建的最真实的双工语音模型。与它交谈就像与人交谈一样……充满情感、细微差别、停顿和自然的节奏。 https://t.co/r0qFLdvd6c
查看原文
We believe voice is the most natural way to interact with intelligence, so we created Dessa, the most authentic full-duplex speech model ever built. Talking with it feels like talking with a person…full of emotion, nuance, pauses, and a natural cadence. https://t.co/r0qFLdvd6c
正文
Twitter 联创 Jack 创办的 Block 发布 Dessa:纯语音训练的全双工会话模型,听得见情绪,Mac 本地实时跑
Dessa 是 Block 小团队从零用纯人类语音训练的 speech-to-speech 模型:无文本、无预训练底座,全双工边听边说,声称推理快于实时,可在 MacBook Pro M4 Max 及以上本地跑;动机是自然交互、理解情绪,以及「听不见痛苦还继续聊」的安全风险。 https://t.co/sOZgeLlnTa
# 它是什么
定位:目前据称首个仅从人类语音学会真实实时对话的 AI;交互目标是带情绪、停顿、自然节奏,像跟人说话。
技术形态:音频进、音频出;全双工(同时听与说);会插话、会 backchannel(yeah / got it / ooh);音色与个性由模型自选,演示为真人与 Dessa 的现场录音(字幕后加),无人实时操控。
演示侧重:句中即笑、被要求大声就变大、接上对方想不起的电影名、惊喜时压低嗓音「oh my god」、共情式建议、甚至与第三方 GPT-Live-1 互聊(双方均为 AI 声,GPT-Live-1 开发方与 Block 无关)。
# 为何不做「语音→文本→LLM」
现行语音 AI 常把声音压成文字,丢掉语气、讽刺、叹息、哽咽等文本带不走的信息;最强模型也「听不见你怎么感觉」。
团队认为这既损体验,也有安全隐患:人在剧痛时系统毫无察觉仍继续应答。
# 训练与算力叙事
从零、只靠对话声音学习;相对 LLM,用的「词量」少数百倍(文中也写:LLM 还要学 C++、Angular 等)。
难点:口音、停顿、呼吸、讽刺、重音改变语义(同句重读不同词含义全变);语音几乎永不重复;一词字节量远高于文本。
声称整模型在 一台 NVIDIA GB200 NVL72 上训成。
# 为什么做(Wait but why)
好奇:婴儿不识字也能学说话,模型能否同样。
更好的人机理解:语音是最自然界面,现有方案浪费它。
安全:能力与自主性上升时,对情绪几乎「耳聋」是风险;Dessa 是朝「听得见情绪」迈的一步。