←新闻详情

MarkTechPost更新于 10月30日 14:43

Block 发布纯语音训练的全双工语音模型 Dessa

Block Unveils Dessa, a Full-Duplex Speech Model Trained Only on Speech - MarkTechPost

AI 导读

Block 的 AI 研究实验室发布全双工语音模型 Dessa,以研究预览形式开放候补名单,只用人声对话音频训练,未使用文本和预训练模型。该模型可在 MacBook Pro M4 Max 或更高配置上本地运行,速度快于实时;训练使用 1 台 NVIDIA GB200 NVL72(72 块 GPU),目前未公布基准分数、参数量、权重、论文或 API。

推荐理由

AI 评分 65

原文把 Dessa 与 Moshi、PersonaPlex 的训练算力、权重和延迟并列,便于判断纯语音训练路线的取舍。

主题

标签

正文 · AI 翻译

将我们添加为 Google 首选来源

Block 的 AI 研究实验室发布了 Dessa,这是一个仅用人类对话训练的全双工语音模型。Block 于 2026 年 10 月 23 日以研究预览形式公布了它。Dessa 是 Block 推出的语音到语音模型,能够边听边说。Block 表示,它没有使用任何文本,也没有使用预训练模型。这与当今大多数语音智能体背后以文本为先的技术栈是不同的设计。

TL;DR

运行环境:在 MacBook Pro M4 Max 或更高配置上本地运行,速度快于实时。

性能:目前仅限演示。现场录音展示了附和应答、句中笑声和自然打断。

最佳:在 1 台 NVIDIA GB200 NVL72 机架(72 块 GPU)上训练。Moshi 使用了 1,016 块 H100 GPU。

最差:公布 0 项基准分数。没有权重、论文、API 或价格。

Block 的 Dessa 是什么?

Dessa 是一个真正的语音到语音模型:音频输入,音频输出。根据 Block 的项目页面,它所知道的一切都来自人类语音。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗?omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

它是全双工的,因此能边说边听。Block 表示,它从真实对话中学会了何时插话。它还学会了何时用“yeah”或“got it”这样的简短提示进行附和应答。

Block 的演示片段显示,Dessa 会在句中发笑,并在被要求大声说话时提高音量。其中一个片段展示了它与 OpenAI 的 GPT-Live-1 对话。Block 表示,没有任何片段经过人工引导。

纯语音训练是如何工作的?

大多数语音系统串联 3 个部分:语音识别、文本模型,然后是语音合成。Block 团队认为,这条链路会丢弃情绪、讽刺、笑声和叹息。Dessa 直接接收并生成这些信号。

Block 尚未公布架构。以下是它已披露的内容:

训练数据:仅人类对话音频。没有文本,也没有预训练模型。

算力:1 台 NVIDIA GB200 NVL72,连接 72 块 Blackwell GPU 和 36 个 Grace CPU。

数据效率:Block 表示,Dessa 学会语言所用的词数比 LLM 所需的少数百倍。

推理:在 MacBook Pro M4 Max 或更高配置上,速度快于实时。

该实验室还解释了为什么这很难。语音从不会完全重复。一个说出的词所占的字节数,是同一个词在文本中的数千倍。

Kyutai 的 Moshi 是最知名的开源全双工模型,它走了另一条路线。Moshi 从文本语言模型主干出发,在音频 token 之前预测时间对齐的文本 token。其模型卡列出了 700 万小时的预训练音频和 1,016 块 H100 GPU。

Dessa 与 Moshi、PersonaPlex 和 GPT-Live-1 相比如何?

起点仅语音,无文本,无预训练模型Helium 文本 LM 主干加音频从 Moshi(Moshiko)权重微调而来未披露;将推理委托给后端智能体

参数量未披露8B(Hugging Face 列表)7B(模型卡)未披露

训练算力1 台 GB200 NVL72(72 块 GPU)1,016 块 H100 GPU未披露未披露

训练音频未披露700 万小时无监督、2,000 小时 Fisher、20,000 小时合成Fisher 英语,不足 10,000 小时未披露

延迟未披露(“快于实时”)实际 200 毫秒,理论 160 毫秒0.170 秒轮次切换,0.240 秒打断(FullDuplexBench)模型页面未披露

权重与许可未发布开放,CC-BY 4.0开放,NVIDIA 开放模型许可证闭源

运行环境MacBook Pro M4 Max 或更高配置GPU;MLX、Candle 和 PyTorch 检查点NVIDIA A100 / H100,LinuxOpenAI 云

访问与价格研究预览,候补名单免费下载免费下载(需申请)API,语音层每分钟 0.05 美元

要点

Dessa 是全双工、语音到语音的模型,仅用人类对话音频训练。

Block 在 1 台 GB200 NVL72 机架上训练了它;Moshi 使用了 1,016 块 H100。

它可在 MacBook Pro M4 Max 上本地运行,速度快于实时。

Block 公布了 0 项基准、未公布参数量和权重。

访问方式为候补名单。

Michal Sutter+ 文章简介 ⮌

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可操作的洞察。

Michal SutterMirendil 发布其首个模型 Fern 0.1,具备 1000 万 token 上下文

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

相关文章更多来自作者

Baseten 发布 joey-1,一个每 100 万 token 收费 0.01 美元的 2B 决策模型

Prime Intellect 发布 Prime Mega MoE:可训练的融合 MoE 内核,前向传播快 3.11 倍

NVIDIA 发布 Nemotron 3.5 Transcribe:一个开放 30B MoE 模型,支持 40 种语言转录,约 4B 活跃参数

来源

MarkTechPost