Edge0 发布 Audio8-TTS-Realistic：0.6B 开源语音克隆 TTS 模型
Edge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model - MarkTechPost
Edge0 发布开源权重语音克隆 TTS 模型 Audio8-TTS-Realistic，601M 参数，支持 23 种语言，权重与代码以 Apache 2.0 发布。模型只需 1 段参考音频及对应文本即可零样本克隆音色，也可在无参考音色时直接生成语音。自报结果显示其在 CV3 九语言上平均错误率 4.86%，低于 Qwen3-TTS-1.7B 的 7.73%，但在 MiniMax 基准上落后于 4B 级模型，泰语 WER 达 48.57%。
推荐理由
AI 评分 58
0.6B 参数、23 语言、Apache 2.0 的开源语音克隆模型，给出了与更大模型逐项对比的误差数据。
主题
正文 · AI 翻译
在 Google 上添加为首选来源
Edge0 发布了 Audio8-TTS-Realistic，这是一个用于零样本语音克隆的开源权重文本转语音模型。Audio8-TTS-Realistic 是一个 0.6B 参数的模型，可从 1 段参考音频及其转写文本克隆音色。它支持 23 种语言，比其前代多 12 种。权重和代码以 Apache 2.0 许可发布。对开发者而言，关键在于它以易于低成本微调和部署的规模，提供了有竞争力的多语言准确率。
TL;DR
规模：主模型 601M 参数（不含编解码器）；最多 2,048 个打包的文本/音频上下文位置。
运行环境：推荐使用 CUDA GPU；已在 NVIDIA H20 上以 BF16 进行冒烟测试。论文报告在 Apple M2 CPU（INT4 ONNX）上峰值内存为 1.1 至 1.2 GiB。目前尚无 Realistic 的 ONNX 导出公开。
性能：在 CV3 上领先于更大的开源模型，在 MiniMax 上落后于 4B 级模型。
最佳：在 9 种语言上 CV3 平均错误率为 4.86%，而 Qwen3-TTS-1.7B 为 7.73%。
最差：泰语（CV3）WER 为 48.57%，粤语（MiniMax）CER 为 31.35%。
什么是 Audio8-TTS-Realistic？
它是 Edge0 的 Audio8 TTS 系列中第二个 0.6B 版本。它基于 Audio8-TTS-Preview-0.6b 构建，并保持相同的 Transformers 推理接口。该仓库打包了检查点、44.1 kHz 神经音频编解码器、分词器、处理器和自定义代码。它也可以在没有参考音色的情况下生成语音。
TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助
新增语言包括阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语。
架构如何工作？
该模型采用受 Fish Audio S2 Pro 启发的双自回归（DualAR）设计。根据技术研究报告，慢分支基于 Qwen2.5 0.5B 构建。它有 24 层、宽度 896，运行速度约为每秒 21.5 帧。每一步预测文本 token 以及第一个音频码本。
随后，一个浅层 4 层快分支并行预测其余 9 个码本。因此，顺序计算只发生在帧级别。
Edge0 如何为真实感进行训练？
团队认为，词错误率（WER）和说话人相似度（SIM）忽略了节奏、停顿和时序。一个模型可以在两者上都得分很高，但听起来仍然像合成的。
训练分 3 个阶段进行：
多语言监督微调（SFT）。
使用组合奖励的 GRPO：WER 权重 0.7，SIM 权重 0.3。
由学习到的真实感评判器引导的 GRPO。
该评判器将每个输出与同一句话的匹配人类录音进行评分。它是在由 6 个开源 TTS 系统构建的质量阶梯上训练的。这些系统在一项私密盲听研究中排名，人类录音位居榜首。合成停顿压缩为阶梯增加了更细的层级。
身份擦除损失可阻止评判器奖励生成器指纹。评判器头在冻结的 WavLM-large 编码器之上约有 3M 参数。当时长超过参考长度的 1.35 倍时，还会触发时长惩罚。这阻止策略通过更慢的语音来钻评判器的空子。
最终阶段仅使用中文和英文提示。它仍然改善了 13 种低资源语言的两项聚合指标。它们的错误率从 22.53% 降至 20.77%，SIM 从 0.637 升至 0.679。
它在基准测试上表现如何？
以下所有数字均为自报错误率，越低越好。
Seed-TTS（英语/中文）：平均错误率 1.25%，SIM 0.704。
CV3（9 种语言）：平均错误率 4.86%，SIM 0.661。
MiniMax（24 种语言）：平均错误率 5.89%，SIM 0.754。
在 CV3 上，Audio8 优于 VoxCPM2（5.35%）、CosyVoice3-1.5B（6.89%）和 Qwen3-TTS-1.7B（7.73%）。在 MiniMax 上，Qwen3-TTS-1.7B 得分为 27.41%，但它官方仅支持 24 种测试语言中的 10 种。
更大的模型在其他方面仍然领先。Higgs TTS 3 报告在 CV3 上为 4.41%，在 MiniMax 上为 2.74%。Qwen3-TTS-1.7B 在 Seed-TTS 上平均为 1.01%。Edge0 自己称其表格为参考比较，因为评估流程和文本归一化不同。
它与其他开源 TTS 模型相比如何？
特性Audio8-TTS-RealisticQwen3-TTS-12Hz-1.7B-BaseVoxCPM2Higgs TTS 3
规模0.6B（不含编解码器）1.7B2B~4B 主干
许可Apache 2.0Apache 2.0Apache 2.0研究与非商业
语言231030100+
输出采样率44.1 kHz未披露48 kHz24 kHz
Seed-TTS 英语 WER1.46%1.24%1.84%未披露
Seed-TTS 中文 CER1.03%0.77%0.97%未披露
CV3 平均错误率（9 种语言）4.86%7.73%（Boson AI 评估）5.35%4.41%
MiniMax 平均错误率（24 种语言）5.89%27.41%（Boson AI 评估）未披露2.74%
注明硬件CUDA GPU；论文中 INT4 M2 CPUGPU、FlashAttention 2~8 GB 显存1x H100 服务测试
VoxCPM2 的 CV3 平均值由其按语言表格计算得出。
如何部署它？
安装 PyTorch 2.5+ 和 Transformers 4.57+，然后使用 trust_remote_code=True 加载。语音克隆需要干净的参考音频及其精确转写文本。GitHub 仓库增加了 CLI、批处理和监督微调脚本。
对于 GPU 服务，SGLang Omni 适配器提供分页注意力、动态批处理和兼容 OpenAI 的 /v1/audio/speech API。Edge0 指出吞吐量和流式传输未进行基准测试。免费的 Playground 在 Hugging Face ZeroGPU 上运行。
关键要点
601M 参数，23 种语言，Apache 2.0 权重。
一个学习到的真实感评判器驱动最终的 GRPO 阶段。
4.86% 的 CV3 错误率优于 Qwen3-TTS-1.7B 和 VoxCPM2。
4B 级 Higgs TTS 3 在 CV3 和 MiniMax 上仍然领先。
低资源语言仍然表现较弱，泰语 WER 接近 49%。
Asif Razzaq网站 | + 文章数简介 ⮌
Asif RazzaqBaseten 发布 joey-1，一个每 100 万 Token 收费 0.01 美元的 2B 决策模型
Asif RazzaqPrime Intellect 发布 Prime Mega MoE：可训练的融合 MoE 内核，前向传播快 3.11 倍
Asif RazzaqNVIDIA 发布 Nemotron 3.5 Transcribe：一个面向 40 种语言转录的开放 30B MoE 模型，约 4B 活跃参数
$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助
相关文章更多来自作者
Baseten 发布 joey-1，一个每 100 万 Token 收费 0.01 美元的 2B 决策模型
Prime Intellect 发布 Prime Mega MoE：可训练的融合 MoE 内核，前向传播快 3.11 倍
NVIDIA 发布 Nemotron 3.5 Transcribe：一个面向 40 种语言转录的开放 30B MoE 模型，约 4B 活跃参数