Gradium 开源 Phonon 端侧 TTS 模型，31M 版本采用 Apache 2.0
Gradium Open-Sources Phonon, a 31M-Parameter On-Device TTS Model Under Apache 2.0 - MarkTechPost
Gradium 开源了 Phonon 系列端侧文本转语音模型，其中英文版 Phonon 31m 为 31M 参数、64.5 MB q8 GGUF 文件，采用 Apache 2.0 许可，输出 24 kHz 单声道音频。该模型无需 GPU 即可在 CPU、手机、Raspberry Pi 5 和浏览器上运行，在 MacBook Air M5 CPU 上 6.9 ms 产出首段音频，在 Gradium 自测的 500 句困难集上 WER 为 1.70%，对比 Kokoro 的 3.50%。40m 版本覆盖英法德西葡五种语言，但采用 CC BY-NC 4.0 非商用许可。
正文 · AI 翻译
将我们添加为 Google 首选来源
Gradium 已开源 Phonon，这是一个专为在设备端运行而构建的小型文本转语音模型系列。Gradium Phonon 端侧 TTS 模型提供 31M 和 40M 两种规模。英文版 Phonon 31m 以 Apache 2.0 许可发布，文件大小为 64.5 MB。开发者可获得自然语音，无需云端调用、无需 GPU，也没有按字符计费。
TL;DR
规模：31M 参数（不含音频分词器），64.5 MB q8 GGUF，24 kHz 单声道输出。Phonon 40m：40M，74.6 MB。
运行平台：CPU、手机、Raspberry Pi 5、浏览器（WASM、WebGPU）和 NVIDIA GPU。无需 GPU。
性能：在 Gradium 测试过的开源模型中英文 Elo 最高；在 CPU 上约 7 ms 产出首段音频。
最佳：在 500 句困难集上 WER 为 1.70%，而 Kokoro 为 3.50%（Gradium 评测）。
最差：Seed-TTS LLM WER 为 0.51%，落后于 Kokoro（0.45%）和 Magpie（0.46%）。
什么是 Gradium Phonon？
Phonon 是 Gradium 推出的开放权重 TTS 系列，Gradium 是一家从 Kyutai 分拆出来的巴黎语音 AI 公司。它可在手机、笔记本电脑、开发板和浏览器上本地生成语音。
开源 OmniParseBench · 由 Datalab 提供 · Apache 2.0
在表格、数学、表单和手写内容上对任意文档解析器进行基准测试。按页对文本、表格和布局系列进行是/否测试。在 Hugging Face 数据集或你自己的 PDF 上使用 score 和 predict 原语为供应商解析器评分。
★ 在 GitHub 上加星 多栏、旋转文本、退化扫描件 · 按文字系统和语言标记
github.com/datalab-to/omni_parse_bench Fork 它 · 添加你的解析器
该系列有三个模型：
Phonon 31m：仅英文，37 个内置音色，Apache 2.0。
Phonon 40m：每种语言 1 个模型（英语、法语、德语、西班牙语、葡萄牙语），CC BY-NC 4.0。
Phonon 40m 多语言：5 种语言全部集成在 1 个模型中，102 个音色，CC BY-NC 4.0。
Phonon 如何工作？
Phonon 使用因果 Transformer 主干。其前缀结合了文本和说话人嵌入。一个词表为 4,000 个 token 的 SentencePiece 分词器直接读取原始文本，无需音素转换。
主干每 80 ms 帧生成 1 个潜在向量。一个流匹配头在单步中将该向量加噪声转换为音频嵌入。随后，Kyutai Mimi 解码器的一个较小变体输出 24 kHz PCM 音频。一个单独的语音结束头决定何时停止。
Phonon 31m 使用 6 层 Transformer、宽度 512 和 8 个注意力头。Phonon 40m 使用 9 层，宽度相同。两者均从更大的 Phonon 教师模型蒸馏而来。训练在配备 NCCL 和 CUDA Graphs 的 NVIDIA H100 集群上运行。
这项工作建立在 Kyutai 的 Continuous Audio Language Models 研究和 Pocket TTS 之上。
Phonon 在基准测试中表现如何？
Gradium 开展了盲测成对听力测试，共有 1,189 名评分者和 17,270 票。在美式英语中，Phonon 40m 得分为 2117 Elo，Phonon 31m 得分为 2098。Kokoro 得分为 2043，NeuTTS 为 2034，Magpie 为 1939。
准确率在一个公开困难句集上进行了测试。每种语言包含 500 个句子，充满电话号码、电子邮件和邮政编码。Phonon 31m 的 WER 为 1.70%，而 Kokoro 为 3.50%，NeuTTS Nano 为 8.71%。
内置文本规范化在很大程度上造成了这一差距。
在较容易的 Seed-TTS 集上，差距缩小。Phonon 31m 的 LLM WER 为 0.51%，而 Kokoro 为 0.45%。
Phonon 在 CPU 上有多快？
在配备 4 线程的 MacBook Air M5 CPU 上，Phonon 31m 在 6.9 ms 内产出首段音频。它以比实时快 29.9 倍的速度运行。Kokoro 需要 517 ms，因为它不流式处理。借助 Arm KleidiAI 和 Apple Accelerate，Phonon 31m 达到实时速度的 46.7 倍。
在 Raspberry Pi 5 上，Phonon 31m 在 38 ms 内启动，并以比实时快 3.7 倍的速度运行。Gradium 表示 Kokoro 在那里需要 7 秒才能启动。
在 Snapdragon 8 Elite Gen 5 上，Phonon 在 7.5 ms 内启动，达到实时速度的 24 倍。在 NVIDIA L40S 上，CUDA 在 5 ms 内产出首段语音。根据新闻稿，AMD EPYC 7413 CPU 需要 43 ms。
特性Phonon 31mPhonon 40m 多语言Kokoro-82MNeuTTS NanoKitten TTS v0.8
开发者GradiumGradiumhexgradNeuphonicKittenML
参数31M（不含分词器）40M82M总计约 228.7M，活跃约 116.8M15M / 40M / 80M
权重64.5 MB（q8）74.6 MB（q8）未披露未披露25 至 80 MB
语言英语英语、法语、德语、西班牙语、葡萄牙语8 种（v1.0）英语（合集增加西班牙语、法语、德语）英语
许可Apache 2.0CC BY-NC 4.0Apache 2.0NeuTTS Open License 1.0Apache 2.0
困难集 WER，英语（Gradium 评测）1.70%2.11%3.50%8.71%7.40%（未披露变体）
英语 Elo（Gradium 评测）2098209720432034未测试
Seed-TTS LLM WER，英语（Gradium 评测）0.51%0.48%0.45%0.62%未测试
首段音频，M5 CPU，4 线程6.9 ms8.8 ms（40m 架构）517 ms未披露未披露
基准测试行来自 Gradium 的博客和模型卡。规模、语言和许可行来自各模型自己的模型卡。
开发者如何部署 Phonon？
运行时采用 MIT 或 Apache-2.0 许可。它涵盖 Rust、Python（pip install ptts）、Swift、C、C++ 以及通过 phonon-tts 的浏览器。它还附带一个 OpenAI 兼容服务器和一个 WebSocket 服务器。
Phonon 可在 Transformers、MLX-Audio、Ollama 和 LM Studio 中加载。语音克隆和语音设计在 Gradium Studio 中运行，然后语音在本地运行。
关键要点
Phonon 31m 是一个 31M、64.5 MB 的英文 TTS 模型，采用 Apache 2.0 许可。
它在困难文本上报告 1.70% WER，而 Kokoro 为 3.50%。
在 MacBook Air M5 CPU 上，首段音频在 6.9 ms 内到达。
它在 Raspberry Pi 5 上以比实时快 3.7 倍的速度运行。
存在多语言 40m 模型，但采用非商业许可。
Asif Razzaq网站 | + 文章简介 ⮌
Asif RazzaqIBM AI 发布 Granite Speech 5.0 2B，用于多语言转录和翻译
Asif RazzaqRecursive 发布 Flint，一个面向智能体的开放权重 40B MoE 本地编码模型，活跃参数 2.5B
相关文章更多来自作者
IBM AI 发布 Granite Speech 5.0 2B，用于多语言转录和翻译
Cactus Whistle 编码指南：一个 16.9 MB 的语音模型能否与 Whisper Base 抗衡？词错误率、速度、流式处理、时间戳、关键词……