ElevenLabs 发布强制对齐模型 Cue，支持字符级音频时间戳

隆重推出 Eleven v4，这是我们迄今为止最具情感表现力的模型。

如果你曾在电视上看过一部播出信号出问题的电影，演员的对白与字幕完全对不上，你就知道这有多让人分心，会把你的注意力从故事中拉走。使用语音模型的视频和软件也有同样的问题：晚出现一秒的字幕，或者高亮了错误单词的转录文本，都会让人觉得同样糟糕。

“人类很擅长对齐媒体内容，至少能做到词级对齐，”ElevenLabs 从事对齐研究的研究员 Danila Kozlov 说。“我们通常能本能地感觉到一个词从哪里开始，但要做到字符级、亚毫秒级的精度，就难得多。”

今天，ElevenLabs 进一步介绍了 Cue，这是一种强制对齐模型，能把音频文件中的每个字符放到精确的时间线上。Cue 为 ElevenLabs 的 Scribe 模型家族提供支持，在真实录音上，它在基准测试的全部 29 种语言中都比 ElevenLabs 测试过的所有对齐器更准确。它还能单次处理任意长度的录音，并在不到一秒内对齐一小时的音频。

什么是强制对齐？

想象有人递给你一段视频和一份转录文本，让你把每个词匹配到它被说出的时刻。这就是强制对齐。当你在 ElevenLabs 的转录文本中点击一个词、播放器跳到那个确切位置时，就是一个对齐器在完成这项工作。

不过，强制对齐与更模糊的 AI 对齐概念不同。后者关乎设计 AI 系统，使其行为符合人们的价值体系和业务偏好。而强制对齐，我们说的只是把文本和声音对应起来。

Cue 是语音转文字流程的最后一步。ElevenLabs 的语音转文字模型Scribe 负责转录音频，对齐器则设定时间。每个 Scribe 请求都会经过它。同一个模型还为字幕、配音和音乐歌词时间轴提供支持，并且可以通过 Forced Alignment API 单独使用。

由于有如此多的产品依赖它，对齐器必须在每种支持的语言中都精确、速度极快，并且能同时处理大量请求。

传统对齐器的不足之处

在新模型之前，团队构建了迄今为止用于所有 ElevenLabs 产品的对齐器模型。尽管它很强大，但他们知道自己可以做出更强的版本。Kozlov 加入后，他和团队首先采访了客户和 ElevenLabs 内部用户，了解他们在使用旧对齐器时遇到的困扰。他们的抱怨与团队测试的开源工具的局限相符。

长度是第一个主要问题。如今许多对齐器对约 30 秒长的片段效果良好，但更长的文件必须切成块。每个新块都可能引入一点时间误差，而拼接块与块之间的接缝又会增加更多误差。在完整录音上，Cue 的平均时间误差仅为 179 毫秒，而开源工具的范围从 283 毫秒到超过 6,000 毫秒。

真实录制的音频更是挑战。背景噪音、重叠的说话声和环境音乐会让许多工具在将文本与音频匹配时失去位置。但这些恰恰是许多人真正想要转录的文件，因为我们往往都生活在并非完全安静的地方。在有背景问题的英语录音上，Cue 的平均误差为 57 毫秒，而其他工具为 65 毫秒到 920 毫秒。

Cue vs. other aligners across accuracy, latency, language, song, and speed benchmarks.

语言支持是另一个限制。大多数开源对齐器需要为每种支持的语言使用单独模型，因此训练数据较少的语言往往表现不佳，或者根本不受支持。 MMS-FA 是唯一另一个能处理全部 29 种基准语言的工具，相比之下，Cue 在判断词与词之间的边界时通常更快。

速度也是这些模型的问题，因为对齐大量音频会很快变得昂贵。在我们的生产 GPU 上，Cue 可以在约半秒内对齐一小时的音频。第二快的工具 Qwen3-ForcedAligner 需要近 2 秒，而测试中最慢的工具则耗时超过一分钟。

Cue 的不同之处

与大多数竞争对手不同，Cue 是一个覆盖 90 多种基准语言的单一模型。它还能单次处理任意长度的录音，从而避免了因分块而在长文件上累积时间误差的问题。

双指捏合或按住 Control 滚动可缩放。水平滑动或按住 Shift 滚动可平移。聚焦某个词时，使用加号和减号缩放，或按住 Shift 加左、右方向键平移。

选择一个词以查看其字符

Kozlov 说，尽管大多数模型随着性能提升而变得更大，但 Cue 比 ElevenLabs 之前的对齐器更小。它仍然运行在 GPU 上，但能在约半秒内对齐一小时的音频。

团队围绕人们实际会上传的音频类型构建了 Cue。他们以之前的对齐器为基线，用真实请求创建了一个基准，并以相同方式为每个工具评分，将工具未能定位的任何词都计为错误。Cue 在字符级工作，比大多数基准使用的词级标签更精细，因此这些分数很可能低估了它的精度。

“在某个时刻，你会达到人类能力的水平，”Kozlov 在谈到对齐器模型时说。“我们当前的对齐器已经超越了那个水平，因此要检查你是完全正确还是究竟有多精确就难得多，因为对此没有黄金基准。我们不得不用词级基准来评估一个字符级系统，这未必能展示 Cue 的全部潜力。”

Cue 的质量也反映出 ElevenLabs 能够多快地响应用户反馈。Cue 推出后不久，一位客户提醒团队，格鲁吉亚语以及其他几种资源较少的语言表现不如预期。ElevenLabs 让研究与使用其产品的团队和客户保持紧密联系，这意味着他们能够迅速发现问题、开展可能的模型改进研究、训练新版本的模型并发布——从客户首次提出问题算起，这一切都在不到 24 小时内完成。

对齐歌曲

音乐之所以困难，是因为歌唱会拉伸和模糊词语，很少有模型能做好。团队没想到 Cue 能处理得这么好。Cue 能够对齐 Creative Commons 许可的 JamendoLyrics MultiLang 数据集中的一部分歌曲。它能够用英语、法语、西班牙语和德语一次完成对齐，准确度令人惊讶。它将 92.7% 的词语定位在标签的 0.3 秒以内，而第二好的工具为 82.0%。

Cue 的平均起始误差为 0.82 秒，约为最接近竞争对手的一半。在 22 首歌曲中至少有 19 首上，它比其他所有工具都更准确。在你最喜欢的新歌发布当天就能唱卡拉 OK 的潜力是巨大的。

立即试用 Cue

Cue 已经为 ElevenLabs 上的每一语音转文字转录提供支持。要直接使用它，请试用强制对齐 API.

致谢

ElevenLabs 对齐器模型的工作离不开公司内外许多人的努力。团队希望感谢所有参与上一版模型和新版模型工作的人，包括联合创始人兼 CTO Piotr Dąbkowski，研究员 Danila Kozlov、Luca Lanzendörfer、Flavio Schneider、Max Levi、Tim von Känel 和 Angelos Perivolaropoulos；以及数据运营部门的 Ani Janelidze、我们的前驻工程师和支持团队；还有 Lorenzo Dossi 在本文可视化方面的工作。

作者