Amazon Audible 用可控 TTS 改进有声书语音合成

文本转语音系统——将书面文本转换为合成语音——在聊天机器人和虚拟助手等交互仅持续数秒的应用中展现出令人印象深刻的自然度。但在处理长篇内容时，它们往往表现不佳。例如，应用于有声书时，传统文本转语音（TTS）模型无法像人类朗读者那样可靠地在角色之间切换说话风格。这给听众带来两个问题：（1）区分旁白与对白；（2）识别哪句台词由哪个角色说出。为解决这一问题，Audible 技术团队采用了可控 TTS，即通过自然语言语音描述（例如“用热情、高亢的声音说话”）来控制对白演绎的能力。这使 TTS 模型能够借助大语言模型（LLM）的深度文本理解能力来合成高质量语音。我们的方法包含三项关键创新。首先，我们开发了一种新颖的数据合成流水线，用于生成配有高质量语音特征描述的语音数据。基于这些数据训练，使我们的模型能够理解描述，并在推理时生成与描述一致的音频。其次，我们构建了一个系统，可自动分析书籍中的角色画像，并以 97% 的准确率识别其对话。该系统还会为这些对话提供描述，充当模型的舞台指示。第三，我们利用前两项技术合成了具有鲜明角色声音的有声书，在 MUSHRA（多刺激隐藏参考与锚定）测试中将对话区分度提升了 3.7 分。MUSHRA 是一种标准化方法，由听众按 0 到 100 分评估音频质量。 在英语和西班牙语的测试中，我们观察到十种声音中有八种的聆听体验获得了统计显著改善。有声书 TTS 合成语音中的细微缺陷，例如不自然的韵律或单调的表达，在短时间片段内尚可容忍，但随时间推移会越来越刺耳——而有声书听众每本书要连续听同一声音 10 到 15 小时。这就是现成 TTS 模型往往无法生成令人愉悦、自然的有声书旁白的原因。此外，通用 TTS 模型设计用于处理上下文极少的单个话语。在回答“今天天气怎么样？”这类问题时，这是合理的做法，但对于有声书而言则不够，因为叙事连贯性依赖于理解周围的故事情境。朗读对白的 TTS 模型需要知道说话者是正面对抗反派的主角，还是闲聊的次要角色，而这些信息可能只存在于更早的章节中。最后，通用模型难以在整本书的跨度内以一致且自然的方式生成角色声音，往往使同一角色在第 1 章和第 10 章中的声音明显不同。可控文本转语音 一、数据合成流水线 传统 TTS 模型基于文本-语音对进行训练，而可控 TTS 模型还需要描述语音听感的标注。训练集中的语音还需要高度富有表现力，覆盖模型必须控制的广泛维度——音高、语速、角色声音、情感、说话风格等。以往的 TTS 模型无法处理这种表现力，因此大多数现有训练数据的语调都是中性的。 我们通过两种途径扩展了训练集：新录音和对现有音频数据进行人工标注。虽然已有一些包含韵律特征描述的数据集，但每个数据集都有自己的描述格式：有的长，有的短，有的使用单一标签。这限制了模型输入的灵活性，并往往使模型过拟合特定数据集的格式。为提高泛化能力，我们使用 LLM 将原始提示改写为不同格式，在长度、详细程度和结构（单一标签与自由形式自然语言）上有所变化。其次，人在回路的数据收集流程无法扩展到我们所需的数据集规模。因此，我们用大量合成数据来补充收集到的数据。我们采用两种方法：1. 专家模型流水线。该方法使用专家模型和信号处理算法（如音高提取、语速提取和情感检测）从音频数据中提取数值特征。然后我们将这些特征和分类标签输入 LLM，生成语音描述。2. 语音描述器。我们开发了一个执行与可控 TTS 相反任务的模型：它接收语音并输出韵律特征描述。使用该语音描述器，我们可以标注更大量的数据。我们将标注数据用作种子数据来训练初始可控 TTS 模型，也用它继续训练语音描述器本身。然后我们使用这些模型生成合成数据，并迭代改进两者，形成合成数据飞轮。二、BookLLM：适配有声书领域 有声书领域对可控 TTS 系统提出了额外挑战，因为不同角色需要拥有鲜明但一致的声音。 为此，我们开发了 BookLLM，这是一个独立组件，它利用现成的 LLM 来识别独特角色，并利用书中的信息——例如年龄、性别、性格和角色定位——来定义他们的声音特征。然后，模型确定每个位置由哪个角色说话，并为对话添加字幕，描述其应如何被说出。我们在 25 本悬疑、科幻和言情类型的英语和西班牙语书籍上评估了 BookLLM。我们使用两名人工标注员收集了真实标注。在英语和西班牙语中，该系统在识别每个位置由哪个角色说话方面分别达到了 97% 和 94% 的准确率，包括区分旁白和对话。III. 整合所有环节 将两个组件整合在一起，就形成了一个完整的有声书合成流水线。给定一本新书，BookLLM 首先阅读全文以构建角色列表：它确定独特角色，按重要性排序，并为每个角色推导出声音描述。它并非凭空创造无限多的声音，而是从精心策划的声音目录中为每个角色分配一个独特的配置文件，刻意最大化最突出角色之间的对比度，以便听众能够区分他们。次要角色和一次性角色则回退到默认旁白，避免出现大量几乎不用的声音。然后，BookLLM 遍历全书，将每一段文本归属于一个说话者——旁白或特定角色——并且，对于每一行对话，撰写一个描述其应如何被演绎的字幕，例如“紧张地低语”或“愤怒地喊叫”。这些字幕正是可控 TTS 模型被训练来遵循的那种自然语言语音描述。 在合成时，每个文本单元连同其说话者的声音配置文件和（如有必要）其舞台指示字幕一起被传递给 TTS 模型。由于角色的声音配置文件在书籍层面一旦确定就固定不变，模型从头到尾一致地渲染该角色，避免了通用模型容易出现的漂移，或是在第一章和第十章中以不同方式为角色配音。逐行字幕则在此基础上叠加了每时每刻的表现力。最终结果是一本完整的有声书，其中角色听起来鲜明、一致且富有表现力，最终提供更令人愉悦的聆听体验。