隆重推出 Eleven v4，这是我们迄今为止最具情感表现力的模型。

探索跳至内容登录注册联系销售登录

文本转语音（TTS）技术将书面文字转换为语音音频。系统首先分析文本内容及其应有的发音方式，然后由 AI 模型生成音频。

最初，TTS 引擎会对文本输入进行归一化处理，并将其转换为计算机系统可操作的数字 token 和向量表示。接下来，模型将这些数学结构转换为声音的数字表示，最终输出为音频。

在本文中，我们将探讨不同的文本转语音工具如何工作，以及最新一代生成式 AI 神经语音合成如何提供迄今为止最自然的语音。

Text-to-speech process: normalize text, map prosody, create a spectrogram, generate audio.

总结

  • 文本转语音系统分两个阶段将书面文字转换为音频。它们先将文本转换为 token，即语言的数学表示。然后将这些 token 转换为声学表示，并作为声音输出。
  • 较新的 神经 TTS 引擎 使用 AI 模型生成听起来自然的语音。业务团队将其用于内容创作、字幕制作，并为 客户支持 坐席提供支持。
  • 发音词典和音素标注是两种微调 TTS 输出、使其听起来尽可能自然，并确保技术术语和人名发音正确的方法。
  • 一个 文本转语音 API 可让您将业务应用接入高质量语音生成。

什么是 TTS？文本转语音技术是如何工作的

文本转语音的工作原理是分析书面文本，确定每个单词应如何发音，然后同时使用神经模型和声码器生成语音音频。

TTS 大致可分为两个阶段：

  • 前端：系统将文本转换为 TTS 引擎能够处理的数学形式。
  • 后端：系统接收第一阶段的输出，并将其转换为模拟语音的波形。

下面我们更详细地拆解 TTS 工作原理的各个组成部分。

文本归一化与语言分析

TTS 流程的第一步是自然语言处理（NLP）：清理、分词并消歧原始文本输入。它将文本拆分为 token，即 TTS 引擎可以操作的书面语言单个单元。一个 token 可能是一个完整的单词、一个“子词”单元或标点符号。

文本中常常包含完整单词以外的符号，例如缩写和数字。TTS 引擎还需要确定如何读出这些内容。例如，TTS 引擎读取“$11”，并将该文本转换为“eleven dollars”的发音。

语义与韵律

韵律 是语音的音高和节奏，正是它让 TTS 听起来自然。在处理文本时，引擎还会生成一层韵律信息，将重音和语调的变化映射到文本上，使其听起来更自然。

TTS 引擎还需要根据上下文调整其文本到语音的发音。它会以向量表示的形式汇集这些信息，即映射单词和短语之间语义相似度的数值数据。可以把它想象成一个 X-Y 图，其中一条线沿着多个不同的点绘制，但映射的维度远不止两个。

一个具体的例子是同形异义词。同形异义词，即拼写相同但含义不同的词，有时需要不同的发音。TTS 引擎在朗读时需要识别每个词应使用的语调与重音。例如，在句子“The soldier wanted to desert his unit by hiding in the desert.”中，如何读出字素“desert”。

TTS uses context to pronounce “desert” differently as a verb and noun.

观看 Eleven v4 生动呈现这个示例。

士兵想藏在沙漠里以逃离他的部队。0:00

声学建模与波形（语音）合成

TTS 引擎接收分词后的信息和上下文向量（这些现在都是数值数据），并将它们转换为声学表示，例如梅尔频谱图。这包括不同的频率、能量水平以及大脑会解读为情感的声音。过去曾使用许多不同的系统来执行这一功能，但如今神经模型是其中最有效的。

最后一步使用声码器将这些频谱图转换为人类听众能识别为语音的音频。这一过程称为波形生成。

TTS 实际工作方式：一个完整示例

了解 TTS 各阶段如何衔接的最简单方法，是让一个句子走完整个流程。

以文本“Mr. Ríos paid $11 on 10/06.”为例。

  1. 归一化：引擎将“Mr.”扩展为“Mister”，将“$11”读作“eleven dollars”，并根据区域设置和上下文判断“10/06”是“October sixth”还是“the tenth of June”。
  2. 分词与上下文：清洗后的文本被拆分为 token，并转换为能够捕捉词语之间关系的向量。
  3. 韵律：引擎在“eleven dollars”上加重音，在日期前加入短暂停顿，并让音高在句末下降。
  4. 声学模型：神经模型将 token 和韵律方案转换为描述声音随时间变化的梅尔频谱图。
  5. 声码器：声码器将频谱图转换为最终你听到的音频波形。

每个阶段都会把更详细的方案交给下一阶段，这就是为什么流程早期的错误（例如日期读错）会一直传递到最终音频中。

Infographic showing a text-to-audio pipeline and how a misread date carries into speech.

为什么神经文本转语音听起来更像真人？

神经语音合成擅长生成自然、清晰可懂的语音，而这正是 工程师用来评估 TTS 引擎的两项品质神经 TTS 的工作原理是训练深度神经网络（DNN）根据文本输入生成语音。你需要在大量录制的语音及其对应文本上训练该 DNN。

神经语音合成引擎 只是企业级 TTS 的最新迭代。在它们之前，商用合成技术已经历了两代。

共振峰合成是 20 世纪 70 年代和 80 年代的主流模式。它并不采样人类语音用于运行时输出，而是生成模拟语音的合成声音。它清晰可懂，但单调且 听起来像机器人.

从 20 世纪 90 年代到 2010 年代，拼接合成占据主导地位，听起来比早期的共振峰系统更自然。它们不是根据数学规则生成音调，而是将小段人类语音样本拼接在一起。这些系统使用语言查找表将归一化文本与声音匹配，然后从庞大的库（即“语料库”）中提取小段拼接语音音频并输出。虽然听起来比共振峰引擎生成的语音更自然，但拼接仍可能让语音听起来断断续续或支离破碎。

Comparison of three text-to-speech generations: formant, concatenative, and neural.

AI 语音生成器与文本转语音有什么区别？

“AI 语音生成器”是营销中常用来描述包括文本转语音在内的广泛语音技术的术语。文本转语音特指以书面文本为输入、对其语义和韵律进行建模并输出音频波形的系统。

AI语音生成器是一个由相互关联的语音技术构成的完整生态系统，包括TTS以及其他用于 语音设计, 语音克隆和语音风格转换的生成式系统。虽然在营销中它常被当作文本转语音的同义词使用，但AI语音生成器最好被视为更广泛的生成式语音工具类别的术语，而TTS正是其中的一部分。

如何将文本转语音用于内容、无障碍和支持

文本转语音模型已成为世界各地工作流程的核心部分，无论是在个人领域还是商业领域。 

以下是文本转语音的一些主要用例。

Text-to-speech uses in content, accessibility, and support; Klarna cut resolution time 10x.

内容创作

文本转语音工具可以帮助降低大规模媒体制作的成本，并减少在录音棚中进行旁白录制和后期补录所花费的时间。 

示例用例包括：

例如， TAP 使用 ElevenLabs TTS 为印度各地的学校扩展教育内容。 用于印度各地的学校。

无障碍

文本转语音是使用最广泛的辅助技术之一，因为它让人们可以通过聆听来获取书面内容。自然语音可提高听众的参与度，并减少聆听长篇材料时的精神疲劳。 

常见的 TTS 无障碍 用途包括：

  • 屏幕阅读器：使用屏幕阅读器并配合 TTS 朗读整个页面。
  • 阅读障碍与读写支持：通过TTS语音伴随阅读会话，减轻阅读负担。
  • 低视力与失明：屏幕阅读器会朗读界面元素和页面内容，因此人们无需看屏幕就能操作软件和浏览网站。
  • 认知与注意力差异：聆听文本可以降低阅读长文档的费力程度，并让人更容易保持专注。
  • 学习与语言学习：学生可以听到新词汇的正确发音，并能在通勤或学习时收听教材。

屏幕阅读器是完整的无障碍工具，会描述屏幕上的所有内容，包括按钮和菜单。朗读工具则专注于朗读内容本身，通常配有跟随朗读的高亮显示；由于人们会长时间使用它们，因此更自然的声音会带来更好的体验。

客户支持

当神经语音合成与具备智能体交互能力的大语言模型（LLM）配合使用时，可以提供高质量的客户体验。ElevenAgents 等平台将语音层与语音识别、LLM 以及 连接工具 让智能体理解来电者的需求，并以自然的声音作出回应。

使用 ElevenAgents 构建的智能体可在电话、网页、 WhatsApp、电子邮件和短信中工作，让客户能够跨渠道继续对话而无需重复说明。示例用例包括：

  • 双向语音 AI 智能体：通过从知识库中回答问题或将客户引导至特定流程（如退款或购买）来处理实时对话。
  • 交互式语音应答（IVR）系统：用客户可以自然说话的对话，取代过时的“按 3 联系销售”菜单树。
  • 多语言支持：通过单一智能体设置，用客户自己的语言为他们提供服务。

例如，Klarna 缩短了 借助 ElevenAgents 将解决时间缩短至原来的十分之一

文本转语音引擎如何控制发音？

现代神经语音合成引擎能够生成听起来非常自然的语音，但像人类语言这样广泛、深入且动态变化的事物中，边缘情况总是存在的。你可能希望在生成的语音中保留口音、俚语或地区发音。你可能在为某个对技术术语有独特发音的行业制作音频。你可能只是希望你的品牌名称以非常特定、一致的方式发音。

Comparison: dictionary for recurring terms; inline IPA for one-off names.

发音词典与音素覆盖

ElevenLabs 的 ElevenAPI 包含一个 发音词典 ，让你可以自定义引擎的发音方式。你需要在 W3C 标准的发音词典规范（PLS）文件中构建一个词典，将字素（文本中的符号）映射到 音素 （口语单词被分解为音素）。当 TTS 引擎遇到所列字素之一时，它会覆盖其训练所得的发音，改用词典中的音素发音。

你可以在 ElevenAPI 中学习如何构建发音词典，具体方法请参阅 使用发音词典 文档。

原生 IPA 与音素提示

一些 TTS 模型还可以识别直接嵌入文本输入中的行内发音标签。因此，如果你只想在一两个音频片段中调整发音，而不必构建账户级词典，就可以在文本中用 标准 IPA 标注例如，如果你正在录制有声书，并希望某个虚构角色的名字以特定方式发音。

常见的文本转语音挑战及其应对方法

即便是最强大的 TTS 模型，也可能难以处理人类语言的细微之处。两个最常见的问题是生僻词发音错误和语音单调。以下是如何解决这些问题。

Slide lists TTS challenges and fixes for jargon, names, monotony, and rhythm.

生僻词、行话和专有名词的发音错误

TTS 引擎使用算法，根据训练数据中字素到音素的映射关系，预测归一化后的文本应如何发音。它们会根据所摄入的文本和上下文做出最佳猜测。但正如我们在上一节所讨论的，在许多边缘情况下，你会希望某个词以非常特定的方式发音。

对于这些边缘情况，发音词典或针对性的 IPA 标签将是你最好的工具。如果你有一个经常重复出现、希望其发音保持一致的术语，词典是最佳解决方案。如果你只是想对少数几个术语做针对性调整，请使用音素 IPA 标签。

单调的语音输出

当处理较长的脚本、同一单词或短语被反复说出时，这些问题最为常见。引擎合成的语音在10秒的短音频片段中可能听起来很棒，但在45分钟的讲座中听到同样机械的发音和节奏模式，很快就会让听者感到疲劳。

在脚本中变换措辞，并明智地使用音标标签来定期改变发音。利用情感和节奏提示，使语音输出更具动态感，随着不同的叙事节拍起伏。 使语音输出更具动态感，随着不同的叙事节拍起伏。

使用文本转语音 API 打造自然的语音体验

轻量级网页工具非常适合制作小型音频片段，但无法很好地扩展到更大的业务需求。如果你要每分钟管理数千次客户交互，或生成高质量的长篇音频内容，就需要更强大的 TTS 工具。

像 ElevenAPI 这样的文本转语音 API 可让你将软件直接连接到神经语音合成模型。你可以使用 REST 请求或持久 WebSocket 连接，按需大规模地为智能体或其他用途生成音频。 

文本转语音 API 请求是如何工作的

尽管模型很复杂，但开发者的使用流程却易于理解、便于上手。

使用 ElevenAPI，你可以将文本转语音集成到你的应用中，只需几分钟：发送请求：你的应用使用 API 密钥将文本、语音 ID 和模型 ID 发送到 API。生成：模型运行上述流水线，从归一化一直到 vocoder。接收音频：API 返回完成的音频文件，或以分块方式流式返回，以便在生成完成前就开始播放。播放或存储：你的应用实时播放音频、保存音频，或将其传递给另一个系统，例如电话线 将文本转语音集成到你的应用中 只需几分钟：

  1. 发送请求：你的应用使用 API 密钥将文本、语音 ID 和模型 ID 发送到 API。
  2. 生成：模型运行上述流水线，从归一化一直到 vocoder。
  3. 接收音频：API 返回完成的音频文件，或以分块方式流式返回，以便在生成完成前就开始播放。
  4. 播放或存储：你的应用实时播放音频、将其保存，或将其传递给另一个系统，例如电话线。

无论你使用 REST 处理已完成的文件，还是使用 WebSockets 进行实时流式传输，流程都相同，下文介绍的 SDK 会为你封装这些调用。

Four-step TTS API flow: send, generate, receive audio, then play or store it.

开发者需要考量的架构因素

根据你的使用场景，你可能需要在处理速度、音频保真度、网络延迟与协议以及集成能力之间权衡取舍。

延迟与保真度

要让对话式智能体听起来自然，你应当力求实现 约100毫秒的首音频延迟这意味着要尽可能降低整个网络以及到 TTS 引擎的延迟。这里需要考虑的是，在该约束条件下，你能够从智能体架构中获得的音频输出质量。

相反，当你制作播客或讲座等长音频内容时，延迟就没那么重要了。此时你不需要尽量降低延迟，而是要尽量提高高保真输出。

流式传输协议

用于 API 连接的协议也会影响延迟和性能。WebSocket 支持真正的双向音频流式传输，这意味着你可以一次处理一块文本，而不必等待整个输入流渲染完成。播放可以在第一批数据块上就开始，而 TTS 引擎仍在处理后续数据块。SDK 企业级文本转语音 API（如 ElevenAPI）提供适用于 Python 和 TypeScript/JavaScript 的完整软件开发工具包（SDK），以及 REST API，帮助你快速搭建新架构。使用它们可以减少开发团队的集成开销。开始使用 Eleve 双向音频流式传输，这意味着你可以一次处理一块文本，而不必等待整个输入流渲染完成。播放可以在第一批数据块上就开始，而 TTS 引擎仍在处理后续数据块。

SDK

企业级文本转语音 API（如 ElevenAPI）提供完整的 软件开发工具包 （SDK），适用于 Python 和 TypeScript/JavaScript以及 REST API，帮助你快速搭建新架构。使用它们可以减少开发团队的集成开销。

开始使用 ElevenAPI 进行文本转语音

由领先语音模型进行的自然 TTS 合成可生成高质量音频输出，供你的智能体和音频制作使用，以保持听众的参与度。 制作 无论是想寻找高质量的对话式智能体来支持客户工作流，还是想将 TTS 集成到你的应用中，ElevenLabs 都能提供解决方案。

立即开始，使用以下方式制作你自己的高保真音频： ElevenAPI， 或了解更多关于 ElevenAgents.

常见问题

现代文本转语音就是人工智能。神经 TTS 引擎使用深度神经网络，这些网络基于大量录制的语音和对应文本进行训练，从而能够生成自然的节奏、重音和情感。较早的共振峰和拼接式系统基于规则或样本，并未使用神经网络。

AI 文本转语音使用神经网络，根据从录制语音中学到的模式来预测一段文本听起来应该是什么样。网络会估计句子每个部分的音高、时长和能量，然后由声码器将该估计转换为音频。由于它对上下文进行建模，因此在处理同形异义词和疑问句方面远胜于旧系统。

最快的方法是将你的文本粘贴到 ElevenLabs 文本转语音 Web 应用，选择一种声音，然后生成音频。开发者可以使用 ElevenAPI 在自己的应用程序中完成同样的操作。

你可以在我们的文本转语音 Web 应用中免费试用 ElevenLabs 的各项功能。开发者可以查阅 ElevenAPI 的快速入门指南。

是的，它包含一个名为“讲述人”的功能，并提供可下载的自然语音用于设备端朗读（需要 Windows 11 22H2 或更高版本）。它还包含一个更新的高清语音包，可使用生成式 AI 进行神经语音合成。

需要注意的是，Windows 11 中的这些文本转语音工具属于无障碍工具，并非为媒体制作而设计。

现代 TTS 引擎虽然可靠，但如果不通过发音词典和音素标注进行定制，它们仍可能读错生僻词，或无法正确再现口音或方言。 发音词典 和音素标注。即便是最具表现力的 TTS 输出，与高度情绪化、富有表现力的人类表演之间仍存在差距。

文本转语音和语音转文本经常被混淆，因为它们互为镜像。

许多语音应用将两者结合使用：语音转文本将呼叫者的语音转换为文本，由 LLM 决定回复内容，再由文本转语音将回复朗读出来。 

作者：

Man smiling, wearing a checkered shirt against a plain background.

杰克·莱姆贝尔

增长营销

查看个人资料

Jack Limebear 就职于增长团队，担任博客和洞察页面的内容撰写者和策略师。在加入 ElevenLabs 之前，他花了超过十年时间为各类组织主导内容战略，从快速增长的 SaaS 初创公司到《财富》500 强企业均有涉猎。他拥有剑桥大学英国文学硕士学位。

    相关文章

    以最高质量创建 AI 音频

    联系销售注册