人工智能
Amazon Polly 推出语音克隆功能:打造品牌专属声音Amazon Polly 语音克隆功能现已通过受限发布正式开放。只需向 Amazon Polly 提供几分钟的说话者录音,并确保说话者已同意克隆其声音,Amazon Polly 就能以该说话者的声音创建您的专属克隆语音。克隆语音由 Amazon Polly 生成式引擎驱动,其自然度和准确性与其他生成式语音相近。Amazon Polly 语音克隆首批支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。每个克隆语音只能使用录制时所用的语言。克隆语音会自动加密并实施访问控制:只有您能访问自己的克隆语音。
Amazon Polly 语音克隆功能可在 Amazon Polly 生成式引擎支持的所有 AWS 区域使用,包括 AWS GovCloud(美国)区域。部分 Amazon Polly 客户已获准使用。其他客户可以联系其 AWS 客户团队,或 申请访问权限 以获得使用资格。
借助这项新增功能,您可以将语音克隆生命周期集成到 AWS 应用程序中。Amazon Polly 客户可以免费创建克隆语音,使用克隆语音则按使用量付费;详情请参阅 Amazon Polly 定价页面 。
亲耳聆听效果
点击播放:最初几秒是真实的说话者录音,随后由其克隆语音接替,说出他们从未录制过的内容。
- 从录音到 TTS 语音。 以下使用了几分钟由我们的科学负责人 Trevor 提供的源音频,以及由此生成的语音。
- 录音: “您好,我是科学团队的 Trevor。” 克隆语音: “第一句话是我的真实声音。这是用我的几分钟录音创建的克隆语音。它可以朗读您提供的任何文本。”
- 支持七种语言。 请听本文作者之一 Jonas 先在录音中说德语,再用他的克隆语音说德语:
- 录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(您好,我是 Jonas。这是我的真实声音。) 克隆语音: “Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(这就是我的克隆语音!同样的声音,全新的话语:这句话是我写的,但我从未录制过。)
- 可用于多种应用。 以下是 Trevor 从事一份他从未做过的新工作:扮演游戏中的非玩家角色。
- “是谁在过我的桥?哦,又是你。规矩和上次一样:答出我的谜语,否则就把三明治交出来。”
- 利用语音克隆扩充您的语音库。请收听 AWS 首席布道师 Jeff Barr 的这段音频样本:先是真实录音,然后是他的克隆语音。
- 录音: “您好,我是 Jeff,这就是我真实的声音。” 克隆语音: “这就是我的克隆语音朗读一句我从未录制过的话时的声音。”
- Hannah:先是真实录音,然后是她在客服热线中的克隆语音。
- 录音: “您好,我是 Hannah。这是我的真实声音。” 克隆语音: “感谢致电 AnyCompany。您的订单 4471 9902 今天发货,预计将在星期四上午 9 点至下午 1 点之间送达。您的确认码是 K-7-Q-2-X-9。”
- Joely:先是真实录音,然后是她的克隆语音讲解课程。
- 录音: “您好,我是 Joely,这就是我真实的声音。” 克隆语音: “在本模块中,我们将了解神经网络如何学习。首先,它会进行猜测。然后,它会衡量这个猜测的偏差有多大,并一点一点地进行调整。”
您可以构建什么
跨渠道保持一致的品牌声音
建立一种易于识别的声音,并将其用于交互式语音应答(IVR)系统、级联语音代理、移动应用程序、店内广播、广告和联网设备。您无需依赖通用的现成语音,也不必在每次脚本发生变化时重新预约录音,而是可以按需生成符合品牌调性的音频,并确保所有渠道中的声音始终一致。
联络中心
在各种自助服务流程中提供独具特色且符合品牌调性的声音,并可随着优惠和政策的变化更新提示语,无需再次进入录音棚。您可以根据源文本创建提示语,在发布前进行测试,并在问候、路由和通知体验中使用相同的声音。
大规模媒体和内容制作
创作者、出版商和工作室可以使用多种自定义语音制作有声书、课程、播客、游戏角色和视频,以提升聆听体验,并快速制作后续章节或更新内容。
以一致的角色形象实现本地化
在整个内容库中保持易于识别的声音特征,使不同作品和更新内容中的旁白保持连贯。每个克隆语音只能使用录制时所用的语言。对于多语言体验,请为每种受支持的语言创建并审核获准使用的语音。
无障碍与个性化
为阅读体验、辅助工具和个性化交互提供自然且富有人声质感的语音。每次创建语音时,您都需要确认已获得说话者的同意。
语音克隆的工作原理
借助语音克隆,您可以根据单个说话者的录音创建自定义 Amazon Polly 语音,然后通过 Amazon Polly 生成式引擎以该语音合成语音内容。从录制说话者声音到使用最终语音,整个流程分为四个步骤:
图 1:语音克隆生命周期,从录制说话者声音到使用最终语音
克隆语音需要经过四个步骤:
- 录制。 录制一位说话者的声音(请参阅下文的录音提示)。您可以直接在
CreateVoice请求中发送录音,也可以在控制台上传录音。您还可以将录音存储在希望创建语音的 AWS 区域内的 Amazon Simple Storage Service(Amazon S3)存储桶中,并让 Amazon Polly 从中读取。 - 创建。 您调用
CreateVoice,提供 1 至 10 段录音及其所用语言,并设置TermsAccepted=True,以确认您已获得说话者的同意。Amazon Polly 会立即返回语音 ID(vc-…),并在后台创建该语音。 - 等待。 语音创建以异步方式进行,通常需要 5 至 10 分钟。在此期间,Amazon Polly 还会检查您的文本转语音(TTS)语音质量,以评估与说话者的相似度。您调用
GetVoice,直到状态从pending变为active或failed. - 使用。 您将语音 ID 传递给
SynthesizeSpeech以生成实时音频,或传递给StartSpeechSynthesisTask以生成写入 S3 的长篇音频,并设置Engine="generative",调用方式与 Amazon Polly 中的其他生成式语音相同。当您不再需要该语音时,调用DeleteVoice.
同意与控制
克隆语音由一个人的录音创建。您需要确认已获得说话者对所有录音的同意,并确保由您控制谁可以使用该语音以及何时将其删除。
- 您需要为创建的每个语音确认已获得同意。在控制台中或通过
TermsAccepted=TrueAPI 创建语音时,您需要确认已获得创建和使用该克隆语音所需的一切权利和同意。您对语音克隆功能的使用须遵守 AWS 服务条款、 生物识别通知与同意条款、 AWS 负责任人工智能政策以及 AWS 可接受使用政策. - 生成的语音带有水印。Amazon Polly 会为使用克隆语音生成的文本转语音音频添加水印。
- 只有您的账户可以使用该语音。克隆语音仅限创建它的 AWS 账户使用,您可以通过 AWS Identity and Access Management(IAM)控制访问权限。您还可以使用自己的 AWS Key Management Service(AWS KMS)密钥加密语音并为其添加标签。
- 您可以决定何时将其删除。只需一次
DeleteVoice调用或通过控制台即可删除语音,但须在语音处于活动状态或创建失败后进行。 - Amazon Polly 在语音创建完成后不会保留您的语音录音副本,也不会使用这些录音训练 Amazon Polly 模型。它只会保留合成语音所需的语音数据,并对其进行加密存储。您可以使用自己的 AWS KMS 密钥进行加密,而且
DeleteVoice会立即删除这些数据。
我们建议您:
- 记录每位说话者的同意情况。
- 如果说话者撤回同意,请删除该语音。
- 在适当情况下,告知听众他们听到的是合成语音。
- 仅向确有需要的人员和系统授予语音权限。
有关预期用途和限制的详细信息,请参阅 Amazon Polly AI 服务卡 以及 AWS 负责任使用人工智能 指南。
录音最佳实践
克隆语音会从录音中学习,包括您不希望它学习的部分:笔记本电脑风扇声、房间回声以及会议应用的噪声过滤效果。
- 录制两到十分钟的自然语音,并拆分为每段不超过一分钟的录音。每个语音最多可提交 10 段录音,音频总时长最多为 15 分钟。质量比时长更重要:增加音频可能不会改变语音的听感。
- 仅由一人录音,使用安静的房间,并始终与麦克风保持相同距离。使用 USB 麦克风,或可录制 WAV 的手机应用。从一开始就以单声道 WAV、16 位、24 kHz 录制,这样之后无需进行任何转换。Amazon Polly 也接受其他音频格式,但我们建议使用 WAV。请参阅 Amazon Polly 开发人员指南 ,了解支持的格式和限制。
- 避免使用会议应用和浏览器录音工具。它们的回声消除和噪声抑制功能会改变声音,而克隆语音也会学习这些变化。
- 每段录音都应采用您希望语音呈现的风格。克隆语音的风格取自录音,且无法融合多种风格,因此分别录制欢快、悲伤和愤怒的语音,并不能让克隆语音同时具备这三种风格。
- 请使用该语音需要说的语言进行录制。语音克隆已使用美国英语、德语、美国西班牙语、法语、意大利语、巴西葡萄牙语和印地语录音进行测试。这些语言的其他口音(例如英国英语或加拿大法语)也可以使用,但测试较少,因此请使用您自己的内容检查语音效果。
入门
在控制台上: 为您的账户启用语音克隆功能后(请参阅“可用性”),展开左侧面板并选择 语音克隆,上传最多 10 段录音或从 Amazon S3 中选择录音,确认条款,然后选择“ 创建”。每个上传文件最大可为 5 MB。语音准备就绪后,可在其详细信息页面试听。
在代码中,您需要:
- 最新版本的 boto3(
pip install --upgrade boto3). - 以下操作的 IAM 权限:
polly:CreateVoice,polly:GetVoice,polly:DescribeVoices,polly:SynthesizeSpeech以及polly:DeleteVoice。对于长篇音频,还需要polly:StartSpeechSynthesisTask,polly:GetSpeechSynthesisTask以及s3:PutObject(针对输出存储桶)。 - 对于以下 Amazon S3 示例:您的录音应存放在您创建语音所在 Region 的存储桶中,并具有
s3:GetObject调用该操作的 IAM 角色或用户所需的 权限CreateVoice.
import time
import boto3
# Use the Region of your S3 recordings.
polly = boto3.client("polly", region_name="us-east-1")
# 1. Create a voice from recordings of a speaker who has given consent.
# Use 1-10 clean WAV takes of up to a minute each.
takes = [
"s3://amzn-s3-demo-bucket/brand-voice/take-1.wav",
"s3://amzn-s3-demo-bucket/brand-voice/take-2.wav",
"s3://amzn-s3-demo-bucket/brand-voice/take-3.wav",
]
voice = polly.create_voice(
Name="MyBrandVoice", # letters, digits, - and _, up to 64 characters
LanguageCode="en-US", # the language spoken in the recordings
TermsAccepted=True, # you confirm the speaker's consent and the terms of use
VoiceCreationData={
"Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes],
},
Tags={"consent-record": "speaker-0042"}, # optional: the ID of your own consent record, e.g. a signed release
# Optional: encrypt the voice with your own KMS key (symmetric, same Region).
# Callers who create or use the voice need kms:DescribeKey,
# kms:GenerateDataKey and kms:Decrypt on the key.
# CustomerManagedEncryption={
# "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333:key/EXAMPLE"
# },
)["Voice"]
voice_id = voice["Id"] # for example "vc-0123456789"
# 2. Check the status every 30 seconds until the voice is active or failed
# (usually a few minutes). Stop with an error after 20 minutes.
deadline = time.monotonic() + 20 * 60
while voice["Status"] not in ("active", "failed"):
if time.monotonic() > deadline:
raise TimeoutError(f"{voice_id} is still {voice['Status']}")
time.sleep(30)
voice = polly.get_voice(VoiceId=voice_id)["Voice"]
if voice["Status"] == "failed":
# Check the recordings, delete this voice and create a new one.
raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}")
# 3. Synthesize speech with your new voice.
speech = polly.synthesize_speech(
VoiceId=voice_id,
Engine="generative",
LanguageCode="en-US",
OutputFormat="mp3",
Text="Hello! This is my very own Amazon Polly voice.",
)
with open("my-voice.mp3", "wb") as f:
f.write(speech["AudioStream"].read())
# When you no longer need the voice:
# polly.delete_voice(VoiceId=voice_id)
如果 Python 报告该 Polly 对象没有该属性 create_voice,请升级 boto3。
对于有声书章节或课程模块等长文本,请使用异步合成任务,将音频写入 Amazon S3:
from pathlib import Path
task = polly.start_speech_synthesis_task(
VoiceId=voice_id,
Engine="generative",
LanguageCode="en-US",
OutputFormat="mp3",
OutputS3BucketName="amzn-s3-demo-bucket",
OutputS3KeyPrefix="narration/chapter-01",
Text=Path("chapter-01.txt").read_text(encoding="utf-8"),
# SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks", # notify instead of polling
)["SynthesisTask"]
print(task["TaskId"], task["OutputUri"]) # poll get_speech_synthesis_task until "completed" or "failed"
如需了解更多可使用 Amazon Polly 构建的端到端语音 AI 应用(包括语音克隆功能),例如级联式语音智能体和实时语音翻译器,请前往 Amazon Polly GitHub 代码仓库.
生产环境注意事项
提前创建语音
语音创建需要几分钟,因此应将其视为配置流程中的一个步骤,而不是用户请求的一部分。一个小型工作流(例如 AWS Step Functions 或作业队列)可以调用 CreateVoice,检查 GetVoice 每 30 秒检查一次,直到语音处于活动状态,然后将语音 ID 存储在您的配置中。 CreateVoice 和 DeleteVoice 共享每秒 1 个请求的限制,因此请将批量创建和删除操作排队处理。
维护清单
DescribeVoices 会将您克隆的语音与 Amazon Polly 内置的语音一起列出。克隆的语音具有 Origin 设置为 customer。存储每个语音的语音 ID、Region、语言、同意书引用和所有者,并为每个语音提供唯一的 Name。如果某个 CreateVoice 调用超时或返回服务器错误,该语音可能已经存在,而 SDK 的自动重试可能会创建第二个语音。请先检查 DescribeVoices 该名称是否已存在,然后再重试。
制定错误处理方案
CreateVoice 会返回 ThrottlingException 当您超过它与 共享的每秒 1 个请求的限制时, DeleteVoice,以及 ServiceQuotaExceededException 当账户在该 Region 中已达到克隆语音配额时。使用仍在创建中的语音进行合成或将其删除会返回 ConflictException。如果语音使用您自己的 KMS 密钥,则无权访问该密钥的调用方会收到访问被拒绝错误。创建失败时, StatusReason 只会给出一条常规消息,因此请根据前述录音最佳实践检查录音,然后删除失败的语音并创建一个新语音。
将权限限定到特定语音
克隆语音属于 IAM 资源,因此您可以授予负责处理流量的角色使用指定语音进行合成的权限。如果该语音使用您自己的 KMS 密钥,则该角色还需要拥有该密钥的访问权限。请保留 polly:CreateVoice 和 polly:DeleteVoice ,供单独的配置角色使用。以下是服务角色的策略示例:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "polly:SynthesizeSpeech",
"Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789"
}
]
}
借助标签,您可以使用 条件为整组语音只编写一次相同的规则。 aws:ResourceTag 条件。也请检查您现有的策略:允许在所有资源(*)上执行操作的语句也会涵盖账户中的每个克隆语音。 polly:SynthesizeSpeech 在所有资源("Resource": "*")的语句也会涵盖账户中的每个克隆语音。
规划配额和 Region
每个账户在每个 Region 的初始配额为 10 个克隆语音。如需申请提高配额,请联系您的客户团队或 AWS Support。语音仅存在于创建它的账户和 Region 中。要为其他 Region 或账户提供服务,请使用相同的录音在该 Region 中重新创建语音,并确保说话者的同意涵盖每个副本。
使用真实脚本进行测试
在语音正式上线之前,请先试听它朗读您自己的内容:产品名称、数字、地址,以及您使用的最长句子。同一段文本在不同请求中生成的结果可能略有差异。对于电话线路问候语等固定提示,请只生成一次音频,经说话者和您的品牌团队批准后,提供存储的文件。如果某个名称或术语的发音不正确,请在文本中改用其他拼写方式,或使用语音合成标记语言(SSML) <phoneme> 标签。音素标签适用于英语、法语、意大利语、德语和西班牙语的克隆语音。请参阅 支持的 SSML 标签.
须知事项
| 可用性 | 访问权限按 AWS 账户启用。如果您在 Amazon Polly 控制台中看到“语音克隆”(展开左侧面板,查看是否列出了“语音克隆”),则表示您的账户已启用该功能。否则,您可以联系您的 AWS 客户团队或 申请访问权限 。支持的 AWS Region 与生成引擎相同:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)以及 AWS GovCloud(美国西部)。克隆语音仅存在于创建它的 AWS Region 中。 |
| 语言 | 英语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。经过测试的录音区域设置包括:美国英语(en-US)、德语(de-DE)、美国西班牙语(es-US)、法语(fr-FR)、意大利语(it-IT)、巴西葡萄牙语(pt-BR),以及印地语(hi-IN)。这些语言的其他口音也可使用,但测试较少。每种语音均使用录制时所用的语言。 |
| 录音 | 每种语音需要 1-10 段录音,总时长最多 15 分钟。建议使用 WAV 格式:单声道、16 位、24 kHz 或 44.1/48 kHz。Amazon Polly 也接受其他音频格式。通过控制台上传时,每个文件不得超过 5 MB。对于更大的文件,请使用 Amazon S3。 |
| 数据处理 | Amazon Polly 会在语音创建后删除其保存的录音副本,并且不会使用这些录音训练 Amazon Polly 模型。它仅保留语音合成所需的语音数据,并以加密方式存储(您可以使用自己的 AWS KMS 密钥),直到您调用 DeleteVoice. |
| 创建时间 | 通常需要 5-10 分钟以异步方式创建 TTS 语音。 |
| 合成延迟 | 与 Amazon Polly 中的生成式语音相同。 |
| 配额 | 初始配额为每个账户在每个 AWS Region 中可拥有 10 个克隆语音。如需提高配额,请联系 AWS Support。 CreateVoice 和 DeleteVoice 共享每秒 1 个请求的限额。 |
| 合成 | 克隆语音遵循 Amazon Polly 的生成式语音配额,包括每次请求和每个合成任务的文本长度限制。请参阅 Amazon Polly 配额. |
| 定价 | 创建克隆语音是免费的。Amazon Polly 对克隆语音的使用采用按量付费模式收费。请参阅 Amazon Polly 定价. |
| API | CreateVoice, GetVoice, DeleteVoice 和 DescribeVoices 来管理语音。 SynthesizeSpeech 以及 StartSpeechSynthesisTask 与 Engine="generative" 来使用它们。请参阅 Amazon Polly API 参考. |
结论
Amazon Polly 中的语音克隆功能可为您的应用程序提供人们熟悉的声音:只需在获得说话者同意的情况下录制一次,即可通过 Amazon Polly API 使用。要在控制台上开始使用,请确保您的账户已启用语音克隆功能,准备好录音和所需的同意声明,然后打开 Amazon Polly 控制台,然后创建您的第一个克隆语音。如果您是新客户并希望启用语音克隆功能,请联系您的 AWS 客户团队,或 申请访问权限 以获取访问权限。
有关开发者指南,请参阅 Amazon Polly 文档。有关定价,请参阅 Amazon Polly 定价页面。如需了解更多可使用 Amazon Polly 构建的语音 AI 用例(包括语音克隆),请查看该 GitHub 仓库.
我们迫不及待地想看看您会打造出什么。
感谢 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 为我们献声。
AI 热点