AI 热点

OpenAI 详解如何为 GPT-Live 配置多语言与地域口音

OpenAI Developers更新于 11月20日 04:11

Prompting GPT-Live for languages and regional accents | OpenAI Developers

AI 导读

OpenAI 介绍了如何通过内置语音、prompt-to-voice、script_hint 和会话指令,让 GPT-Live 更贴合不同语言与地域口音。文章以印度英语、西班牙卡斯蒂利亚口音和迪拜阿拉伯语为例,并建议用真实对话、数字、专有名词、语言切换及纠错场景测试语音。对于生成语音,开发者还需取得说话者明确同意、披露 AI 生成属性,并注意语音创建不适用于 Zero Data Retention。

推荐理由

精选AI 评分 69

文章把地域口音设计拆解为语音选择、会话提示与真实场景测试,可迁移到多语言语音智能体开发。

主题

标签

正文 · AI 翻译

即使语音智能体会说西班牙语,听起来仍可能不符合目标受众的习惯。它可能带有其他地区的口音、使用显得过于正式的措辞,或以当地人意想不到的方式读出价格。

虽然 GPT-Live 的默认选项已经能满足许多需求,但在为不同语言和地区的受众构建语音应用时,还需要考虑其他因素。下面我们将以印度英语、西班牙西班牙语和阿联酋阿拉伯语等地域变体为例,看看如何通过语音选择和会话指令获得更好的效果。

从合适的语音开始

首先,查看 GPT-Live 的内置语音。其中一些可能已经带有接近你需求的语言或地域特征:例如,Bossa 和 Tempo 带有巴西葡萄牙语特征,而 Nira 是一种印地语语音。在设计新语音之前,请先用你自己的对话测试这些语音,因为内置语音无需额外配置便具有很高的自然度。

查找内置语音:按语言、地域特征和声音呈现方式划分的其他 GPT-Live 语音

语言/地域特征 女性化 男性化

澳大利亚英语 Quartz(生成来源) Ripple(自然来源)

英国英语 — Vesper(自然来源)

爱尔兰英语 Willow(自然来源) Stone(自然来源)

北美英语 Gleam(自然来源) Meridian(自然来源)

菲律宾英语 — Beacon(生成来源)

美国南部英语 Delta(生成来源) Cinder(生成来源)

巴西葡萄牙语 Bossa(自然来源) Tempo(自然来源)

德语 Nuri(自然来源) Juni(自然来源) Flitz(自然来源)

法语 Brise(自然来源) Sillage(自然来源)

印地语 Nira(自然来源) —

日语 Harema(自然来源) Shida(自然来源)

韩语 Noeul(自然来源) — 自然来源 生成来源

选择内置语音时,请使用小写的 API 名称(例如 nira)。语音选项指南中提供了当前完整的语音目录。

如果你需要更具体的地域音色,可以使用 prompt-to-voice,根据文本描述生成合成语音。请尽可能准确地描述地区,以及所需的音高、语速和声音特点。生成语音时,可以使用 script_hint 字段添加目标语言的代表性语音文本;对于双语语音,请在示例文本中同时包含两种语言,并描述每种语言所需的声音效果。请使用原创的成人声音,不要模仿真实人物。请参阅负责任使用指南。

符合条件的客户还可以使用已同意授权的说话者录音创建自定义语音。在选择基于录音的语音之前,请查看支持的模型和口音。上传前,请取得说话者的明确同意,并获得在应用中使用这些录音及其生成语音所需的权利。授权同意录音和参考样本必须来自同一位说话者。对于任何生成语音,都应向听众明确说明他们听到的是 AI 生成的语音。

语音创建不适用于 Zero Data Retention。有关 GPT-Live 会话适用的设置,请参阅数据控制指南。

示例:使用 Nira 实现带有印地语特征的英语

对于面向印度用户的英语语音智能体,在创建会话时将 session.audio.output.voice 设置为 "nira",然后将以下提示添加到会话指令中:

你正在进行一场使用自然、清晰英语语音的对话。请用流利的英语交谈,并自然地带上受印地语影响的印度英语口音。全程保持这种熟悉的韵律。

示例:西班牙中部和北部的西班牙语

假设你正在为西班牙客户构建购物助手。与其要求一种笼统的西班牙语口音,不如打开语音 Playground,并在其 prompt-to-voice 工作流中尝试以下描述:

一种原创的成年女性声音,清晰而略显明亮,音高中等,带有温和的暖意。使用西班牙中部/北部自然、标准的伊比利亚卡斯蒂利亚口音说西班牙语,呈现地道的西班牙语元音、辅音、重音和句子旋律。自然地区分 s 与 z,以及位于 e 或 i 前的 c,但不要夸张。采用适度活泼的对话语速、自然的停顿和富于变化的语调。

为它搭配一段西班牙语 script_hint,为语音提供一些日常的连贯话语作为参考:

你好,最近怎么样?我来这里是为了帮助你。我们可以从容地查看各种选项,并选择最适合你的一个。你想先从颜色还是尺码开始?这件蓝色夹克与一双舒适的鞋子很搭。靠近窗户一些,以便在自然光下查看颜色。

使用该西班牙语示例复刻的语音 Playground 编辑器。

这里针对的是一种特定的西班牙语变体;提示中描述的这种发音区别并非在西班牙各地或整个西班牙语世界中都普遍存在。使用此提示,你可以生成若干候选语音,保留自己偏好的已保存语音,并用创建脚本中未出现过的新句子进行测试,直到满意为止。

示例:迪拜的阿联酋阿拉伯语

阿拉伯语是另一个仅说明语言名称仍会留下大量未明确细节的例子。若要获得适合迪拜日常对话的语音,可以使用如下阿拉伯语语音设计描述:

一种原创的虚构成年男性声音,带有当代迪拜城市居民的阿联酋口音。字音发音、言语动态和节奏都具有本地特色且协调一致,在连贯的日常话语中仍能保持吐字清晰。音高中等、略偏低,音色温暖而清澈。语速从容,整句话像一个完整的想法般自然推进,并根据语义变化语调。

该描述要求一种原创的成年男性声音,采用当代迪拜城市口音,音色温暖,音高略低,说话连贯而放松。还应使用一段对话式阿拉伯语 script_hint:

嗯,我看到你的消息了。我在公园这边,不对,我是说第二个门旁边的停车场这边。好吗?这里比我们昨天待的地方安静。你慢慢来,我也才刚到,没有什么急事。你想让我们走一走,还是坐下来?都可以,怎么舒服怎么来。

一般来说,语音设计应专注于声音本身。至于智能体是否应以阿联酋阿拉伯语回答说埃及方言的来电者、是否切换为英语,或是否确认订单等细节,则应放在会话指令中处理,我们稍后会介绍这一点。

用应用实际会说的内容测试语音

不过,拥有扎实的语音只是起点。有了语音之后,你可以使用全新的句子、真实的对话,以及应用最常处理的词语或数值,构建一个小型试听集,对语音进行压力测试。

以下几个边缘情况尤其值得测试:

语境中的发音:加入人名、地名、产品名称和专业词汇。例如,对于日语,可以向智能体提供「承る(うけたまわる)」这样的读法,并在完整的客服句子中进行测试。又或者,如果智能体把 Lakshmi 的结尾读成“my”而不是预期的“mee”,可以在会话指令中加入指导:लक्ष्मी — अंत में ‘क्ष्मी’, ‘क्ष्माई’ नहीं. 对于声调语言,应在多种句子语境中试听重要词语。

地区数字惯例:印度计数体系使用 lakh 和 crore。一个 lakh 是 1,00,000(100,000),一个 crore 是 1,00,00,000(10,000,000)。对于服务印度的英语智能体,如果预期采用这种惯例,应测试它是否会将 ₹1,25,000 读作“十万二万五千卢比”。

标识符与纠正:让来电者拼读一个虚构的预订代码,中途停顿并纠正其中一个字符。检查智能体是否会等待对方完成纠正,并准确复述最终代码。还应测试电子邮件地址及产品接受的其他字母数字输入。

混合语言话语:尝试一句包含英文产品名称和价格的阿拉伯语,然后在下一轮切换语言。分别检查口述金额、货币和产品名称,不要将其与口音混在一起评估。

对于日期、金额和标识符,除了验证来电者听到的内容,还要验证应用实际发送到后端的内容。在许多地区,04/05 可能表示两个不同的日期,因此可能值得要求对方澄清,并用月份名称复述日期。

为智能体提供对话提示

选定语音后,在创建 GPT-Live 会话时选择它。对于已保存的生成语音,请将 session.audio.output.voice.id 设置为返回的语音 ID。将智能体的角色、语言政策、表达方式和对话行为写入 instructions,并在其中再次强调原始语音描述。

对于单语言应用,请使用你希望智能体所说的语言来编写指令和示例。下面是西班牙语购物助手的一份起始提示:

你是一名购物助手。请使用西班牙的西班牙语,带有伊比利亚半岛中部和北部的卡斯蒂利亚口音,采用对话式节奏和自然语调。语气亲切且尊重他人,不要听起来像广告。

除非客户要求切换语言,否则请用西班牙语回答。每次只问一个问题。如果姓名或尺码不清楚,请让对方重复。在系统完成验证之前,不要确认价格、库存情况或订单变更。

对于多语言应用,需要确定什么情况会触发语言切换,以及底层的地区说话风格是否应保持不变。这是两个不同的选择。对于同时使用阿联酋阿拉伯语和英语的助手,应先在前面的语音描述中加入英语表达指导,例如:“说英语时,要自然地带一点阿联酋口音,同时保持相同的温暖感和偏低音高。”生成双语语音前,还应在 script_hint 中与阿拉伯语一起加入有代表性的英语话语,例如:“我可以帮你查看有哪些尺码可选。”然后使用如下会话政策:

使用来电者最近一次清晰话语所采用的语言回答。当来电者明确切换语言时,在阿拉伯语和英语之间切换。阿拉伯语句子中出现简短的“OK”、数字、姓名或英文产品名称,本身并不会改变对话语言。

说阿拉伯语时,即使来电者使用其他阿拉伯语变体,也应采用迪拜城市地区的日常阿联酋阿拉伯语。在适当情况下,优先使用自然的本地措辞:用 شو 表示“什么”,用 الحين 表示“现在”,用 وين 表示“哪里”,用 مب 表示否定。保持方言连贯,但不要夸张。说英语时,保持同一说话者身份。

将以下内容用作措辞示例,而不是固定答案:- 澄清:“你指的是小盒还是大盒?想要几盒?”- 姓名不清楚:“我没听清楚名字,可以再说一遍或给我拼一下吗?”

用当前对话所使用的语言说出金额,并准确保留金额数值和币种。只有在后端支持相关表述时,才能确认查询结果、价格或操作已完成。

本例特意让助手始终使用固定的阿拉伯语方言,同时允许切换到英语。如果你的产品需要适应来电者要求使用的方言,则应明确编写并测试相应政策。语音描述和会话提示虽能引导口音,却无法保证每次回复都能保持该口音,因此要测试两个方向的语言切换,包括会话重新连接后的切换。

提供所需语域的示例

确定语言和口音后,正式程度仍有选择空间。在印地语中,礼貌的客服人员可能会使用 आप 以及敬语动词形式。你可以在会话提示中具体说明这一偏好:

与客户交谈时使用“आप”。使用尊重对方的语言和动词形式。不要说“हाँ, बताओ”(嗯,说吧),而要说“जी, बताइए”(好的,请讲)。不要说“तुम कैसे हो?”(你好吗?),而要说“आप कैसे हैं?”(您好吗?)。

这些示例区分了随意的“嗯,说吧”和更礼貌的对应说法。与仅仅要求模型听起来专业相比,这能为模型提供更明确的目标。应使用当地客服人员实际会说的表达,并在具体语境中测试,而不是逐字翻译英文脚本。

如需进一步了解发音提示、个性、问候语和打断行为,请参阅 GPT-Live 提示指南。语音智能体评估指南介绍了如何把听辨测试用例转化为可重复的评估,以便在更换语音、提示或模型时进行测试。

来源

OpenAI Developers