←新闻详情

Analytics India Magazine更新于 10月28日 09:30

Maya Research 发布支持12种语言的开源权重语音模型 Maya 2 Native

Maya Research Releases Open-Weight Speech Model Supporting 12 Languages

AI 导读

Maya Research 发布开源权重文本转语音模型 Maya 2 Native,支持包括11种印度语言和英语在内的12种语言,采用 Apache 2.0 许可。模型支持实时音频流式输出,以 80 毫秒帧生成 24 kHz 单声道音频,并内置20种合成音色,可用约3至10秒参考音频进行声音克隆。本地运行需 NVIDIA GPU,文档建议单会话至少 12 GB 显存;模型卡也指出混合语言文本、URL、数字及部分跨语言音色组合存在局限,且未包含音频水印。

推荐理由

AI 评分 62

原文给出12种语言、实时流式与声音克隆的具体参数和限制,便于开发者判断本地部署门槛。

主题

标签

正文 · AI 翻译

Maya Research 发布了 Maya 2 Native,这是一个开放权重的文本转语音模型,可用 12 种语言生成语音,包括 11 种印度语言和英语。该模型支持实时音频流式传输和声音克隆,使开发者能够构建多语言语音应用。

此次发布让开发者可以使用一个能够生成语音、模仿参考声音并以另一种受支持语言生成音频的模型。Maya 2 Native 采用 Apache 2.0 许可,可集成到应用中或部署在合适的基础设施上,为构建语音助手和地区语言 AI 服务的开发者提供了一个选择。

Maya Research 的模型文档将该发布描述为“面向 11 种印度语言和英语的流式文本转语音”。该模型生成 24 kHz 单声道音频,并以 80 毫秒帧进行流式传输,使应用能够在生成继续进行的同时开始播放语音。

支持的语言包括阿萨姆语、孟加拉语、英语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语。该模型还包含 20 种内置合成音色,开发者可为不同应用选择使用。

Maya 2 Native 支持使用约 3 至 10 秒的参考音频片段进行声音克隆。开发者可以使用以一种语言录制的样本生成另一种受支持语言的语音。该模型的文档指出,克隆声音近似于参考声音,相似度和口音会因输出而异。

此次发布还包括推理代码以及面向 Python 的接口、一个兼容 OpenAI 的语音端点和 WebSocket 流式传输。其 Apache 2.0 许可证允许开发者使用和修改发布的模型及代码,但须遵守许可证条款。在本地运行该模型需要 NVIDIA GPU,文档建议单会话设置至少具备 12 GB 显存。

Maya Research 在 12 种语言的 6,000 个文本样本上对该模型进行了评估,生成了 20.3 小时的语音。三个自动语音识别系统评估了可懂度,字符错误率因语言和评估系统而异。文档报告称,印地语、马拉地语和古吉拉特语等若干语言的错误率较低,而阿萨姆语则面临更大挑战。

模型卡还指出了混合语言文本、URL、数字以及部分跨语言音色组合方面的局限。它未报告人类自然度研究,也未报告与其他文本转语音模型的受控比较。

该公司建议在克隆声音前获得许可,并向听众披露语音为合成语音,尤其是在通话和媒体中。此次发布不包含音频水印,需要开发者自行实施适当的同意、披露和滥用监测措施。

来源

Analytics India Magazine