微软在 Foundry 上线三款 MAI 语音模型

“我想你说的是‘人工客服’。”这是绕过自动语音识别聊天机器人最快的方式，这些机器人无法将人工来电者转接到他们需要的服务。能够转接到活生生的人工客服，仍然让人觉得是一种荣誉。

微软想要改变这种局面。

微软 Foundry 模型部门产品开发高级总监 Naomi Moneypenny 于 10 月 1 日发表博客，介绍了 Microsoft Foundry 中的三款新微软 AI（MAI）模型。Microsoft Foundry 是雷德蒙德的应用与智能体模型目录和平台。

“语音智能体不能只是听到请求并生成回复。它必须在倾听、推理、使用工具和说话的同时保持交互持续进行。任何一端的延迟都可能让对话变成一连串尴尬的停顿，”Moneypenny 写道。

目前已在 Microsoft Foundry 中可用的最新语音中心模型包括 MAI-Transcribe-2-Streaming，它能在语音被说出的同时将实时语音转为文本；MAI-Voice-2.1，一个富有表现力的多语言文本转语音模型；以及 MAI-Voice-2.1-Flash，针对响应迅速、高并发的语音应用进行了优化。

部分结果驱动增量语音识别

该技术（具备自动语言检测功能）不会等到一个人说完话才返回文本，而是在收到音频后的“低数百毫秒”内生成首批假设（称为部分结果，与增量语音识别领域相关）。随后，模型会随着更多上下文的到来不断修正这些部分结果，直到一句话结束后才确定稳定的转写文本。

“实时转写体验几乎可以在词语被说出的同时就将其呈现出来。”

“当应用需要在某人说话时采取行动，这种区别就很重要。客服智能体可以在句子尚未说完时就开始识别来电者的请求。语音助手可以更早开始推理或准备工具调用。实时转写体验几乎可以在词语被说出的同时就将其呈现出来，”Moneypenny 写道。

MAI-Voice-2.1-Flash 被认为是实时支持智能体、语音助手以及其他生成语音回复的应用的“天然之选”。Moneypenny 建议，当“表现力保真度”是优先考虑时，开发者可以选择 MAI-Voice-2.1；而当他们需要在大规模场景下平衡自然语音、响应速度和成本时，则可以选择 Flash。

Moneypenny 对目前的基准测试结果持乐观态度。她的文章指出，MAI-Transcribe-2-Streaming 在基于基准测试的 Artificial Analysis 排行榜上，在部分结果和最终转写两项准确率上均“首次登顶第一”。

语音该发声了吗？

话虽如此（双关语意在言外），这是否意味着在人机输入方式的整个谱系中，语音现在已经准备好被更广泛地使用和采用？语音智能体平台公司 Phonely 的 CEO Will Bodewes 告诉 The New Stack，他对这些进展持积极看法。

“如果微软进入市场能说明什么的话，那就是语音 AI 已经准备好进入主流了，”Bodewes 说。

不过，微软在语音领域绝非新手：Azure Speech 已在市场上存在多年，并且它提供了新的 MAI 模型。“对于 AI 开发者来说，这是一个在既有势头基础上继续构建的机会，因此预计会有更多参与者跟进。但模型只是开始。语音智能体需要从每一通电话中学习，并随着时间推移实现可衡量的改进。要让企业看到真正的成果，他们的语音 AI 必须在理论和实践中都准备好进入主流。”

“早期，向托管模型发出的语音请求可能会排在另外一千个请求后面等上 30 秒，而在电话通话中，这就意味着对方挂断。”

从基础设施运营的角度来看，这里有一个明显的进步。Bodewes 的公司构建了自己的语音智能体 LLM，他指出，在早期（他指的是从 2010 年代中期开始的初始云端语音 API 时代，例如 Google Cloud Speech-to-Text API、Azure Speech Services、Amazon Transcribe 等），向托管模型发出的语音请求可能会排在另外一千个请求后面等上 30 秒，而在电话通话中，这就意味着对方挂断。

“我们构建了路由基础设施，只是为了找到负载最低的端点。拥有模型就意味着拥有队列，这就是我们如何做到 120 毫秒响应的，”Bodewes 解释道。“你在提示词中每增加一句话，就增加了一次失败的机会。因此我们在代码中强制执行关键步骤。如果智能体在发放退款之前需要姓名、电子邮件和出生日期，代码库会保证这一点。把这件事交给 LLM 就是你在制造事故。”

前端（语音）并不是最难的部分

Phonely 的机器学习研究员 Amit Kiran Rege 告诉 The New Stack，他同意这些进展是积极的，但警告说在更广泛的推广中还有更深层的细微之处（再次双关语音）。

“微软交付了语音智能体流水线的两端，语音输入和语音输出，这说明它押注的是联络中心的级联效应，和我们一样。但在我们的工作中，我们发现两端并不是最难的部分。最难的部分是中间的沉默，模型要在那里判断来电者是说完了，还是在下一个词之前喘口气，”Rege 解释道。

Phonely 在将这类服务扩展到数百万次通话时发现，令人意外的是，加快数据流水线反而会让智能体更频繁地打断来电者。

“微软交付了语音智能体流水线的两端，语音输入和语音输出……但在我们的工作中，我们发现两端并不是最难的部分。”

“有三分之二的情况下，我们的智能体决定过早介入，却没有人听到，因为来电者在第一个音节发出之前就继续说话了，于是我们取消了回复。把延迟减半，这些就会变成听得见的打断。因此，教训是延迟和轮次切换必须同步改进，”Rege 提醒道。

畅谈未来界面

微软对这些技术的立场是，开发者可以采用这些相同的模型和工具集来构建客服智能体、能够识别一种口语并用一致的声音回复的多语言助手（微软将其定义为“在语言、说话者和会话练习之间切换的互动学习体验”），以及实时字幕和语音驱动界面。

微软的新语音 AI 能在你说完之前就开始弄明白你想要什么一文最初发表于 The New Stack。