Boson AI 联合创始人 Alex Smola 访谈：Higgs Realtime 与语音智能体

Alex Smola 是 Boson AI 的联合创始人，在那里从事对话式语音 AI 和多模态系统的研发。他的职业生涯横跨卡内基梅隆大学的学术研究和 AWS 的大规模 AI 项目。他将研究与产品经验相结合，用于构建能够理解对话线索、处理打断并完成有用工作的助手。

Boson AI 开发面向语音、音频和多模态交互的基础模型与工具。其 Higgs Realtime 模型支持实时语音到语音对话，而其更广泛的平台还包括富有表现力的语音生成、虚拟形象和企业语音智能体。在本次访谈中，Smola 讨论了对话智能、多语言性能、推理经济性，以及将语音智能体引入真实业务工作流所需的防护措施。

您的职业生涯从卡内基梅隆大学的学术研究，到领导 AWS 的大规模 AI 项目，再到如今联合创办 Boson AI。是什么促使您专注于对话式语音 AI，您希望克服人机交互中的哪些根本性局限？

人类的交流远不止于文字。你可以从某人的声音中听出不确定，或者看出他们没听懂某个解释。一声轻轻的应答就能告诉你继续说下去。我们不加思索地捕捉这些线索，但教计算机识别它们仍是一项进行中的工作。

这正是这个领域让我如此感兴趣的原因。我们现在拥有相当智能的系统，但与它们交流仍可能让人感到别扭。我希望人们能够用自己的话说明需求，而不必去琢磨如何与软件对话。

在 AWS，我学会了密切关注客户想要做什么，以及产品是否帮助他们做到了这一点。我们将这种方法带到了 Boson，同时随着研究的推进保有快速行动的自由。

语音和视频给了我们更多可用的信息。如果某人看起来困惑或犹豫，助手就有机会在对话偏离方向之前做出回应。把这些日常互动做对，是我们雄心的重要部分。

Boson AI 最近推出了 Higgs Realtime，旨在实现自然、实时的语音到语音交互。这种方法与传统上将语音识别、语言模型和文本转语音结合的系统相比，根本区别在哪里，为什么这一区别对 AI 助手的未来很重要？

在传统流水线中，语音识别把你的话转成文本，语言模型生成回答，语音模型将其朗读出来。每一步都依赖前一步，这会让对话显得缓慢且不连贯。

Higgs Realtime 是一个音频原生的语音到语音模型，专为实时交互而构建。它的训练针对对话行为，包括轮流发言和响应不断变化的请求。这与给文本聊天机器人配上一个声音截然不同。

想想当你问别人一个难题时。他们可能会一边处理一边说：“让我查一下。”你知道他们听到了你，并且正在处理。AI 助手在检索信息或使用工具时也需要这样做，这样你就不会怀疑它是否听懂了你，或者是否停止了工作。

对于更长的任务，这一点就更加重要。助手需要在工作时让你了解进展，并在你提问或改变主意时做出回应。

对话式 AI 最大的挑战之一，是知道何时该说、何时该听，以及如何处理打断或话题转向。Boson AI 如何应对这些挑战，在 AI 对话真正变得自然之前，还需要哪些技术突破？

一声应答和一次打断听起来可能相当相似，但它们需要不同的回应。如果你说话时有人说“嗯”，他们可能是想让你继续说。如果他们纠正电话号码中的某一位数字，你需要停下来并使用正确的号码。AI 助手应该能够分辨其中的差别。

Higgs Realtime 利用某人所说内容的含义，来帮助判断他们是说完了还是在停顿。快速回应很重要，但知道如何回应同样重要。

始终如一地做到这一点仍然相当困难。人们说话并不按整齐的轮次，同样的话在不同对话中可能含义不同。助手必须理解发生了什么变化，并记住自己原本在做什么。

Boson AI 开发了 IHBench 等基准测试，用来衡量语音智能体如何从中断中恢复。这些评估揭示了当今领先语音模型的哪些弱点，行业应如何重新思考衡量对话智能的方式？

我们构建 IHBench，是为了测试当有人打断语音智能体之后会发生什么。如果你在预订过程中途纠正某个信息，智能体应当接受纠正，并从正确的节点继续。你不应该被迫从头再来，也不应该再听一遍它已经给过的信息。结果因模型和打断类型的不同而差异很大。有一个我们并不特别乐意公布的发现：闭源权重系统通常能更好地处理打断，而且打断发生在对话越靠后的位置，它们的表现就越稳。

这是开放生态系统中一个真实的差距，我们宁愿公开衡量它，也不愿假装它不存在。这也正是这个基准测试存在的主要理由。你无法弥合一个没人就如何衡量达成共识的差距。我们发布这个基准测试时，其中没有我们自己的任何模型。当我们真的放入一个模型后，Higgs Realtime 在恢复质量上得分 71.2，领先于 GPT Realtime 1.5 的 65.5、GPT Realtime 2 的 62.4 和 Gemini 3.1 Flash Live 的 61.1。所以这个差距是可以弥合的，而且一个开放权重模型弥合了它。

我更愿意在一个我们设计得足够难、并且在我们有任何成果可展示之前就已发布的测试上展示这一点。更广泛地说，我认为这个领域衡量了错误的东西。一个声音可以听起来完全自然，却仍然在任务上失败，因为真正重要的测试是智能体是否完成了任务。如果你不得不不断提醒它你之前在做什么，那么声音听起来有多好很快就变得无关紧要了。

令人印象深刻的语音 AI 演示与能够处理真实客户交互的自主智能体之间存在显著差异。区分两者的是什么，在企业能够自信地在业务关键型工作流中部署语音智能体之前，哪些能力必须改进？

你上一次享受给有线电视公司打电话是什么时候？对大多数人来说，答案是从未。你被从一个人转给另一个人，每次你都要重新解释你的姓名、出生日期和问题，好让下一个人再问你一遍所有这些信息。那么，假设这是关于同一个问题的第四通电话。你希望智能体知道前三通电话中发生了什么。如果重启路由器没有奏效，也许该派一名技术人员了，而你不应该自己去论证这一点。要让智能体做到这一点，它需要你的账户历史记录，并能够访问预约上门服务的系统。

它还必须在预约失败时能够应对，并知道何时把你转接给真正能解决问题的人。这些正是企业在把智能体用于客户电话之前需要测试的情形。然后是运行它的成本。一个能完美处理演示的系统，在每天处理数千通电话时可能运行成本过高，因此效率是做好商业准备的一部分，而不是一项单独的考量。

我们与一家全球保险公司一起运行这个确切场景已经好几个月了。这不是与真实系统并行的试验。它在他们的联络中心里处理实时客户对话，包括呼入和呼出，与人工销售坐席并肩工作。数千通并发通话，成本大约相当于人工坐席的三分之一。

我觉得比成本更有意思的一点是，它是在实际运行中就地改进的。他们自己的评估在我们开始时给我们的对话质量打了 30 分。五个月后，这个分数达到了 80，这是他们用来衡量合格人工电话营销员的标准。GPT-4o Realtime 在同一评估中得分 55。我们不是在实验室里通过调优达到这一点的。系统是相对于它实际处理的流量而变得更好的，而这是联络中心唯一在乎的那种改进。

随着语音智能体从回答问题转向执行任务、访问客户信息并与企业系统交互，开发者应如何平衡自主性与人工监督？要建立对这些系统的长期信任，哪些保障措施是必不可少的？

我会先问，你信任智能体去做什么。让它查询账户余额，与允许它转移资金或取消服务，是非常不同的。权限应当反映这一点，而它连接的系统需要强制执行这些权限。你不能把这一切都交给提示词里的一条指令。

人们也应当知道自己同意的是什么。在智能体做出难以撤销的更改之前，它应当解释后果并请求确认。这样一来，当它卡住时，让人介入就应当很简单。

事情仍然会出错。当出错时，你需要能够看到智能体做了什么、在哪里停了下来，以便有人把它纠正过来。一个听起来自信的声音可能让我们以为系统知道自己在做什么，但我们需要通过它行为的可靠程度来赢得这种信任。

Higgs Realtime 支持 100 多种语言，包括在对话过程中切换语言的能力。在跨不同语言、口音和沟通风格提供一致的对话智能方面，最大的技术挑战是什么，尤其是在理解情感语境和用户意图时？

语言覆盖听起来像一份清单，但事实并非如此。不久前，一位客户需要泰语。我们当时只有部分覆盖，而我们发现的第一个问题是，我们对泰语本身一无所知，首先就是书面泰语基本上没有标点符号。这打破了大多数语音系统所依赖的句子边界假设。我们本可以推迟这个市场。但我们找到了会说泰语的计算机科学家，重新正确地构建了处理方式。

大约六周后，我们在曼谷进行了演示。演示期间我无法判断进展如何——我在听人们用一种我不会说的语言测试系统——之后他们说效果很好，这让我大大松了一口气。不同语言的惯例差异和词汇差异一样大。在日语中，听者会在你说话时做出简短的回应，以表示他们在跟随。如果助手每次都停下来交出话轮，就会破坏对话的节奏。

词语可以完美，对话仍然失败。而且你说话的方式和你说的内容同样重要。你可以用完全相同的词语表达深情或讽刺，而恰当的回应完全不同。在语言于句子中途切换时保持语气和语境，正是这件事让我觉得有趣的一大部分。

OpenAI 和 Google 等公司正在大力投资实时多模态 AI。像 Boson AI 这样的专业公司如何与拥有远更多计算资源的组织竞争，你认为在模型架构、性能和推理经济性方面最大的差异化机会在哪里？

拥有更多算力并不自动意味着你用得更好。在实时对话中，你可能花很多钱运行一个非常强大的模型，只是为了处理有人说“嗯”或“是啊，可能吧”。那个模型会用它大量的智能去听填充词。大脑是昂贵的，它们消耗大量能量，推理也是如此。最终客户为此买单。

人类通过分配注意力来解决这个问题。你可以在咖啡店里进行一场略显无聊的对话，同时你脑海的后台在思考晚饭做什么。你脑海的前台在维持对话。然后对方问你一些真正困难的问题，你完全沉浸其中，把所有资源都花在上面。我们构建对话系统的方式也是如此。

一个便宜的模型处理对话的前台，而更昂贵的推理和工具调用在任务真正需要时才介入。另一半原因是我们购买算力而不是租用。算术并不复杂：取云实例的每小时成本，乘以一年中的小时数，你就接近直接购买硬件的成本。我们逐组件计算了盈亏平衡点，并在此基础上构建。这比听起来要难，并非一切都很完美。但它让暴力扩展不再可行，这意味着每一分收益都必须来自更好的数据和更好的架构。它还保护了我们：我们报价低于 10 万美元的组件，六个月后成本大约翻了一倍。我们能够快速行动，因为我们是一个专注于一件事的小团队。研究人员可以提出一个想法，测试它，并自己将其投入产品。我们从开放研究社区中受益并回馈其中，这让一个小团队能做到超出其规模的事情。

你在 ProactBench 上的研究探索了对话智能的一个重要维度：即使用户没有明确要求，也能识别他们的需求。你如何设想语音智能体从被动助手演变为主动协作者，在预判用户需求和越界之间，边界应该在哪里？

假设你在预约医生，在对话早期你提到你不能开车。一个好的助手会记住这一点，并建议远程预约或帮助安排交通。你不应该不得不重复那个信息。

这就是我们在 ProactBench 中研究的内容——助手能否利用你告诉它的信息来预判你的需求，并提供你并未直接请求的帮助。

当然，你可能已经安排了去预约的交通。助手应该提供选项让你决定，而不是假设它知道你的计划。我希望这些系统能节省人们的精力，但让他们掌控发生的事情。

展望五年后，你认为语音会成为主要的交互

这就是我们在 ProactBench 中研究的内容——助手能否利用你告诉它的信息来预判你的需求，并提供你并未直接请求的帮助。

当然，你可能已经安排了去预约的交通。助手应该提供选项让你决定，而不是假设它知道你的计划。我希望这些系统能节省人们的精力，但让他们掌控发生的事情。

展望五年后，你认为语音会成为人们与 AI 和软件交互的主要界面吗？如果是，这种转变可能如何重塑传统应用、企业软件，以及屏幕和图形用户界面的角色？

我预计我们会更多地与计算机交谈，而且常常还会配合视频。当你能看到某人露出困惑的表情时，你就知道自己可能需要换一种方式解释。我们的音视频演示展示了这类交互的雏形，AI 会同时回应它看到和听到的内容。

写代码时我仍然更喜欢键盘，而如果我在比较信息，我可能希望它显示在屏幕上，让我按自己的节奏浏览。

对于企业软件，我可以想象先通过说明我的需求来启动一项任务，然后在屏幕上查看结果并直接进行修改。在未来五年里，我认为在这些工作方式之间切换会变得容易得多。你可以在方便的时候说话，在需要精确时使用屏幕。

感谢这次精彩的采访，希望探索对话式语音 AI 和企业语音智能体的读者可以访问 Boson AI。