语音智能体能够处理日益复杂的对话，但有时让通话出问题的其实很简单：把一个姓名、电话号码或电子邮箱地址弄对。我们在 𝜏-Voice 中反复看到这一瓶颈：智能体弄错一个细节，还没能帮上忙就先在身份验证环节失败了。
今天我们推出 𝜏-Entity，这是一个基准，用于衡量智能体能否正确捕获细节、识别出细节可能有误，并修正错误。
𝜏-Entity 在十类实体（包括姓名、电话号码、地址和电子邮箱）上以 200 个任务测试语音智能体。每通电话只聚焦一个字段，来电者配合，在被要求时会准确拼读。大多数通话耗时不到两分钟。
即便在这样简单的设定下，当今的语音智能体也难以把细节弄对。
基准内部
每个任务都从一个缺失的值开始。智能体必须向来电者询问该值并正确提交。成功要求存储的值与期望值完全一致。我们改变了三件事：值本身的难度、来电者的行为（如纠正和重来）以及音频环境。
随后我们衡量 Pass³：智能体能否在常规、强噪声和强语音三种条件下都成功完成同一任务。
这让我们得以区分两个问题：智能体能否捕获该值？以及它能否在条件变化时可靠地做到这一点？
当前智能体的得分
在汇集全部六种 𝜏-i18n 语言的 𝜏-Entity 排行榜上，GPT Live 1 领先：它在 60.3% 的常规通话中正确捕获了值，但仅在 34.0% 的任务中在全部三种条件下都成功。Gemini 3.8 Live 和 Grok Voice Think Fast 2.0 在常规条件下分别达到 43.8% 和 44.2%，在全部三种条件下则降至 19.5% 和 24.0%。
仅英语更容易：GPT Live 1 在常规通话中达到 74.0%，在全部三种条件下达到 47.5%。西班牙语、葡萄牙语和印地语与英语接近，对 Gemini 和 Grok 而言甚至高于英语，但各智能体的韩语 Pass³ 降至 3.5–8.5%，普通话降至 12.5–24.5%。
知道何时该放慢
当人们不确定自己是否听对时，他们会放慢速度、请对方重复、拼读姓名或确认自己听到的内容。智能体只识别出部分应当放慢的理由，而漏掉了其他理由。
在 𝜏-Elicitation 论文中，我们将验证投入量化为智能体在通话中进行复述和请求拼读的次数，然后比较了该行为在熟悉与不熟悉的实体、简单与困难的值、嘈杂与干净的环境以及不同来电者声音之间的差异。
该研究中的智能体对某些类型的难度做出了适应：在各系统之间，它们对困难和陌生实体进行了更仔细的验证。但只有 Grok 在噪声下验证得更多，且没有任何一个系统对它最难应对的来电者声音投入更多验证。
换言之，智能体识别出了部分警示信号，但并不能可靠地适应所有信号。
再次询问只是解决方案的一部分
在论文中，我们还测试了规定验证策略是否能弥合这一差距。规定的流程是：询问，让来电者拼读该值或复述，确认并纠正，然后提交。
当智能体自行选择验证策略时，在全部三种条件下只有14–41%的任务成功。规定的流程将这一比例提升至37–54%，提升幅度为 14–31个百分点 ，具体取决于配置。但额外的谨慎会耗费时间：通话时长增加21–28秒。
即使智能体意识到自己可能出错，也不保证能够恢复。在论文的行为分析中，智能体验证的初始错误捕获值中，只有24–37%最终得到纠正。有时智能体会重复同样的错误。另一些时候，它会用一个新的错误值替换原来的值。提出追问只有在智能体能够正确采纳答案时才有用。
当一次通话需要多个字段时，错误也会累积。在论文的多字段研究中，尽管单个字段的准确率仍为75%，但三字段通话的成功率仅为53%。在针对相同多字段任务的另一项对比中，逐字段验证并允许重试将成功率从64%提升至82%。由于该干预措施结合了验证和重试，我们无法单独区分各自的贡献。
方向是明确的：可靠的语音智能体需要识别不确定性、验证正确的内容，并在错误发生时真正修复错误。
现状
这些结果指向两个机会：更好地决定何时以及如何验证，以及在出错时进行更可靠的纠正。提出追问只有在智能体能够利用答案纠正其捕获内容时才有帮助。
这并不意味着每次交互都需要尽可能长的验证流程。规定的验证提高了可靠性，但耗费更多时间。挑战在于知道何时需要这种额外努力，并让它发挥作用。
𝜏-Entity提供了受控任务，用于衡量跨实体类型、来电者行为和环境的进展。我们与𝜏-i18n一同推出它，且它已覆盖相同的六种语言。
感谢Mercor的Victor Barres的合作。
订阅Sierra博客
获取新产品功能、客户更新等通知。
$?/$了解Sierra能为您做什么
了解Sierra如何帮助您借助AI实现更好的成果。
了解更多