Google Duplex 如何演进,并在 Gemini 中为你致电商家
2026年11月20日
Google 副总裁兼 Google Research 总经理 Yossi Matias、Google Research Google Fellow Yaniv Leviathan,以及 Google Maps 产品组经理 Janet Zhou
当我们在2018年推出 Google Duplex 时,它开创了由 AI 通过电话与本地商家进行自然语音对话的先河。此后,这项技术一直在众多 Google 产品中默默发挥作用。这些功能现已直接集成到 Gemini 中的 Tasks.
快速链接
完成预订晚餐座位或预约理发等任务很耗时间。实时电话对话节奏很快,而且很少按固定脚本进行。电话另一端的人几乎什么都可能说,还经常在一句话说到一半时改变想法;人们也常依靠细微的语调变化来判断该轮到谁说话。多停顿半秒,听起来就像电话断了;开口太早,双方又会互相抢话。要利用 AI 以礼貌得体的方式通过电话完成这些任务,我们必须让高质量语音理解、情境推理和语音合成在一个低延迟系统中协同工作。
我们在 Google Duplex 近十年前推出了这项技术,以帮助应对这一挑战。在基础模型进步的推动下,Duplex 架构不断演进,如今已能在 Google 搜索和 Google 地图等许多核心产品中支持自主完成任务。本周,我们在 Gemini App 中的 Tasks推出了 Duplex。这是一款个人 AI 协作工具,可以帮助协调现实世界中的杂务,例如代你致电商家,并代表用户处理现实请求。本文将回顾近十年的架构演进历程,正是这一历程让上述能力成为可能——从早期的封闭领域模型,发展到完全基于 Gemini 构建的统一技术栈。
从封闭领域通话到 Gemini 中的 Tasks
这个系统最初范围狭窄、针对特定任务,但很快便扩展为一套共享的对话基础设施,由 Google 各团队协作构建。
在新冠疫情期间,商家的营业时间和服务频繁变化,Duplex 因而进一步加强了 自动核实商家信息 的能力,以确保商家信息准确无误。它至今仍是重要的数据来源。例如,正如我们在2023年分享的那样,来自 Duplex 电话通话的商家信息已在 Google 搜索和 Google 地图中展示 超过一万亿次。
与此同时,我们与 Android 和硬件团队合作,将这些对话模型直接部署到设备端。从2019年开始,我们连续在五代 Pixel 手机上推出新的 Pixel 通话助理 功能。这些模型继续为 来电屏幕 和 帮我等待等功能提供支持,帮助用户筛选陌生来电,并在等待队列结束后先与人工客服交谈,直至用户重新加入通话。2025年和2026年,基础模型在 Google 搜索 和 Ask Maps中解锁了范围更广的智能体通话能力,可查询报价、商品库存和服务空档,涵盖宠物美容、汽车维修等各类服务。
三代对话架构
过去十年间,这些通话背后的技术栈经历了三个截然不同的阶段,从定制神经网络流水线发展为采用 Gemini 的统一架构。
1. 大语言模型出现前的封闭领域模型
我们开始研发 Google Duplex 时,现代语言模型尚未出现,甚至连 Transformer 本身都还没有被发明。在早期阶段,为确保商家和用户都能获得良好体验,我们将 Duplex 限定在少数狭窄领域,并使用匿名化的特定任务电话对话来训练定制的 循环神经网络 模型。由于没有预训练的世界知识,我们必须教会模型如何高效处理每一种具体任务。实际而言,这意味着每种任务类型都需要大量训练数据——例如,理解餐厅订位的严格流程与查询节假日营业时间的流程有何不同——以确保系统能够可靠地处理特定领域的逻辑。
2. 早期生成式模型与混合技术栈
随着开放领域基础模型的出现,Google Duplex 开始将它们用于生产环境。例如,2022年,Duplex 在实时通话中使用了 LaMDA 。这些预训练模型简化了理解和常识推理,使系统既能应对意外的对话转折和离题内容,又能始终立足于标准餐厅订位等具体情境。
不过,这些早期生成式模型的可预测性不及今天的模型,有时速度也更慢。因此,我们构建了混合技术栈,将可灵活组织措辞的生成式模型与确定性的状态跟踪及严格的政策护栏结合起来,从而帮助确保用户和商家都能获得良好体验。
3. 无边界任务与 Gemini 集成
随着基础模型不断进步,我们改用自由文本任务描述来提示系统,从而彻底取消了固定垂直领域的限制。这样一来,只需通过提示词即可定义任务,使系统无需从头构建单独的对话模型,就能泛化到新的任务类型、细微要求(例如要求靠窗座位,或为婴儿车留出额外空间)以及新的商家类别。
我们的通话技术栈使用 Gemini 来统一多模态理解、规划和对话生成,使系统能够处理包含多重限制条件的请求——例如避开日历中的时间冲突来安排汽车保养——并能在接待员建议其他时段时灵活调整。
实时电话通信中的技术难题
即使采用前沿模型,实时电话通信仍面临一些仅靠网页等标准数据集进行预训练无法解决的难题:
- 为通话前情境和对话情境提供语用依据,以及理解现实世界中的意图: 网页并不具备捕捉与繁忙商家通话进展所需的全部数据。近十年来处理目标导向型通话的经验,帮助我们的技术栈从通话开始前便理解语用规范。实际而言,这意味着系统会根据过往对话的历史背景,将自由文本任务与相应商家进行匹配(例如,知道某家特定商户周末不接受大型团体预订),从而预测任务是否可行。在通话过程中,这有助于模型判断当下适合询问什么、如何理解礼貌而委婉的拒绝,以及如何使通话保持简短高效。
- 嘈杂声学环境下的亚秒级延迟: 通话通过压缩的电话线路进行,背景中常伴有厨房器具碰撞声、意式咖啡机声、街道噪声和周围人的交谈声。我们的技术栈针对低延迟流式推理进行了调优,使回复能够以自然的节奏传达。定制的声学模型和对话节奏模型会协助核心 AI 系统处理背景噪声和停顿、在适当时停止说话等。
兼顾通话双方的设计
Duplex 不仅要为用户提供良好体验,也必须同样适合接听电话的商家。这一原则促成了多项设计选择:
- 明确披露身份。 每通电话一开始都会明确说明来电方是 AI 智能体,具体来说,是一个代表 Google 致电的自动化系统。
- 商家始终掌握控制权。 商家可以在 Google 商家资料的设置中 选择退出 自动来电,也可以在通话中直接说:“请不要再给我的商家打电话。”
- 无需设置,也无需适应。 Duplex 直接通过商家现有的接听电话开展工作:无需安装软件、无需维护预订系统,也无需培训员工。无论谁接听电话,都可以像接待任何一位顾客一样处理通话,即使正值忙碌时段、柜台前还排着队也没问题。
- 一次对话,多项洞见。 一次通话中收集的信息可以解答此后的许多问题,因此商家不必反复回答同样的内容。例如,Google 地图可以展示 Duplex 收集到的商家详情,如欢乐时光优惠、露台座位、是否允许携带宠物、停车提示,甚至每周举办的知识问答之夜。
结语
许多日常差事、本地服务和紧急任务仍需要直接与他人交谈,才能可靠地协调具体细节。通过将 Duplex 的能力集成到 Gemini 应用的 Tasks 中,我们朝着完成这一闭环又迈进了一步。自然语音交互成为一种无缝集成的交互方式,当在线 API 或预订表单等结构化数字渠道不存在时,智能体便可随时采用这种方式。借助我们最新的 Gemini 4 模型,包括 Gemini 4 Hydrogen 和 Gemini 4 Neon ,Gemini 中的 Tasks 现在可以支持更全面的工作流,例如分析水电费账单、通过 Agent Payments Protocol安全处理交易,以及通过电子邮件和富通信服务(RCS)与用户协调。凭借这些能力,我们正将这项研究引入下一代 AI 助手。
致谢
我们感谢 Duplex 团队,以及 Google 内部所有领导和参与这段十年历程的人员。在推动向 Gemini 驱动的通话系统转型,并促成 Gemini 中的 Tasks 此次发布方面,我们尤其感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster,以及团队中的许多其他成员。
AI 热点