人工智能
Stretto 如何用 Amazon Nova 2 Sonic 构建 AI 语音智能体本文由 Stretto 的 Danya Gordin 和 CI&T 的 Marcelo Wzorek 共同撰写。
在 Stretto 构建 AI 语音智能体之前,在其 Bankruptcy.com 网站上考虑申请破产的消费者需要填写一份网页表单,其中包含几个字段:债务金额、是否已有律师以及联系信息。这些通过表单生成的线索利润空间很小。
网页表单线索与完全合格的线索之间存在巨大差距。破产律师更看重包含详细财务数据的线索,例如债务、资产、车辆、房地产、就业经历和既往申请记录。虽然可以扩展网页表单来收集这些详细信息,但表单越长,填写到一半就放弃的访客就越多。电话访谈则能自然地引导人们提供这些信息,因为人们更愿意在交谈中分享涉及财务隐私的详细情况;然而,组建并培训人工受理团队来开展这些访谈的成本过高。
Stretto 发现了一个机会:用通过电话开展受理访谈的 AI 语音智能体取代网页表单。该智能体将以对话方式引导来电者完成整套破产问卷,并实时提取结构化数据。随后,它会依据律师制定的规则对线索进行分类,为律师决策提供支持。
挑战在于找到一种语音 AI 解决方案,使其能够以自然的方式处理敏感的财务对话,同时具备低延迟、流畅的打断处理能力和情绪感知能力,而且成本要能让单位经济模型成立。
本文将介绍 Stretto 如何与 AWS 生成式 AI 创新中心 和 CI&T (AWS 合作伙伴)合作构建 Tara——一款由 Amazon Nova 2 Sonic驱动的 AI 语音智能体。Amazon Nova 2 Sonic 是 Amazon Bedrock 中的一种语音到语音模型。Tara 可开展多阶段的破产受理访谈,并依据律师制定的规则对线索进行分类。我们将介绍其架构、从验证到生产部署的分阶段构建过程,以及团队如何针对敏感对话测试语音质量。
解决方案概述
Tara 是一款通过电话开展破产受理访谈的 AI 语音智能体。当来电者拨打 Bankruptcy.com 的电话号码时,Tara 会接听电话、自我介绍,并引导来电者完成结构化对话。她会收集个人信息、财务详情、资产清单和就业经历,同时根据来电者的情绪状态调整语气。通话结束后,Stretto 的系统会应用律师制定的规则,将线索分类为合格、不合格或需要更多信息,供律师审核。
该解决方案基于 Amazon Nova 2 Sonic 构建。这是一种通过 Amazon Bedrock 提供的语音到语音基础模型(FM)。它在单一模型中原生处理语音输入并生成语音输出,而不是将独立的语音转文本、语言模型和文本转语音组件串联起来。这种架构旨在降低延迟并生成听起来更自然的对话,而这两点对于性质敏感的破产受理电话都至关重要。基于 Amazon Bedrock 构建,使团队能够通过同一项托管服务使用 Amazon Nova 2 Sonic 和 Anthropic 的 Claude,无需运行模型基础设施。它还为处理敏感财务数据的工作负载带来了 AWS 安全与治理控制。对这两种模型的访问均由 AWS Identity and Access Management(IAM)管理。前往 Amazon Bedrock 的流量通过虚拟私有云(VPC)端点(AWS PrivateLink)保留在 AWS 网络内。Amazon Bedrock 不会使用提示词或模型输出来训练模型(详情请参阅 Amazon Bedrock 中的数据保护)。由于这些模型与语音桥接服务、数据库和 Amazon CloudWatch 监控运行在同一 AWS 环境中,团队可以使用一套工具保护和运维整个解决方案。Amazon Nova 2 Sonic 和 Amazon Bedrock 并非在所有 AWS 区域均可用。有关目前可用的区域,请参阅 Amazon Bedrock 支持的区域.
团队选择 Amazon Nova 2 Sonic 而非此前语音解决方案的原因有三点:
- 成本: Stretto 表示,与此前的解决方案相比,每分钟语音成本降低了 95%,这一数据基于 Amazon Bedrock 按需定价 ,以 2026 年 4 月 us-east-1 区域的价格为准。
- 延迟: 在 Stretto 的测试中,此前解决方案的首段音频生成延迟超过 500 毫秒,造成了令人尴尬的停顿。Amazon Nova 2 Sonic 专为低延迟而设计,可支持自然流畅的对话。
- 打断处理: 身处压力情境的来电者需要能够插话、纠正自己的表述并提出澄清问题。此前的解决方案无法妥善处理插话,经常会打断对话流程。Amazon Nova 2 Sonic 旨在处理打断,同时不会中断会话。
下图展示了端到端架构。
图 1:Tara 架构,展示从电话系统到数据持久化的端到端通话流程
来电者通过 Twilio 联系 Tara,Twilio 会建立一条通往 AWS 的 WebSocket 连接。流量依次经过 AWS WAF 和 Application Load Balancer,到达运行于 AWS Fargate 上 Amazon Elastic Container Service(Amazon ECS)中的语音桥接服务;该服务与 Amazon Nova 2 Sonic(通过 Amazon Bedrock 访问)进行音频流传输。通话结束后,带有死信队列的 Amazon Simple Queue Service(Amazon SQS)会将转录文本交给异步处理器。该处理器使用 Amazon Bedrock 上的 Anthropic Claude 3 Haiku 提取结构化字段,并将其持久化存储在 Amazon Aurora Serverless v2 中。合格线索会按司法管辖区转交给律师。支持服务包括 NAT 网关、VPC 端点(AWS PrivateLink)、Amazon Elastic Container Registry(Amazon ECR)、AWS Secrets Manager 和 Amazon CloudWatch。
Stretto 选择 Twilio 提供电话服务,是因为 Tara 的信息采集流程完全自动化,没有人工客服接听电话;同时,Stretto 希望直接集成 Amazon Nova 2 Sonic,并保留现有的 AWS 后端。Twilio Media Streams 通过 WebSocket 传输来电者的原始音频,这正是语音桥接服务所需的输入,而 CI&T 此前已完成其与 Amazon Nova 2 Sonic 的集成。对于需要在人工客服之间转接来电的联络中心工作负载, Amazon Connect 也支持 Amazon Nova 2 Sonic。
该架构使用以下 AWS 服务:
- Amazon Nova 2 Sonic (通过 Amazon Bedrock 使用):为 Tara 语音对话提供支持的语音到语音基础模型。它可一次性完成语音识别和回复生成,并支持调用工具,以便在访谈期间采集结构化数据。
- Amazon Elastic Container Service(Amazon ECS) 运行于 AWS Fargate:一种无服务器计算引擎,用于运行连接电话层与 Amazon Nova 2 Sonic 的语音桥接容器。语音桥接任务持续运行并跨三个可用区部署,以实现高可用性。
- Amazon Aurora Serverless v2:一种兼容 PostgreSQL 的无服务器关系数据库,采用多可用区配置部署。它存储来电者资料、信息采集回复、资格评估结果和会话元数据。Aurora 的无服务器扩缩能力可适应不断变化的通话量。
- Amazon Bedrock(Anthropic Claude 3 Haiku):负责从对话转录文本中提取结构化数据。Amazon Nova 2 Sonic 生成转录文本后,Claude 3 Haiku 会将姓名、金额、地址和车辆详细信息等类型化字段提取到关系数据库模式中。
- Amazon Simple Queue Service(Amazon SQS) 及死信队列:管理通话后事件的异步 Webhook 处理,并保留处理失败的消息以供重试。
- AWS WAF、VPC 端点和 Application Load Balancer:这些安全与网络层有助于保护 API 端点、跨可用区路由流量,并提供到 AWS 服务的私有连接。
构建并验证语音智能体
团队采取了分阶段的方法:首先验证语音质量,然后构建生产环境集成,并在系统通过真实来电者验证后扩大问卷范围。
验证敏感对话中的语音质量
破产相关对话往往会引发强烈的情绪。来电者通常感到焦虑、犹豫或难为情。语音智能体需要表现得富有同理心且自然,而不能显得机械或只顾事务处理。在编写任何集成代码之前,团队专门用一周时间,针对多种来电者场景测试 Amazon Nova 2 Sonic 的语音质量。
验证内容包括:
- 来电者处于不同情绪状态(平静、焦虑、犹豫、沮丧)时的语音质量。
- 首次音频响应时间延迟基准,并与此前解决方案超过 500 ms 的基线进行比较。
- 插话和打断处理:来电者能否在智能体说到一半时插话,而不破坏对话?
- 情绪语调适应:来电者听起来情绪低落时,智能体是否会调整语速和语调?
这一验证步骤生成了一份比较报告,记录了 Amazon Nova 2 Sonic 与此前解决方案在各个维度上的性能对比。该报告成为决定是否继续进行集成的评审关卡。
面向真实来电者部署至生产环境
语音质量通过验证后,团队用三周时间构建了端到端集成。通话流程如下:
- 来电者拨打 Bankruptcy.com 的电话号码。Twilio 电话层接听来电,并与运行在 AWS Fargate 上 Amazon ECS 中的语音桥接服务建立 WebSocket 连接。
- 语音桥接服务在来电者与 Amazon Nova 2 Sonic 之间双向传输音频。Tara 会先自我介绍,征得来电者同意,然后开始信息采集访谈。
- 通话结束后,完整的转录文本会进入由 Amazon Bedrock 上的 Anthropic Claude 3 Haiku 提供支持的提取管道。该管道从对话中提取字段,并将其存储到 Amazon Aurora 中。
由律师设计的完整信息采集流程可能持续 15–20 分钟,超过单个 Amazon Nova 2 Sonic 流式会话的最长时长(当前时长限制请参阅 语音到语音入门指南)。团队将该会话时长视为一项设计参数,并实现了 会话延续模式。这种方法可以跨会话边界保留对话上下文。语音桥接服务会跟踪每个与 Amazon Nova 2 Sonic 建立的双向流已经开启了多长时间。在即将达到时限前,它会使用相同的系统提示词和工具配置开启一个新流,并以文本历史记录的形式发送截至当时的对话内容。Tara 完成当前回复后,桥接服务会将来电者的音频切换到新流并关闭旧流,使来电者能够顺畅地继续对话。
初始部署涵盖了现有的 13 字段信息采集表单,通过自然对话收集与网页表单相同的数据点。这为团队提供了一条生产环境基线,以便在扩大范围前进行比较衡量。
扩展信息采集与线索资格评估
生产试点运行后,团队用四周时间将问卷扩展为由律师设计的完整信息采集流程。这是一次显著的范围扩展:
- 超过 18 个信息采集类别,并包含条件分支;Tara 提出的问题取决于来电者此前的回答。
- 复杂的关系型数据: 车辆(每辆车的年份、品牌、型号、融资状态和月供)、房地产、逐项债务明细、多种就业和收入来源,以及以往的破产申请记录。
- 基于规则的线索分类: Stretto 会将律师制定的规则应用于每条线索,并由律师作出最终决定。与静态网页表单相比,语音智能体可以采集更丰富的条件式数据,因此 Stretto 能够更灵活地应用这些规则并准确评估线索资格。
- 线索路由: 符合条件的线索会被转交给破产事务专业人士,而不符合资格标准的来电者则会被引导至其他资源。
Amazon Aurora 架构扩展为完整的关系型数据模型,支持一对多关系。一条来电者记录可能包含四辆车、两处房产和数十项单独的债务明细。
衡量结果并进行优化
最后阶段侧重于收集生产环境数据,并根据来电者的真实行为调优系统。团队跟踪的关键绩效指标包括通话量、平均通话时长、信息采集完成率、资料完整度、转化率和流失节点。
生产环境数据所揭示的洞察推动了多项优化:调整问题顺序以减少早期流失,调整条件分支以便在对话前期收集高价值字段,并根据律师的反馈修改资格评估阈值。下表展示了两项关键的生产环境指标。
| 平均通话时长(已完成的通话) | 约 8 分钟 |
| 数据抽取准确率 | ~96% |
开展质量与合规测试
部署一个处理敏感财务数据的语音智能体,仅进行功能测试远远不够。AWS 生成式 AI 创新中心(GenAIIC)咨询团队指导开发了一套涵盖以下四类测试的综合框架:
- 顺畅流程测试: 与配合的来电者完成覆盖整个问卷的端到端信息采集访谈。这些通话用于确认系统能够在超过 18 个类别中采集准确的结构化数据,并确保资格评估规则得出正确结果。
- 对抗性测试: 来电者提供相互矛盾的信息、在对话中途更改回答、拒绝回答某些问题,或试图操纵资格评估结果。智能体需要妥善处理这些模糊情况,并保持对话连贯。
- 合规性测试: 同意征集、披露信息传达和数据处理工作流。由于破产信息采集涉及敏感财务信息,团队验证了智能体能够准确传达披露信息,并在继续之前征得同意。
- 插话场景测试: 来电者在对话的不同节点打断智能体,包括披露信息传达期间、问题尚未问完时以及智能体回答期间。Tara 应当能够恢复对话,同时不丢失上下文,也无需让来电者重复信息。
生产环境中的负责任 AI 控制措施
团队将负责任 AI 视为一项生产环境控制措施,而不仅仅是一个测试步骤。Amazon Nova 2 Sonic 内置了安全防护机制,相关说明见 《适用于 Amazon Nova 2 Sonic 的 AWS AI 服务卡》。在此基础上,该解决方案不会让模型作出具有重大影响的决定:通话结束后,系统依据律师明确制定的规则对线索进行分类,最终决定则由律师作出。在开始信息采集前,系统会传达并记录同意和披露信息;对抗性测试套件还会检查操纵对话的尝试不会改变线索结果。除模型推理外,该解决方案还使用 Amazon Bedrock 双向流式 API 处理实时音频,在访谈期间通过工具调用采集结构化数据,并通过 VPC 端点与 Amazon Bedrock 建立私有连接。
GenAIIC 咨询团队还就语音应用专用的提示词工程最佳实践提供了指导,其中包括跨会话延续边界管理对话状态的技术,以及构建系统提示词的方法,以确保智能体在长时间访谈中保持一致的个性。
成果
投入生产环境约三个月后,Stretto 报告了以下成果:
- 单条线索价值: 与仅采集少量基本字段的网页表单线索相比,包含完整信息采集数据且完全符合资格的线索,对破产律师而言价值显著更高。
- 线索转化: Stretto 的早期生产环境结果显示,与网页表单相比,转化率相对提高了 20%,而此时该解决方案甚至尚未在更多地区广泛推广。
- 数据质量和通话时长: Stretto 表示,在其测试中,Tara 抽取结构化字段的准确率约为 96%,完成的通话平均持续约 8 分钟。
- 语音解决方案成本: Stretto 表示,与此前的解决方案相比,每分钟语音成本降低了 95%。
“我非常感谢 AWS 生成式 AI 创新中心团队。他们的专业知识帮助我们的语音智能体 Tara 成功落地,并推动线索转化率提高了 20%。”
——Danya Gordin,Stretto 首席 AI 架构师
“作为 AWS 生成式 AI 合作伙伴创新联盟的合作伙伴之一,我们可以确认,GenAIIC 计划是真正的催化剂,它汇聚客户和合作伙伴,共同解决实际问题并创造业务影响。对于 Stretto 而言,这意味着在短短几周内将语音智能体投入生产环境,并彻底改变破产信息采集流程。”
——Marcelo Wzorek,CI&T 执行经理
结语
Stretto 从网页表单线索转向 AI 辅助信息采集访谈的历程,展示了当语音 AI 达到敏感应用场景所要求的质量标准时,能够实现怎样的可能性。团队将 Amazon Nova 2 Sonic 的语音到语音能力与精心设计的 AWS 架构相结合,构建出一个语音智能体:既足够自然,适合与正在谈论个人财务困境的来电者交流,又具备足够高的成本效益,能够在规模化应用中带来可观的成本节省。
这种分阶段方法先验证语音质量,再将精简版信息采集流程部署到生产环境,随后根据真实数据扩大范围,从而在每个步骤都降低了风险。团队以经过验证的假设为基础进行构建,而不是依赖预测。
如果您正在探索适用于自身用例的 AI 语音智能体,以下资源可以帮助您入门:
- 了解 Amazon Nova 2 Sonic 及其语音到语音能力。
- 开始使用 Amazon Bedrock ,以访问包括 Amazon Nova 2 Sonic 在内的基础模型。
- 探索 AWS Fargate ,了解适用于容器的无服务器计算服务。
- 了解 AWS 生成式 AI 创新中心 ,为您的生成式 AI 计划提供咨询支持。
如果您正在考虑将语音 AI 用于敏感且高价值的信息采集流程,您的 AWS 客户团队和 AWS 生成式 AI 创新中心可以帮助您确定项目范围并进行构建。
AI 热点