人工智能
PolyAI Dialog-RSN-1 现已登陆 Amazon SageMaker JumpStartDialog-RSN-1 是一款专为实时复杂对话打造的推理模型,现已登陆 AWS Marketplace 和 Amazon SageMaker JumpStart。它能够支持前沿对话:智能体可以听取实时通话、进行推理并实时采取行动。
作为 AWS 客户,您可以 通过 AWS Marketplace 订阅 Dialog-RSN-1 ,并在自己的 AWS 环境中将其部署为 SageMaker 端点。您也可以按照 使用 Amazon SageMaker JumpStart 部署和评估模型中的步骤,直接从 Amazon SageMaker Studio 进行部署。这意味着,这款专为处理客户对话而设计的模型,可以像其他 Amazon SageMaker 模型一样,凭借 AWS Marketplace 订阅完成部署。
在 AWS 内部部署 Dialog-RSN-1
Dialog-RSN-1 是首款通过 AWS Marketplace提供的 PolyAI 模型。它运行在您自己的 AWS 环境中,而 PolyAI 的计算、模型训练和模型服务也由同一套 AWS 云提供支持。
Dialog-RSN-1 只需一次处理,即可直接感知来电者的音频,推理其需求并实时作出回应。在 SageMaker 上,它会像您在那里运行的其他模型一样部署为端点。您可以从自己的架构访问该端点,费用通过您的 AWS 账户结算,并且它受到您现有的同一套虚拟私有云(VPC)、AWS Identity and Access Management(IAM)角色及监控机制的保护。
编排、电话系统集成和业务逻辑仍由您掌控。Dialog-RSN-1 则替您解决最难以自行构建的部分:理解实时通话并即时回应。该端点采用 OpenAI Realtime 协议,因此现有的 Realtime 客户端只需更改基础 URL,即可通过 PolyAI 的 桥接服务 进行连接。输入音频须为 16 位 PCM 单声道,采样率为 16 或 24 kHz(G.711 或 Opus 音频需先转码)。每次连接最长可持续 30 分钟,目前该模型仅支持英语。
若要开始使用,请 在 AWS Marketplace 上查找 Dialog-RSN-1,然后将其直接部署到您自己账户中的 Amazon SageMaker 端点。您也可以直接从 Amazon SageMaker JumpStart 部署.
Dialog-RSN-1 现已接入 SageMaker JumpStart,只需单击一下即可完成部署。在 Amazon SageMaker AI 控制台中打开 Model Hub,从 JumpStart 目录中选择 Dialog-RSN-1,然后选择“部署”。SageMaker JumpStart 随后会使用已为您调优的服务堆栈,启动实时推理端点。无需费力管理容器,无需反复斟酌实例类型,也无需手动进行基准测试。对于自动化工作流,通过几行 SageMaker Python SDK 代码也能完成同样的一键部署。
Dialog-RSN-1 端点完全在您自己的 AWS 账户内运行。它部署在您的 VPC 中,通过您的 IAM 角色进行访问,并使用您为其他所有工作负载采用的相同 Amazon CloudWatch 日志记录和指标进行监控。由于推理在您的账户内完成,来电者的音频和文字记录会保留在您可控的边界内。对于处理实时客户对话的模型而言,这有助于满足您的数据驻留和可审计性要求。
兼顾速度与准确性
为实时通话构建的模型可能会迫使您在速度和理解能力之间作出选择。为速度而设计的模型可能无法把握含义,而为推理而设计的模型又可能增加来电者的等待时间。Dialog-RSN-1 避免了这种取舍。
借助 PolyAI,您可以构建像人工客服一样倾听和处理通话的对话智能体。这些智能体能够捕捉犹豫,在挫败感升级之前察觉出来,并知道何时开口。
实时客户对话正是 PolyAI Dialog-RSN-1 专门应对的任务,而且它如今已在生产环境中处理实时通话。由于该模型直接基于来电者的音频进行推理,因此能够捕捉语气、犹豫和时机等普通文字记录会丢失的信号,并自行判断适当的回应时机。
像人类一样倾听通话的模型
Dialog-RSN-1 是一款专注于实时对话的模型。它不需要单独的语音转文字步骤,也无需另设推理模型来判断适当的开口时机,因此不存在多次交接。
在实际应用中,这意味着来电者可以更快获得回应:
- 即使通话量激增,插话功能仍可正常运行,而不会为了保障性能被关闭。
- 回应能够跟上对话节奏,因此模型在推理该说什么时不会落后于对话进程。
- 文字记录直接根据音频生成,因为 Dialog-RSN-1 读取的是实际音频,而不是其他系统对音频内容的最佳猜测。
Amazon SageMaker JumpStart 上的 Dialog-RSN-1
Amazon SageMaker JumpStart 是 Amazon SageMaker AI 内的机器学习中心,旨在缩短从选择模型到将其投入生产运行之间的距离。对于 Dialog-RSN-1 而言,这意味着只需点击几下,即可使用前沿的实时对话技术。您可以在同一处发现该模型、使用自己的数据验证其效果,并将其部署到安全端点。以下是您将获得的功能。
图 1:SageMaker JumpStart 中的 Dialog-RSN-1 模型卡片
我们在 GitHub 代码库中说明了如何通过 SageMaker Python SDK 进行操作: 在 Amazon SageMaker AI 上部署 PolyAI Dialog-RSN-1.
在投入使用前发现并评估模型
Dialog-RSN-1 会显示在 SageMaker JumpStart 目录中,概述和示例笔记本集中置于一处,因此您的团队无需先在基础设施上花费一分钱,就能了解该模型。若要使用您自己的通话测试模型,请部署端点并运行 PolyAI 的示例笔记本;该笔记本会流式传输已录制的来电者音频,并输出模型的轮次决策、回复和文字记录。
一键部署,并针对您的工作负载进行优化
在同一模型卡片中选择“部署”,Amazon SageMaker JumpStart 就会使用预配置的服务堆栈搭建实时推理端点。无需手动选择容器,也不必猜测该使用哪种实例。真正便利之处在于命名优化配置文件:您不必手动调优基础设施,只需选择与 Dialog-RSN-1 运行方式相匹配的目标。“延迟优化”可最大限度缩短交互式实时调用的首个令牌生成时间(Time to First Token)。“吞吐量优化”可最大限度提高每秒生成的令牌数,以应对高调用量。“成本优化”可最大限度降低每次请求的基础设施成本。“平衡”则在各方面提供均衡折中,适合通用场景。
由于 Dialog-RSN-1 专为实时响应而构建,您可以使用延迟优化配置文件,将这种响应能力直接延伸到自己的端点。部署之前,SageMaker JumpStart 会显示关键性能指标:P50 延迟、首个令牌生成时间和吞吐量。这样,您就能根据流量为 ml.* 实例选择合适的规格,而不必手动对数十种组合进行基准测试。您可以从控制台完成整个流程,也可以通过 SageMaker Python SDK 编写脚本,将部署接入持续集成和持续交付(CI/CD)流程。
图 2:SageMaker JumpStart 中 Dialog-RSN-1 的部署工作流
图 3:在 SageMaker JumpStart 中为 Dialog-RSN-1 选择优化配置文件
部署在您的账户中,由您的控制措施进行治理
端点在您自己的账户边界内运行:位于您的 VPC 中,使用您的 IAM 角色,并沿用您已配置的 CloudWatch 日志和指标。对于处理实时客户对话的模型而言,这意味着通话音频和文字记录会保留在您控制的环境中,从而让数据驻留和可审计性变得简单明了。
最终,您将获得一个前沿语音模型,其部署方式与机器学习团队已经运行的其他工作负载相同,并使用同一个中心、同一套发现与评估工具以及相同的安全配置。真正困难的是 Dialog-RSN-1 所处理的对话,而不是其背后的基础设施。
如需进一步了解我们的前沿对话模型背后的架构,以及支持基准测试的评估结果, 请阅读我们的 Dialog-RSN-1 发布文章.
立即开始使用 AWS Marketplace 上的 Dialog-RSN-1 ,或直接 从 Amazon SageMaker JumpStart 部署。还可探索 SageMaker JumpStart 预训练模型.
AI 热点