先了解这件事
AI 综述
2025年7月14日,Vapi 介绍了一套针对语音 AI 延迟的优化方案。据 Vapi Blog 当日发布的内容,该方案通过动态路由系统将每次请求发往当时最快的 Azure OpenAI 部署,把 GPT-4o mini 的 P95 延迟削减了超过 1000ms。具体做法上,系统先用单 token 请求轮询 40 多个部署,再结合线上真实延迟实时更新路由表,并保留少量流量探索其他部署。针对请求无响应挂起的情况,方案按各部署历史标准差设置动态阈值,超时即回退到次快部署。目前该事实仅有 Vapi 官方博客这一来源,暂无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Vapi 如何解决语音 AI 延迟问题事件进展
1 个已确认进展
- 来源：Vapi Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月14日
Vapi Blog一手
Vapi 如何解决语音 AI 延迟问题
Vapi 通过动态路由系统将每次请求发往当时最快的 Azure OpenAI 部署，把 GPT-4o mini 的 P95 延迟削减了超过 1000ms。该系统先用单 token 请求轮询 40 多个部署，再结合线上真实延迟实时更新路由表，并保留少量流量探索其他部署；针对请求无响应挂起的情况，还按各部署历史标准差设置动态阈值，超时即回退到次快部署。