先了解这件事
AI 综述
2026年6月24日,Modal 推出 Auto Endpoints。据 Modal 官方工程博客介绍,该产品结合 Blackwell GPU、SGLang 和 Modal Servers,通过推测解码优化延迟。在 Decagon Voice 案例中,基线 p50 延迟约 290ms,优化后削减 100ms,比专有推理提供商的最佳延迟快 60ms 以上。官方博客还称,推测解码带来的加速与接受长度近似线性,是降低解码延迟的关键手段。目前该事件尚无后续发展事实,状态停留在发布与效果说明阶段。
AI 根据公开报道生成
最新进展 · 正式报道
Modal 如何用推测解码实现 SOTA 推理延迟事件进展
1 个已确认进展
- 来源：Modal 官方工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月24日
Modal 官方工程博客一手
Modal 如何用推测解码实现 SOTA 推理延迟
Modal 本周推出 Auto Endpoints，结合 Blackwell GPU、SGLang 和 Modal Servers，通过推测解码优化延迟。在 Decagon Voice 案例中，基线 p50 延迟约 290ms，优化后削减 100ms，比专有推理提供商的最佳延迟快 60ms 以上。推测解码带来的加速与接受长度近似线性，是降低解码延迟的关键手段。