先了解这件事
AI 综述
2026年6月23日,Modal 推出 Auto Endpoints,提供 OpenAI API 兼容、生产可用的 LLM 推理服务。据 Modal 官方工程博客,该服务底层是用户可见可控的 Modal App,可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标,自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据,并同步推出面向超低延迟路由的 Modal Servers,HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献,并采用 Z Lab 的 DFlash 块扩散 drafter 架构。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Modal 发布 Auto Endpoints，一条命令部署自有 LLM 推理服务事件进展
1 个已确认进展
- 来源：Modal 官方工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月23日
Modal 官方工程博客一手精选
Modal 发布 Auto Endpoints，一条命令部署自有 LLM 推理服务
Modal 发布 Auto Endpoints，提供 OpenAI API 兼容、生产可用的推理服务，底层是用户可见可控的 Modal App，可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标，自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据，并同步推出面向超低延迟路由的 Modal Servers，HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献，并采用 Z Lab 的 DFlash 块扩散 drafter 架构。