←事件详情

热点事件

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

1 篇正式报道1 条事件动态更新于 11月19日 20:00

先了解这件事

AI 综述

2025 年 11 月 19 日,Modal 官方工程博客发布文章称,Reducto 已将 30+ 模型的推理工作负载迁移至 Modal,迁移后 P90 延迟降低 3 倍。同一来源还提到,GPU 内存快照把冷启动从约 70 秒缩短到约 12 秒,降幅约 83%。在一次 10 万页/分钟吞吐测试中,其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收,并帮助其拿下大型企业客户。目前该故事仅有这一条事实证据,尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Reducto 如何借助 Modal 将企业级文档处理 P90 延迟降低 3 倍

事件进展

1 个已确认进展

  1. Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

    来源:Modal 官方工程博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. Modal 官方工程博客一手

    Reducto 如何借助 Modal 将企业级文档处理 P90 延迟降低 3 倍

    Reducto 将 30+ 模型的推理负载迁移到 Modal 后,P90 延迟降低 3 倍,GPU 内存快照把冷启动从约 70s 缩短到约 12s(降幅 83%)。在一次 10 万页/分钟吞吐测试中,其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收,帮助其拿下大型企业客户。

关联事件

  1. 相关事件Sarvam AI 宣布本周起每周开源模型并附技术报告
  2. 相关事件Together AI与月之暗面达成合作
  3. 相关事件Moonshot AI发布旗舰模型Kimi K3
  4. 相关事件Mistral发布一万亿参数Mistral Large 4预览版