使用自动扩缩容计划在流量到来前启动副本,让请求不必等待冷启动。
作者
Jonathan RochetteArchit MishraMingming LangChloe Florit发布于
2026年10月30日
分享
发布于
2026年10月30日
自动扩缩容计划通过在可预期流量到来前提高最小副本数,减少冷启动延迟。你可以将计划设置为重复执行(例如工作日早晨)或仅执行一次(例如产品发布前)。通过仪表盘、CLI 或 Management API,每个环境最多可配置 10 个计划。
自动扩缩容会根据传入流量调整副本数量。当需求增加时,新副本需要一些时间才能处理请求。这就是它们的 冷启动时间,其中包括分配计算资源、启动服务软件以及加载模型。在冷启动期间等待的请求会有更长的端到端响应时间。
自动扩缩容计划 通过在流量到来前启动额外副本,帮助避免冷启动延迟。你可以将计划设置为重复执行(例如每个工作日早晨)或仅执行一次(例如发布前)。
围绕需求安排自动扩缩容
许多工作负载的流量是可预测的。自动扩缩容计划让你可以在设定时间更改自动扩缩容设置,因此无需维护外部 cron 任务来完成这件事。
周期性高峰: 在工作时段提高最小副本数,在夜间降低。例如,会议转录应用可以在会议开始前扩容,并在高峰过后缩容。
计划内事件: 为产品发布、负载测试或迁移到新部署安排临时扩容。
示例说明:在预期流量激增前启动额外副本,有助于在请求量增加时保持端到端响应时间稳定。自动扩缩容计划的工作方式
每个计划都会设置一个时间窗口,以及该窗口内的最小和最大副本数。最小值设定自动扩缩容器在该窗口期间保持运行的最低副本数。最大值限制自动扩缩容器可运行的总副本数。当没有计划处于活动状态时,环境使用其默认设置。
要配置计划:
每个环境最多创建 10 个计划,所有计划共用一个时区。
选择每日、每小时或一次性时间窗口。窗口不能重叠,且必须至少持续五分钟。
使用仪表盘、CLI 或 Management API。
Baseten UI 示例:生产环境的两个自动扩缩容计划。开始使用
在预期流量到来前启动副本,以减少冷启动延迟。 按照设置指南 通过仪表盘、CLI 或 Management API 配置计划,或 与我们的工程师交流 ,为你的工作负载定制设置。
联系我们
与我们的产品专家联系,了解我们如何提供帮助。
联系工程师$?/$