系统构建在 Modal 原语之上: Modal Clusters 使大模型的传入请求能够被调度到动态可用的 RDMA 连接节点上,而无需预留集群, Modal Volumes 提供快速、持久的检查点保存,以及 Modal Servers 提供快速的推理层。在构建多 LoRA 训练的过程中,我们还向 Miles 和 SGLang上游贡献了多项改进,并将继续投入开源生态。 设计一个高性能的多租户训练系统需要克服各种挑战,我们必须仔细思考这些问题。这带来了许多令人兴奋的工作成果,如今它们支撑着 Spindle 的核心组件,包括多客户端批调度、异步检查点保存、增量权重同步,以及面向多 LoRA 和 KV 感知请求路由的自定义推理路由器。你可以在此处阅读更多关于我们设计的 内容. Spindle 实际运行 Over the past couple months, we’ve run an expansive set of RL workloads across math reasoning, agentic coding, and search agents. Here are a few ex