Modal 研究混合精度、混合加速器采样器上的强化学习
Modal 工程博客提出用离策略修正让 RL 采样器与训练器解耦,从而在混合精度、混合加速器上稳定训练。实验用 Miles 框架、SGLang 采样器和 Megatron-LM 训练器,在 B200 上以 BF16 训练 Qwen3.6-35B-A3B 做智能体编码任务,采样器分布在 B200、B300、H100、H200、A100 和 RTX PRO 6000 六类加速器上,分别使用 NVFP4、FP8 和 BF16 权重。加入掩码重要性采样、分数居中和 top-p 掩码回放后,混合采样器在 SWE-bench Pro V2 上与同构采样器持平,HARD-51 上 pass@4 稳定在约 65–75%,且多数训练阶段每次更新的采样成本低约 15%。
#论文/研究#数据/训练#部署/工程










