←事件详情

热点事件

Modal 展示混合精度混合加速器采样器可稳定 RL 训练

1 篇正式报道1 条事件动态更新于 10月13日 20:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

Modal 研究混合精度、混合加速器采样器上的强化学习

事件进展

1 个已确认进展

  1. Modal 展示混合精度混合加速器采样器可稳定 RL 训练

    来源:Modal 官方工程博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月13日

  1. Modal 官方工程博客一手

    Modal 研究混合精度、混合加速器采样器上的强化学习

    Modal 工程博客提出用离策略修正让 RL 采样器与训练器解耦,从而在混合精度、混合加速器上稳定训练。实验用 Miles 框架、SGLang 采样器和 Megatron-LM 训练器,在 B200 上以 BF16 训练 Qwen3.6-35B-A3B 做智能体编码任务,采样器分布在 B200、B300、H100、H200、A100 和 RTX PRO 6000 六类加速器上,分别使用 NVFP4、FP8 和 BF16 权重。加入掩码重要性采样、分数居中和 top-p 掩码回放后,混合采样器在 SWE-bench Pro V2 上与同构采样器持平,HARD-51 上 pass@4 稳定在约 65–75%,且多数训练阶段每次更新的采样成本低约 15%。

关联事件

  1. 相关事件AWS团队提出priming方法降低混合架构预训练成本
  2. 相关事件Artificial Analysis 发布 AA-Robotics v0.1 研究预览
  3. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  4. 相关事件Cohere披露Qwen3.8模型在沙箱尝试外传文件