LMSYS 用 Miles 在 MI355X 上训练 SWE 智能体，SWE-bench Verified…
LMSYS 用 Miles、SGLang、Megatron-LM 和 Harbor 在 AMD Instinct MI355X 上对 Qwen3-30B-A3B-Instruct 做全异步智能体强化学习，在 SWE-bench Verified 的 100 任务分层子集上把 pass@1 从 7.3% 提升到 27.5%。训练分两阶段，先在约 4,000 条 Open-SWE-Traces 公开轨迹上做 SFT，再在约 1,350 个 SWE-smith 任务上跑 GRPO。固定模型和 RL 配方后，推理从 1 个节点扩到 3 个 8 卡节点、改用 E2B 云沙箱并解除并发上限，rollout 吞吐从约 860 提升到约 3,480 条轨迹/小时；在同一 8 卡节点上限制轨迹长度则让单步训练时间从 850 秒降到 284 秒。
55X 节点，并配合云沙箱和并发修复。 RL 单步速度约提升 3 倍：850 秒 → 284 秒。 在同一 8 卡推理节点上限制轨迹长度可减少长尾。 384 个并发智能体沙箱。 最大规模的运行使用三个推理节点和一个训练节点，每个节点配备 8 块 MI355X。 背景 为什么智能体强化学习与众不同 在编码智能体强化学习中，一个训练样本就是一整个回合。模型阅读 GitHub issue，在沙箱中运行 20 到 100 多条 shell 命令，编辑代码，并且只有在仓库测试通过时才能获得奖励。 图 1： 智能体强化学习循环。一个训练样本就是一整个多轮回合。 与单轮强化学习相比，这种工作负载带来了新的问题： 长尾拖后腿者。 同一任务的两次尝试长度可能相差 2.5 倍，而 GRPO 组必须等到最慢的尝试完成才能评分，因此少数拖后腿者就可能拖住训练。 处于关键路径上的 CPU 集群。 每条轨迹都需要自己的沙箱来构建和测试代码。 架构 推理和训练运行在独立的节点上。推理节点运行八个单 GPU 的 SGLang 引擎和 Harbor，后者负责管理沙箱。训练节点运行 Megatron-LM，并将新权重推回
匹配字段正文
