在智能体 RL 中,模型所做的不仅仅是写文本:它要在沙箱中运行命令、编译代码并运行测试,并根据结果决定下一步。一次训练运行可以同时保持数百个甚至更多沙箱处于打开状态,而运行这些沙箱的 CPU 会影响训练的速度和规模。
RadixArk 与 NVIDIA 合作,将我们的开源 LLM 与 VLM RL 后训练框架 Miles的全部沙箱运行在 NVIDIA Vera CPU 上。据我们所知,这是首个公开的、将沙箱部署在 Vera CPU 服务器上进行端到端智能体 RL 训练的结果。我们还将 Vera 与当前一代的 AMD EPYC Turin 和 Intel Xeon 6 进行了系统对比1. 结论很明确: Vera 即使在满载下也能快速运行沙箱,而且随着训练规模扩大和推理速度提升,其优势还会进一步扩大。
在 Vera 上以全部沙箱进行端到端训练
我们在开源 AgentENV之上构建了沙箱服务:每个沙箱都是一个轻量级 Firecracker 虚拟机,隔离性优于容器,并且能在 0.1 秒内从快照启动。训练期间,推理(由 SGLang提供)和训练都留在我们的 GPU 集群上。每个 episode(模型对某个任务的一次尝试)都会在 Vera 上获得一个全新的沙箱。在沙箱内,一个智能体通过数十轮交互来协调这次尝试。它首先把任务发送给模型,模型决定下一步做什么并返回一条命令。智能体在沙箱中运行该命令,然后把输出发回给模型,以便模型选择下一个动作。这个循环持续到该次尝试完成。随后,验证器在同一个沙箱中运行该任务的测试来为结果打分,奖励则回传给训练。由于 RL 通过比较每个任务的多次尝试来学习,一次训练运行会同时保持数百个这样的沙箱处于打开状态。
Miles 可与多种智能体框架和沙箱后端配合使用,因此将所有沙箱迁移到不同的 CPU 架构无需改动训练代码;所有工作都在环境一侧完成。Terminal-Bench 和 SWE-bench 只发布 x86 镜像,因此我们为其中 530 个任务重建了 arm64 环境,并逐一对照其参考解进行了检查2.
借助 Miles,我们在 Terminal-Bench 和 SWE-bench 任务上训练了 GLM-4.7-Flash,涵盖同步和全异步两种模式:68 个训练步、超过 2,400 个 episode,全部在 Vera 上的沙箱中完成。在同步训练中,GPU 轮流生成 episode 并基于其进行训练;在全异步训练中,生成和训练在各自独立的 GPU 上同时进行,因此始终有数十个 episode(每个都有自己的沙箱)在进行中。
训练效果同样显著:模型在训练过程中不断进步。例如,在一个要求它构建 gRPC 服务的任务上,其通过率从训练前半段的 40% 上升到后半段的 82%,因为它学会了让该服务运行起来3.
真实 RL 训练中 episode 更快完成
为了观察 CPU 在真实训练运行中带来的变化,我们分别在 Vera 和 Turin 上用沙箱进行了训练。生产环境的沙箱集群通常同时服务多个训练作业,因此我们首先让机器处于忙碌状态:每个 CPU 插槽持续运行 176 个其他任务,恰好占满一个 Vera 插槽的 176 个线程4, 然后在此基础上进行训练。训练使用 SWE-bench 任务,其中智能体会反复运行测试。在相同的模型、任务、GPU 和设置下,我们各自训练了 5 步、160 个 episode5.
沙箱运行在 Turin 上时,每个 episode 平均多花 12% 的时间,四个任务各自多花 9%–15% 的时间。 模型在两个平台上的思考时间相同,因此几乎全部差异都来自沙箱中的工作。 每个 episode 上,Turin 多花了 53 秒:
- 智能体的命令多花了 26 秒,比 Vera 上多 60%;同样的测试命令在两个平台上运行时,耗时多出 54%–56%6.
- 验证器(重新运行测试以计算奖励)多花了 11 秒,比 Vera 上多 24%。
- 沙箱中的其余工作多花了 12 秒:包括同样在沙箱内运行的智能体本身,以及启动沙箱。
- 等待模型只多花了 4 秒。
Vera 在满载下依然保持高速
为什么沙箱中的工作在 Vera 上更快?即使只运行一个沙箱,Vera 的表现也与当今的 x86 处理器相当或更好:视基准测试而定,典型命令在 Turin 上多花 8%–19% 的时间,在 Xeon 6 上多花 29%–50%7. 真正的差距在满载时才显现。随着同时运行的 episode 增多,每个 x86 核心都会变慢,而 Vera 几乎不受影响。在一个 Vera 插槽上同时运行 176 个 episode(每个硬件线程一个)时,其命令仍然比 Turin 上仅运行 24 个 episode、或 Xeon 6 上仅运行 48 个 episode 时更快(见图中圈出的点)。原因在于,当所有核心都忙碌时,每个 Vera 核心在这些智能体命令中占主导的 Python 和编译工作上仅变慢 5%–22%,而每个 Turin 核心则变慢 40%–70%。
为了观察每个 CPU 能承载多少负载,我们设定了一条延迟基准:95% 的命令耗时不得超过其在参考机器上单独运行时的 1.5 倍8. 这就是本节第一张图中的虚线。在该基准之内,一个 Vera 插槽承载的负载是 Xeon 6 的 1.3–1.5 倍,是 Turin 的 1.4–2.1 倍9. 对于同时保持大量沙箱打开的 RL 训练而言,这意味着相同数量的 CPU 可以支撑更大规模的训练运行10.
这对 RL 训练意味着什么
在上面的训练对比中,SGLang 在 8 块 NVIDIA H200 GPU 上服务该模型,一个 episode 平均花约 5.3 分钟等待模型,另外在沙箱中花 1.8 分钟(Vera)或 2.6 分钟(Turin)。更快的推理只会缩短模型这一部分。下图缩短了模型部分,并保持沙箱工作为实测值:例如,若推理快 8 倍,沙箱在 Turin 上的 episode 将比在 Vera 上多花 33% 的时间;若推理快 32 倍,则多花 41% 的时间11. 推理快 8 倍是当前最新 GPU 和服务技术可能已经达到的水平,并可能在几个月内变得普遍;快 32 倍则可能在两年内实现12. 而且随着训练运行规模扩大、在每个 CPU 上打包更多 episode,它们会趋向上面的满载情形。
如果更长的 episode 只意味着每小时完成的 episode 更少,那么在更多服务器上同时运行更多 episode 就能弥补。但在 RL 中,每个 episode 更早完成也很重要,这带来三方面收益13:
- 更新的样本: 在完全异步训练中,一个 episode 运行得越久,等到该 episode 被用于训练时,权重已经更新得越远,训练需要纠正的偏差也越大。下图展示了我们在 Vera 上的训练情况,其中 episode 长度因任务而异:运行超过 20 分钟的 episode 在开始时权重已落后超过 3 步;在 5 分钟内完成的 episode 落后不到 2 步。同时运行更多 episode 也能加快训练,但会让样本更陈旧;更短的 episode 能在不付出这一代价的情况下加快训练:在 Vera 上 episode 缩短 11% 时,在相同陈旧度下训练最多可加快 12%14.
- 更少 GPU 内存闲置: 当一个 episode 等待命令结果时,其 KV 缓存会一直占用 GPU 内存。在上面的训练对比中,沙箱位于 Turin 上时,这部分闲置 KV 缓存比 Vera 上大了近 50%:占所有在用 KV 缓存的 17.9%,而 Vera 上为 12.1%。
- 等待最慢 episode 的时间更少: GRPO 会将每个 episode 与其所在组的其余 episode 进行评分比较,因此一个组只有在其最慢的 episode 完成后才会进入训练,即使在完全异步训练中也是如此。在我们的训练中,已完成的 episode 有 38%–52% 的时间在等待其所在组释放槽位。更快的命令能缩短这一尾部延迟,并更早释放整个组的槽位。
因此,在智能体 RL 中,更快的 CPU 服务器不仅能节省运行命令所花的秒数:它还能让整个训练运行更高效。
结论
借助 Miles,我们在 NVIDIA Vera 上端到端运行了智能体 RL 训练,所有沙箱均部署在 Vera 上,涵盖同步和完全异步两种模式,且无需修改训练代码。在仅运行一个沙箱时,Vera 的表现与 x86 持平或更优,并且随着负载加重,其领先优势不断扩大:在相同的延迟标准下,单个插槽承载的负载是当前 x86 的 1.3–2.1 倍。因此,在我们测试的任务中,当沙箱机器保持繁忙时,沙箱运行在 Vera 上的 episode 比运行在当前 x86 CPU 上的 episode 快 12%。而且推理越快,这一点就越重要:我们预计,一旦推理速度达到我们运行中的 8 倍,这一差距将扩大到 33%。在 RL 中,更短的 episode 还意味着有更新鲜的样本可供学习,并能更好地利用 GPU,减少内存闲置,减少等待每组中最慢 episode 的时间。
归根结底,更快的沙箱意味着更快达到目标质量。通过将沙箱运行在 NVIDIA Vera 上,使用 RadixArk Miles 的团队能在相同时间内完成更多 episode,获得更多同策略数据,从而能在相同的 GPU 上以更少时间将智能体模型训练到相同质量。随着 SGLang 推理速度的提升,这一收益未来只会继续增长。
立即试用: https://miles.radixark.com
1 每台机器都运行相同的沙箱服务(相同的 AgentENV 代码、Firecracker 和客户机内核),我们比较的是单个 CPU 插槽对单个插槽。一个 Vera 插槽有 88 个核心和 176 个线程。Turin 为 AWS m8a.metal-24xl,有 96 个核心,不支持同步多线程。Xeon 6 为 AWS m8i.metal-48xl,每个插槽有 96 个核心和 192 个线程。x86 机器使用 AWS 的默认设置,Vera 使用 NVIDIA 调优的启动参数。
2 两种架构的镜像均在同一天基于相同源码构建,我们记录了哪些任务在哪种架构上通过,以及原因。在 sandbox-service 一侧,我们增加了对 Vera 64K 内存页的支持,并为 arm64 构建了 Firecracker。
3 我们比较了该任务训练前半段的 40 个 episode 与后半段的 40 个 episode。早期,大多数失败源于验证器无法连接到 gRPC 服务;后期这种情况很少发生,因此模型确实学会了让服务运行起来。我们检查了每个已解决 episode 的命令,没有任何一个触碰评分文件。
4 后台任务是 SWE-bench 评测(应用参考补丁,然后运行测试),每个任务一完成就立即替换,两台机器上同时各运行 176 个。在同样同时运行 176 个的情况下,Vera 每分钟完成 1,057 次评测,Turin 为 638 次,因此 Vera 还多承担了三分之二的后台工作。当后台仅有 96 个任务(Turin 的线程数)时,Turin 上运行命令的耗时增加了 44%,而在 176 个时增加了 60%:机器越繁忙,差距越大。
5 模型为 GLM-4.7-Flash,运行在同一台配备 8 块 H200 的 GPU 机器上;每一步都在相同的 4 个 SWE-bench Verified 任务上使用 GRPO,每个任务 8 个 episode,每个 episode 最多 100 轮。两侧通过不同的网络路径到达 GPU 机器,因此我们按每轮等待模型的时间进行匹配(推理完全相同,因此任何额外时间都是网络开销):Vera 上为 3.31 秒,Turin 上为 3.32 秒。我们比较的是平均 episode 时间而非步时间:每一步都要等待其最慢的几个 episode,波动很大,5 步无法分辨几个百分点的差异。Episode 时间按任务逐一比较;Turin ÷ Vera 的 90% 置信区间为 1.04–1.22。
6 两侧共运行了 136 条命令,每条至少耗时 0.3 秒:按每条命令的中位数计算,Turin 耗时多 56%;按时间加权,多 54%。
7 这些范围是 Terminal-Bench 2.0、Terminal-Bench 4.0 和 SWE-bench Verified 上每条命令的中位数。该比较重放了真实的智能体轨迹和 SWE-bench 参考解。我们让智能体解决 Terminal-Bench 和 SWE-bench 任务,并记录每条命令及命令之间的思考时间;然后每台机器重放相同的命令,我们检查了每条命令的结果和最终奖励是否一致。这比较的是机器,而不是模型某一次幸运的运行。在 AWS 的默认设置下,Xeon 6 启用了深度睡眠状态(C6),这会使读取文件的命令慢数倍;此处所有 Xeon 6 的数据都是在关闭 C6 的情况下测得的。
8 参考机器是一台 AWS m7i(上一代 Xeon)。每台机器的延迟都除以同一命令在参考机器上单独运行所需的时间,因此这些数字可以直接比较。每项测试都重复了多次。
9 在没有延迟标准的情况下,Vera 的峰值吞吐量比 Turin 高 39%–46%。加上延迟标准后差距更大,因为在接近满载时,x86 的命令已经慢到超过该标准。
10 内存也不是瓶颈:一个 Vera socket 可容纳 4,096 个空闲沙箱。在连续负载下运行 90 分钟,没有任何故障,延迟也没有漂移。
11 该预测假设随着推理速度提升,只有模型的思考时间会缩短,而沙箱内的工作(运行命令、验证器等)仍保持实测水平。实际上,更快的推理会以更高密度发送命令,让机器更繁忙,这只会让 Turin 进一步变慢,因此这一估计是保守的。
12 解码主要受内存带宽限制,单 GPU 带宽从 H200 的 4.8 TB/s 提升到 Blackwell 的 8 TB/s,而 NVIDIA 2026 年一代的 Rubin 公布约为 20 TB/s。FP4 权重占用的字节数是 FP8 的一半。借助 DeepSeek-V3 的多 token 预测(报告),投机解码将解码速度提升了 1.8 倍;NVIDIA 报告称,在加入 EAGLE-3 及其他优化后,Blackwell 上 Llama 4 Maverick 的单用户解码速度提升了 4 倍(博客)。将这些因素相乘,Blackwell 上最多可提升约 6–13 倍,Rubin 上最多可提升约 15–35 倍。RL rollout 可能会把这些收益用于同时运行更多 episode,而不是让每个 episode 更快,因此这些是上限。
13 KV 缓存数值是每一轮的上下文长度乘以等待命令所花的时间,来自上文已加载的训练运行。另外两个数值来自 Vera 上的 Terminal-Bench 训练。陈旧度使用 896 个训练样本各自第一轮的权重,这些样本来自 64 个样本在飞的完全异步训练;等待时间占比则用每组 8 个 episode 测得,分别在同步训练和完全异步训练中各测一次。
14 这是一个估计值,而非测量值。在固定批大小下,一个样本落后的程度会随在飞 episode 数量的增加而增大(在我们的运行中,64 个在飞时约为 2.75 步,32 个在飞时为 1–1.75 步,每步 32 个样本),而训练速度就是该数值除以每个 episode 的时间。因此,在相同的陈旧度下,训练速度与 1 ÷ episode 时间成正比,482 ÷ 429 秒得出 12%。该估计假设 GPU 能够跟上,并使用了上文同步对比中的 episode 时间。