‹ 返回博客本页内容

在智能体 RL 中,模型所做的不仅仅是写文本:它要在沙箱中运行命令、编译代码并运行测试,并根据结果决定下一步。一次训练运行可以同时保持数百个甚至更多沙箱处于打开状态,而运行这些沙箱的 CPU 会影响训练的速度和规模。

RadixArk 与 NVIDIA 合作,将我们的开源 LLM 与 VLM RL 后训练框架 Miles的全部沙箱运行在 NVIDIA Vera CPU 上。据我们所知,这是首个公开的、将沙箱部署在 Vera CPU 服务器上进行端到端智能体 RL 训练的结果。我们还将 Vera 与当前一代的 AMD EPYC Turin 和 Intel Xeon 6 进行了系统对比1. 结论很明确: Vera 即使在满载下也能快速运行沙箱,而且随着训练规模扩大和推理速度提升,其优势还会进一步扩大。

在 Vera 上以全部沙箱进行端到端训练

Inference and training stay on the GPU cluster; every episode's sandbox runs on Vera

我们在开源 AgentENV之上构建了沙箱服务:每个沙箱都是一个轻量级 Firecracker 虚拟机,隔离性优于容器,并且能在 0.1 秒内从快照启动。训练期间,推理(由 SGLang提供)和训练都留在我们的 GPU 集群上。每个 episode(模型对某个任务的一次尝试)都会在 Vera 上获得一个全新的沙箱。在沙箱内,一个智能体通过数十轮交互来协调这次尝试。它首先把任务发送给模型,模型决定下一步做什么并返回一条命令。智能体在沙箱中运行该命令,然后把输出发回给模型,以便模型选择下一个动作。这个循环持续到该次尝试完成。随后,验证器在同一个沙箱中运行该任务的测试来为结果打分,奖励则回传给训练。由于 RL 通过比较每个任务的多次尝试来学习,一次训练运行会同时保持数百个这样的沙箱处于打开状态。

Miles 可与多种智能体框架和沙箱后端配合使用,因此将所有沙箱迁移到不同的 CPU 架构无需改动训练代码;所有工作都在环境一侧完成。Terminal-Bench 和 SWE-bench 只发布 x86 镜像,因此我们为其中 530 个任务重建了 arm64 环境,并逐一对照其参考解进行了检查2.

借助 Miles,我们在 Terminal-Bench 和 SWE-bench 任务上训练了 GLM-4.7-Flash,涵盖同步和全异步两种模式:68 个训练步、超过 2,400 个 episode,全部在 Vera 上的沙箱中完成。在同步训练中,GPU 轮流生成 episode 并基于其进行训练;在全异步训练中,生成和训练在各自独立的 GPU 上同时进行,因此始终有数十个 episode(每个都有自己的沙箱)在进行中。

训练效果同样显著:模型在训练过程中不断进步。例如,在一个要求它构建 gRPC 服务的任务上,其通过率从训练前半段的 40% 上升到后半段的 82%,因为它学会了让该服务运行起来3.

真实 RL 训练中 episode 更快完成

为了观察 CPU 在真实训练运行中带来的变化,我们分别在 Vera 和 Turin 上用沙箱进行了训练。生产环境的沙箱集群通常同时服务多个训练作业,因此我们首先让机器处于忙碌状态:每个 CPU 插槽持续运行 176 个其他任务,恰好占满一个 Vera 插槽的 176 个线程4, 然后在此基础上进行训练。训练使用 SWE-bench 任务,其中智能体会反复运行测试。在相同的模型、任务、GPU 和设置下,我们各自训练了 5 步、160 个 episode5.

沙箱运行在 Turin 上时,每个 episode 平均多花 12% 的时间,四个任务各自多花 9%–15% 的时间。 模型在两个平台上的思考时间相同,因此几乎全部差异都来自沙箱中的工作。 每个 episode 上,Turin 多花了 53 秒:

  • 智能体的命令多花了 26 秒,比 Vera 上多 60%;同样的测试命令在两个平台上运行时,耗时多出 54%–56%6.
  • 验证器(重新运行测试以计算奖励)多花了 11 秒,比 Vera 上多 24%。
  • 沙箱中的其余工作多花了 12 秒:包括同样在沙箱内运行的智能体本身,以及启动沙箱。
  • 等待模型只多花了 4 秒。

Training on a busy machine, with 176 other tasks running

Vera 在满载下依然保持高速

The more episodes run at once, the slower x86 commands get; Vera barely changes

为什么沙箱中的工作在 Vera 上更快?即使只运行一个沙箱,Vera 的表现也与当今的 x86 处理器相当或更好:视基准测试而定,典型命令在 Turin 上多花 8%–19% 的时间,在 Xeon 6 上多花 29%–50%7. 真正的差距在满载时才显现。随着同时运行的 episode 增多,每个 x86 核心都会变慢,而 Vera 几乎不受影响。在一个 Vera 插槽上同时运行 176 个 episode(每个硬件线程一个)时,其命令仍然比 Turin 上仅运行 24 个 episode、或 Xeon 6 上仅运行 48 个 episode 时更快(见图中圈出的点)。原因在于,当所有核心都忙碌时,每个 Vera 核心在这些智能体命令中占主导的 Python 和编译工作上仅变慢 5%–22%,而每个 Turin 核心则变慢 40%–70%。

How much work one CPU socket finishes within the same latency bar

为了观察每个 CPU 能承载多少负载,我们设定了一条延迟基准:95% 的命令耗时不得超过其在参考机器上单独运行时的 1.5 倍8. 这就是本节第一张图中的虚线。在该基准之内,一个 Vera 插槽承载的负载是 Xeon 6 的 1.3–1.5 倍,是 Turin 的 1.4–2.1 倍9. 对于同时保持大量沙箱打开的 RL 训练而言,这意味着相同数量的 CPU 可以支撑更大规模的训练运行10.

这对 RL 训练意味着什么

在上面的训练对比中,SGLang 在 8 块 NVIDIA H200 GPU 上服务该模型,一个 episode 平均花约 5.3 分钟等待模型,另外在沙箱中花 1.8 分钟(Vera)或 2.6 分钟(Turin)。更快的推理只会缩短模型这一部分。下图缩短了模型部分,并保持沙箱工作为实测值:例如,若推理快 8 倍,沙箱在 Turin 上的 episode 将比在 Vera 上多花 33% 的时间;若推理快 32 倍,则多花 41% 的时间11. 推理快 8 倍是当前最新 GPU 和服务技术可能已经达到的水平,并可能在几个月内变得普遍;快 32 倍则可能在两年内实现12. 而且随着训练运行规模扩大、在每个 CPU 上打包更多 episode,它们会趋向上面的满载情形。

The faster the inference, the more the sandbox part of an episode stands out, and the larger the CPU gap

如果更长的 episode 只意味着每小时完成的 episode 更少,那么在更多服务器上同时运行更多 episode 就能弥补。但在 RL 中,每个 episode 更早完成也很重要,这带来三方面收益13:

  • 更新的样本: 在完全异步训练中,一个 episode 运行得越久,等到该 episode 被用于训练时,权重已经更新得越远,训练需要纠正的偏差也越大。下图展示了我们在 Vera 上的训练情况,其中 episode 长度因任务而异:运行超过 20 分钟的 episode 在开始时权重已落后超过 3 步;在 5 分钟内完成的 episode 落后不到 2 步。同时运行更多 episode 也能加快训练,但会让样本更陈旧;更短的 episode 能在不付出这一代价的情况下加快训练:在 Vera 上 episode 缩短 11% 时,在相同陈旧度下训练最多可加快 12%14.
  • 更少 GPU 内存闲置: 当一个 episode 等待命令结果时,其 KV 缓存会一直占用 GPU 内存。在上面的训练对比中,沙箱位于 Turin 上时,这部分闲置 KV 缓存比 Vera 上大了近 50%:占所有在用 KV 缓存的 17.9%,而 Vera 上为 12.1%。
  • 等待最慢 episode 的时间更少: GRPO 会将每个 episode 与其所在组的其余 episode 进行评分比较,因此一个组只有在其最慢的 episode 完成后才会进入训练,即使在完全异步训练中也是如此。在我们的训练中,已完成的 episode 有 38%–52% 的时间在等待其所在组释放槽位。更快的命令能缩短这一尾部延迟,并更早释放整个组的槽位。

The longer the episode, the staler the sample

因此,在智能体 RL 中,更快的 CPU 服务器不仅能节省运行命令所花的秒数:它还能让整个训练运行更高效。

结论

借助 Miles,我们在 NVIDIA Vera 上端到端运行了智能体 RL 训练,所有沙箱均部署在 Vera 上,涵盖同步和完全异步两种模式,且无需修改训练代码。在仅运行一个沙箱时,Vera 的表现与 x86 持平或更优,并且随着负载加重,其领先优势不断扩大:在相同的延迟标准下,单个插槽承载的负载是当前 x86 的 1.3–2.1 倍。因此,在我们测试的任务中,当沙箱机器保持繁忙时,沙箱运行在 Vera 上的 episode 比运行在当前 x86 CPU 上的 episode 快 12%。而且推理越快,这一点就越重要:我们预计,一旦推理速度达到我们运行中的 8 倍,这一差距将扩大到 33%。在 RL 中,更短的 episode 还意味着有更新鲜的样本可供学习,并能更好地利用 GPU,减少内存闲置,减少等待每组中最慢 episode 的时间。

归根结底,更快的沙箱意味着更快达到目标质量。通过将沙箱运行在 NVIDIA Vera 上,使用 RadixArk Miles 的团队能在相同时间内完成更多 episode,获得更多同策略数据,从而能在相同的 GPU 上以更少时间将智能体模型训练到相同质量。随着 SGLang 推理速度的提升,这一收益未来只会继续增长。

立即试用: https://miles.radixark.com


1 每台机器都运行相同的沙箱服务(相同的 AgentENV 代码、Firecracker 和客户机内核),我们比较的是单个 CPU 插槽对单个插槽。一个 Vera 插槽有 88 个核心和 176 个线程。Turin 为 AWS m8a.metal-24xl,有 96 个核心,不支持同步多线程。Xeon 6 为 AWS m8i.metal-48xl,每个插槽有 96 个核心和 192 个线程。x86 机器使用 AWS 的默认设置,Vera 使用 NVIDIA 调优的启动参数。

2 两种架构的镜像均在同一天基于相同源码构建,我们记录了哪些任务在哪种架构上通过,以及原因。在 sandbox-service 一侧,我们增加了对 Vera 64K 内存页的支持,并为 arm64 构建了 Firecracker。

3 我们比较了该任务训练前半段的 40 个 episode 与后半段的 40 个 episode。早期,大多数失败源于验证器无法连接到 gRPC 服务;后期这种情况很少发生,因此模型确实学会了让服务运行起来。我们检查了每个已解决 episode 的命令,没有任何一个触碰评分文件。

4 后台任务是 SWE-bench 评测(应用参考补丁,然后运行测试),每个任务一完成就立即替换,两台机器上同时各运行 176 个。在同样同时运行 176 个的情况下,Vera 每分钟完成 1,057 次评测,Turin 为 638 次,因此 Vera 还多承担了三分之二的后台工作。当后台仅有 96 个任务(Turin 的线程数)时,Turin 上运行命令的耗时增加了 44%,而在 176 个时增加了 60%:机器越繁忙,差距越大。

5 模型为 GLM-4.7-Flash,运行在同一台配备 8 块 H200 的 GPU 机器上;每一步都在相同的 4 个 SWE-bench Verified 任务上使用 GRPO,每个任务 8 个 episode,每个 episode 最多 100 轮。两侧通过不同的网络路径到达 GPU 机器,因此我们按每轮等待模型的时间进行匹配(推理完全相同,因此任何额外时间都是网络开销):Vera 上为 3.31 秒,Turin 上为 3.32 秒。我们比较的是平均 episode 时间而非步时间:每一步都要等待其最慢的几个 episode,波动很大,5 步无法分辨几个百分点的差异。Episode 时间按任务逐一比较;Turin ÷ Vera 的 90% 置信区间为 1.04–1.22。

6 两侧共运行了 136 条命令,每条至少耗时 0.3 秒:按每条命令的中位数计算,Turin 耗时多 56%;按时间加权,多 54%。

7 这些范围是 Terminal-Bench 2.0、Terminal-Bench 4.0 和 SWE-bench Verified 上每条命令的中位数。该比较重放了真实的智能体轨迹和 SWE-bench 参考解。我们让智能体解决 Terminal-Bench 和 SWE-bench 任务,并记录每条命令及命令之间的思考时间;然后每台机器重放相同的命令,我们检查了每条命令的结果和最终奖励是否一致。这比较的是机器,而不是模型某一次幸运的运行。在 AWS 的默认设置下,Xeon 6 启用了深度睡眠状态(C6),这会使读取文件的命令慢数倍;此处所有 Xeon 6 的数据都是在关闭 C6 的情况下测得的。

8 参考机器是一台 AWS m7i(上一代 Xeon)。每台机器的延迟都除以同一命令在参考机器上单独运行所需的时间,因此这些数字可以直接比较。每项测试都重复了多次。

9 在没有延迟标准的情况下,Vera 的峰值吞吐量比 Turin 高 39%–46%。加上延迟标准后差距更大,因为在接近满载时,x86 的命令已经慢到超过该标准。

10 内存也不是瓶颈:一个 Vera socket 可容纳 4,096 个空闲沙箱。在连续负载下运行 90 分钟,没有任何故障,延迟也没有漂移。

11 该预测假设随着推理速度提升,只有模型的思考时间会缩短,而沙箱内的工作(运行命令、验证器等)仍保持实测水平。实际上,更快的推理会以更高密度发送命令,让机器更繁忙,这只会让 Turin 进一步变慢,因此这一估计是保守的。

12 解码主要受内存带宽限制,单 GPU 带宽从 H200 的 4.8 TB/s 提升到 Blackwell 的 8 TB/s,而 NVIDIA 2026 年一代的 Rubin 公布约为 20 TB/s。FP4 权重占用的字节数是 FP8 的一半。借助 DeepSeek-V3 的多 token 预测(报告),投机解码将解码速度提升了 1.8 倍;NVIDIA 报告称,在加入 EAGLE-3 及其他优化后,Blackwell 上 Llama 4 Maverick 的单用户解码速度提升了 4 倍(博客)。将这些因素相乘,Blackwell 上最多可提升约 6–13 倍,Rubin 上最多可提升约 15–35 倍。RL rollout 可能会把这些收益用于同时运行更多 episode,而不是让每个 episode 更快,因此这些是上限。

13 KV 缓存数值是每一轮的上下文长度乘以等待命令所花的时间,来自上文已加载的训练运行。另外两个数值来自 Vera 上的 Terminal-Bench 训练。陈旧度使用 896 个训练样本各自第一轮的权重,这些样本来自 64 个样本在飞的完全异步训练;等待时间占比则用每组 8 个 episode 测得,分别在同步训练和完全异步训练中各测一次。

14 这是一个估计值,而非测量值。在固定批大小下,一个样本落后的程度会随在飞 episode 数量的增加而增大(在我们的运行中,64 个在飞时约为 2.75 步,32 个在飞时为 1–1.75 步,每步 32 个样本),而训练速度就是该数值除以每个 episode 的时间。因此,在相同的陈旧度下,训练速度与 1 ÷ episode 时间成正比,482 ÷ 429 秒得出 12%。该估计假设 GPU 能够跟上,并使用了上文同步对比中的 episode 时间。