智能体 AI / 生成式 AI 借助 NVIDIA Dynamo 减少强化学习中的 rollout 瓶颈 2026 年 11 月 19 日 作者: Amr Elmeleegy, Harry Kim 和 Kyle Kranen 讨论(0)

AI 生成的摘要

  • NVIDIA Dynamo 提供了一个服务层,用于协调强化学习训练中的分布式 rollout 生成。
  • KV 感知路由在缓存复用和工作节点负载之间取得平衡,从而减少重复的提示词计算和 rollout 延迟。
  • ModelExpress 通过传输压缩的增量更新并复用已驻留在 GPU 内存中的权重,加快权重分发。
  • 恢复机制可检测工作节点故障,将请求重新路由至健康算力,并使替代工作节点通过加载 checkpoint 和 delta 来追赶进度。
  • 开源集成将 Dynamo 与现有的强化学习技术栈连接起来,包括 verl、NeMo RL、Slime 和 prime-rl。

后续步骤

  • 浏览 Dynamo RL 文档 ,开始扩展强化学习训练所需的推理能力。
由 NVIDIA Nemotron 提供支持。AI 生成的内容可能存在摘要不完整的情况,请核实重要信息。 了解更多

强化学习(RL)利用奖励来训练模型,使其能够更成功地解决问题和完成任务。

推理驱动着这一过程。工作节点生成 rollout,即由模型输出、动作和环境交互组成的序列。强化学习框架对结果进行评分、更新模型权重,并将这些权重发回工作节点,以进行下一轮训练。

随着强化学习训练规模扩大,重复计算、缓慢的 rollout、权重更新以及工作节点故障都可能浪费 GPU 算力并延误训练。

NVIDIA Dynamo 提供了一个服务层来应对这些限制,帮助团队生成更多被接受的训练样本,并更快完成训练迭代。

本文介绍了拖慢强化学习训练的 rollout 瓶颈,以及 Dynamo 如何通过路由、ModelExpress 权重更新和恢复机制解决这些问题。

A diagram showing rollout generation, reward scoring, and model-weight updates, with an arrow returning updated weights to the next round of rollouts.
图 1. 强化学习循环生成 rollout、分配奖励并更新模型权重,随后重复这一过程

1. 强化学习为何需要分布式 rollout 基础设施

一个推理 rollout 可能只包含一个回答。一个编码智能体的 rollout 则可能涉及探索代码仓库、编辑、调用工具和运行测试。此类差异会导致推理工作节点之间的工作负载不均衡。

有三项限制决定了这些工作负载支持训练的效率。

Rollout 完成时间。 当训练需要一组样本时,其中完成最慢的必要 rollout 可能会延误下一步。将请求数量平均分配到各个 GPU,并不一定能让工作量也均匀分布。

重复上下文。 多次尝试通常都以相同的指令、任务描述或编码仓库上下文开头。在生成新输出之前反复计算这些前缀,会占用 GPU 算力。

权重时效性。 训练会在整个运行过程中不断产生新的模型权重。工作节点必须按照算法对采样和可接受陈旧程度的要求接收这些权重。

解决这些限制可以让团队在固定的计算预算内完成更多迭代。合适的优化方式取决于哪项限制成为工作负载的瓶颈。

Three constraints on RL training: fast rollouts idle while waiting for the slowest, the same prompt is reprocessed for each output, and one worker runs stale v2 weights while the trainer is at v3.
图 2. 强化学习训练的三项限制:缓慢的 rollout、重复的提示词处理和及时的权重更新

2. 面向强化学习的 Dynamo 架构

Dynamo 位于 rollout 编排层与推理工作节点之间。强化学习框架提交生成请求,Dynamo 将其路由至符合条件的算力,而推理引擎负责执行模型。

A diagram showing how the RL framework, Dynamo, SGLang, and ModelExpress coordinate rollout generation and weight updates.
图 3. Dynamo 协调 rollout 服务,强化学习框架控制训练,ModelExpress 分发权重

各组件的职责依然清晰明确:

组件职责
强化学习框架优化、奖励、环境、checkpoint 和样本验收
Dynamo路由、工作节点管理、服务控制和遥测
推理引擎生成以及应用更新后的权重
ModelExpress通过受支持的集成分发模型权重和工件
表 1. Dynamo 强化学习训练循环中的组件职责

生成请求与权重管理分别遵循不同的路径。请求使用共享的服务前端,而刷新操作则在框架控制下针对选定的工作节点执行。这样,框架便能决定工作节点何时可以生成样本,以及哪些结果符合训练条件。

这种职责分离使团队能够改进服务,同时不转移学习过程的控制权。路由决策决定在哪里执行生成,而框架决定生成的样本是否满足其训练要求。请参阅 强化学习集成参考文档.

3. Dynamo 如何加快路由、权重分发和恢复

KV 感知路由:减少重复的提示词计算

强化学习通常使用同一个共享提示词,为同一任务生成多个解决方案。将这些请求发送给已经缓存该提示词的工作节点,可以避免重复处理并节省 GPU 算力。但如果将所有请求都发送给该工作节点,就可能形成队列,延误 rollout 和下一训练步骤。

Dynamo 的路由器在 KV 缓存复用与工作节点负载之间取得平衡,从而减少重复计算和等待。其目标是更早完成训练所需的样本。

A diagram showing how Dynamo balances cached context and worker load to reuse prompt processing and reduce waiting.
图 4. Dynamo 在缓存复用与工作节点负载之间取得平衡,以减少 rollout 延迟

ModelExpress:减少反复产生的权重分发开销

强化学习训练会反复更新模型。向每个 rollout 工作节点发送完整的 checkpoint 不仅耗时,还可能中断生成。

ModelExpress 通过复用集群中已有的权重,而不是从远程存储加载权重,从而减少这项开销。兼容的工作节点可以通过 NIXL 直接从另一个 GPU 复制权重。

A diagram showing two timelines: a longer weight load from storage and a shorter GPU-to-GPU transfer through ModelExpress.
图 5. ModelExpress 从运行中工作节点的 GPU 内存加载权重,使其比从存储加载更快可用

Delta 权重传输 可减少更新之间发送的数据量。它不再传输完整模型,而是发送变更内容的压缩表示。工作节点基于匹配的基础版本重建新权重,从而缩短传输时间并减少网络流量。

这也有助于恢复。替代工作节点可以加载 checkpoint 并应用后续 delta,以追上训练进度。在恢复算力期间,健康的工作节点可以继续生成 rollout。

A diagram showing how ModelExpress shortens weight updates by transferring smaller deltas instead of full model weights.
图 6. ModelExpress 通过传输压缩后的变更而非完整模型来加快权重更新

强化学习框架负责协调工作节点应用更新的时机、处理缓存状态,并在接受新样本之前检查就绪情况。

恢复:限制工作节点故障的影响

长时间运行的训练必须能够应对工作节点故障,同时避免不必要地中断健康算力。

Dynamo 会检测工作节点丢失,将新请求导向符合条件的工作节点,并在替代工作节点就绪后将其加入路由,从而在工作节点发生故障时保持 rollout 生成持续进行。

受支持的配置还可以迁移符合条件的进行中请求,并实现优雅排空。

强化学习框架会处理中断的样本,并确保替代工作节点使用所需的权重。

An animation showing a failed rollout restarting from the beginning without recovery and resuming from saved conversation history with Dynamo.
图 7. Dynamo 将受支持的会话重新路由到健康的工作节点,并利用已保存的历史记录避免从头重新开始整个 rollout

强化学习工作流中的 Dynamo

Dynamo 在强化学习领域的应用涵盖前沿模型开发、托管基础设施和开源框架:

开始使用面向强化学习的 Dynamo

高效的强化学习基础设施可让 rollout 生成、权重分发和工作节点恢复协同推进。Dynamo 将这些服务能力引入训练循环,帮助团队把分布式 GPU 算力转化为获接受的训练样本和更快的迭代。

浏览 Dynamo 强化学习文档 ,开始扩展下一个模型背后的推理能力。

致谢

Aichen Feng、Biswa Ranjan Panda、Elaine Hou、Hyunjae Woo、Jinyan Chen、John Thomson、Sean Choi、Sophia Yang、William Arnold 和 Zhongdongming Dai 为本文作出了贡献。

讨论(0)

标签

智能体 AI / 生成式 AI | 数据中心 / 云 | 开发者工具与技术 | 云服务 | Dynamo | 中级技术 | 新闻 | CUDA | DSX | Hopper | Kubernetes | 大语言模型 | NeMo

关于作者

Avatar photo 关于 Amr Elmeleegy
Amr Elmeleegy 是数据中心加速计算首席产品营销经理,专注于 NVIDIA AI 推理平台。此前,他曾在 AWS 和 SAP 担任业务拓展及产品营销职务。他拥有加州大学伯克利分校哈斯商学院的工商管理硕士学位,以及开罗大学电气工程学士学位。 查看 Amr Elmeleegy 的所有文章 Avatar photo 关于 Harry Kim
Harry Kim 是 NVIDIA 首席产品经理,致力于利用 Triton 实现高性能且可扩展的 AI/ML 推理。他曾参与 Meta 的推荐系统、Intel AI 的 AI 基础设施,以及 Google 的广告排序和推荐工作。他拥有加州大学伯克利分校统计学博士学位。 查看 Harry Kim 的所有文章 Avatar photo 关于 Kyle Kranen
Kyle Kranen 是 NVIDIA 的深度学习软件工程师。他获得了加州大学伯克利分校电气工程与计算机科学学士学位。目前,他在 NVIDIA 的研究主要集中于推荐系统和时间序列建模。 查看 Kyle Kranen 的所有文章

评论