AI News

humans& 提出 GPU 加速权重传输方案,将 RL 权重同步暂停压至 0.23 秒

Hacker News 热门更新于 11月7日 02:31

GPU-accelerated Weight Teleportation | humans&

AI 导读

humans& 的 Ziang Li 等人发布 GPU 加速权重传输方案,在 Ampersand 生产 RL 配置下把采样器暂停时间降到 0.23 秒以内、端到端权重同步时间降到 4 秒以内。方案基于增量权重的按位异或掩码,结合 GPU 并行压缩、Snappy 加 Zstd 双层压缩、Blackwell 解压引擎与 Triton 内核原地更新权重,并让解压与 SM 计算重叠。相关实现已在 Miles 和 SGLang 中开源。

推荐理由

AI 评分 52

原文给出完整工程方案与实测数字,读者可了解大规模 RL 权重同步如何把 rollout 暂停压到 0.23 秒以内。

主题

标签

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

Hacker News 热门