humans& 提出 GPU 加速权重传输方案,将 RL 权重同步暂停压至 0.23 秒
GPU-accelerated Weight Teleportation | humans&
AI 导读
humans& 的 Ziang Li 等人发布 GPU 加速权重传输方案,在 Ampersand 生产 RL 配置下把采样器暂停时间降到 0.23 秒以内、端到端权重同步时间降到 4 秒以内。方案基于增量权重的按位异或掩码,结合 GPU 并行压缩、Snappy 加 Zstd 双层压缩、Blackwell 解压引擎与 Triton 内核原地更新权重,并让解压与 SM 计算重叠。相关实现已在 Miles 和 SGLang 中开源。
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。