先了解这件事
AI 综述
2026年11月2日,humans&的Ziang Li等人发布GPU加速权重传输方案,并已在Miles和SGLang中开源相关实现。该方案在Ampersand生产RL配置下,将采样器暂停时间降至0.23秒以内,端到端权重同步时间降至4秒以内。方案基于增量权重的按位异或掩码,结合GPU并行压缩、Snappy加Zstd双层压缩、Blackwell解压引擎与Triton内核原地更新权重,并让解压与SM计算重叠。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
humans& 提出 GPU 加速权重传输方案，将 RL 权重同步暂停压至 0.23 秒事件进展
1 个已确认进展
- 来源：Hacker News 热门
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月2日
Hacker News 热门
humans& 提出 GPU 加速权重传输方案，将 RL 权重同步暂停压至 0.23 秒
humans& 的 Ziang Li 等人发布 GPU 加速权重传输方案，在 Ampersand 生产 RL 配置下把采样器暂停时间降到 0.23 秒以内、端到端权重同步时间降到 4 秒以内。方案基于增量权重的按位异或掩码，结合 GPU 并行压缩、Snappy 加 Zstd 双层压缩、Blackwell 解压引擎与 Triton 内核原地更新权重，并让解压与 SM 计算重叠。相关实现已在 Miles 和 SGLang 中开源。