先了解这件事
AI 综述
Baseten工程博客称,其重建了GLM-5.3约770GB检查点的增量权重同步路径,将平均同步时间从约36秒降至15秒,请求暂停从6秒降至0.8秒。新设计以GPU上的权重作为父副本,不再在CPU内存保留完整副本,并用Adler-32校验和按变更字节做常数时间更新。省下的主机内存用于KV cache卸载,在并发48时缓存命中率从2%升至92%,单GPU输出吞吐提升3.2倍。同一博客还提到,Kimi K3的8.4GB增量同步为75秒、暂停4.1秒。
AI 根据公开报道生成
最新进展 · 正式报道
Baseten 将 770GB 权重增量同步从 36 秒降至 15 秒事件进展
1 个已确认进展
- 来源：Baseten 工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月31日
Baseten 工程博客一手
Baseten 将 770GB 权重增量同步从 36 秒降至 15 秒
Baseten 工程博客称，约 770GB 的 GLM-5.3 检查点增量权重同步从平均约 36 秒降到 15 秒，请求暂停从 6 秒降到 0.8 秒。新设计以 GPU 上的权重作为父副本，不再在 CPU 内存保留完整副本，并用 Adler-32 校验和按变更字节做常数时间更新。省下的主机内存用于 KV cache 卸载，在并发 48 时缓存命中率从 2% 升到 92%，单 GPU 输出吞吐提升 3.2 倍；Kimi K3 的 8.4GB 增量同步为 75 秒、暂停 4.1 秒。