先了解这件事
AI 综述
SkyRL 于 2026 年 10 月 23 日宣布,通过四类系统优化,在 B200 上把 GLM-5.3-Flash 的单序列训练长度扩展至 100 万 token,峰值约 144.5 GiB,约为开箱 Megatron 基线的 64 倍。相关优化包括:让 DSA 跑在稀疏核上、按 query 分块并按 TP 分片 indexer、整层激活重算与层输入 CPU offload、去掉多余 fp32 升精度。在真实书籍数据下,512k 峰值约 122 GiB,1M(CP=4)约 109 GiB;trainer 与 vLLM 的 logprob 平均绝对差约 0.04–0.07。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
SkyRL 将 GLM-5.3-Flash 训练上下文扩至 100 万 token事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月23日
邵猛
SkyRL 将 GLM-5.3-Flash 训练上下文扩至 100 万 token
SkyRL 通过四类系统优化，在 B200 上把 GLM-5.3-Flash 的单序列训练长度做到 100 万 token，峰值约 144.5 GiB，约为开箱 Megatron 基线的 64 倍。优化包括让 DSA 跑在稀疏核上、按 query 分块并按 TP 分片 indexer、整层激活重算与层输入 CPU offload、去掉多余 fp32 升精度。真实书籍数据下 512k 峰值约 122 GiB，1M（CP=4）约 109 GiB，trainer 与 vLLM 的 logprob 平均绝对差约 0.04–0.07。