先了解这件事
2026年10月17日,PyTorch 博客介绍将 Zephon 数据加载器集成到 TorchTitan,为其带来弹性确定性数据加载能力。据该博客,在 16 GPU 上训练 1B 参数模型至 step 150 后,改用 8、32、64 GPU 恢复训练,Zephon 的 loss 曲线完全重合,每个 global batch 的 SHA-256 与基线一致。同一 1B 模型在 8 至 64 GPU 上训练 20B tokens 时,标准数据加载器下 DCLM Core v1 分数波动达 0.82 分、FineWeb 达 0.64 分,而 Zephon 仅 0.05 和 0.011 分。Zephon 在训练任务内即时完成 tokenize、pack、shuffle 和混合,无需预处理语料副本。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载事件进展
1 个已确认进展
- 来源：PyTorch Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月17日
PyTorch Blog一手
PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载
PyTorch 博客介绍 Zephon，为 TorchTitan 带来弹性确定性数据加载：在 16 GPU 上训练 1B 参数模型至 step 150 后，改用 8、32、64 GPU 恢复训练，Zephon 的 loss 曲线完全重合，每个 global batch 的 SHA-256 与基线一致。标准数据加载器下，同一 1B 模型在 8 至 64 GPU 上训练 20B tokens，DCLM Core v1 分数波动达 0.82 分、FineWeb 达 0.64 分，而 Zephon 仅 0.05 和 0.011 分。Zephon 在训练任务内即时完成 tokenize、pack、shuffle 和混合，无需预处理语料副本。