White Circle 发布后训练框架 Halo,为 Hugging Face 模型加入分布式训练
White Circle 于 9 月 21 日发布后训练框架 Halo,可在 Hugging Face 既有模型上加入多 GPU 分布式训练,无需重写模型实现,新模型系列适配代码约 100 行,权重仍以 SafeTensors 格式保存。在 8 基 NVIDIA B300 上对 gpt-oss-20b 的实测中,Halo 的吞吐最高达到 TRL 的 2.8 倍,峰值显存随配置变化,约 26GB 至 60GB。用 Halo 对 GLM-4.7-Flash 做监督微调后,GLM-4.7-Flash-Coder 在 SWE-rebench-V2 上的单次尝试解决率从 33.15% 提升到 41.65%。
r post-training of open-source models. Halo delivers up to 2.8x the throughput of stock TRL with less peak memory, while models stay in their native HuggingFace format. Star us on GitHub: https://t.co/3mAiUljdrN pic.twitter.com/NDoydDUBWa— White Circle (@whitecircle) September 21, 2026 既存モデルを活用し、複数GPUで追加学習 大きなモデルの追加学習では、モデルの重みに加え、学習中の計算結果やパラメーターの更新に使う情報にもメモリが必要になる。1基のGPUに収まらない場合は、複数のGPUに処理を分ける分散学習を使う。ただし、別の学習基盤へ移す際に、モデルの実装や保存形式を合わせる作業が必要になることがある。 Haloは、Hugging Faceの既存モデルに分散学習の機能を加えることで、モデル全体を書き
匹配字段正文




