White Circle 发布后训练框架 Halo，为 Hugging Face 模型加入分布式训练

White Circleは2026年9月21日、学習済みのAIモデルを用途に合わせて調整するためのフレームワーク「Halo」を発表した。複数のGPUに計算やデータを分散し、Hugging Faceの既存モデルを使って追加学習を行える。同社がgpt-oss-20bの追加学習時の処理速度を測定したところ、学習ライブラリTRLに比べ、1秒当たりに処理できるトークン数が最大2.8倍になったという。

Introducing Halo, the best framework for post-training of open-source models.

Halo delivers up to 2.8x the throughput of stock TRL with less peak memory, while models stay in their native HuggingFace format.

Star us on GitHub: https://t.co/3mAiUljdrN pic.twitter.com/NDoydDUBWa— White Circle (@whitecircle) September 21, 2026

既存モデルを活用し⁠、複数GPUで追加学習

大きなモデルの追加学習では、モデルの重みに加え、学習中の計算結果やパラメーターの更新に使う情報にもメモリが必要になる。1基のGPUに収まらない場合は、複数のGPUに処理を分ける分散学習を使う。ただし、別の学習基盤へ移す際に、モデルの実装や保存形式を合わせる作業が必要になることがある。

Haloは、Hugging Faceの既存モデルに分散学習の機能を加えることで、モデル全体を書き直す手間を抑える。White Circleによると、新しいモデル系列をHaloに対応させるための追加コードは約100行で済むという。学習後の重みもHugging Faceで使われるSafeTensors形式で保存でき、これまでの方法でモデルを読み込める。

モデルや学習手法に応じて、学習データやモデル内部の計算、長い入力列を複数GPUに分散できる。複数の計算部分（エキスパート）を入力に応じて使い分けるMoEモデルでは、エキスパートをGPU間に分散する方式にも対応する。

単一GPUから複数サーバーまで⁠、各種の学習手法に対応

Haloは、単一GPUでも、NVIDIA B300を搭載した複数サーバーでも利用できる。モデルに少数の学習用パラメーターを追加して調整するLoRAによる追加学習にも対応する。

学習手法として、正解例を与えてモデルを調整する教師ありファインチューニングに加え、外部環境での試行の結果を基に学ぶ強化学習にも対応する。強化学習では、推論エンジンSGLangを主に使って、モデルによるツール利用やコード実行を伴う試行のデータを生成する。そのデータを使った学習と次の試行を並行して進める非同期方式に対応している。

Haloで学習を行う際は、対象モデルや学習手法、GPU構成、学習結果の保存設定をYAML形式の設定ファイルにまとめ、halo launchコマンドで学習を開始する。

処理速度は最大2.8倍⁠、メモリ使用量は構成で変化

White Circleは、NVIDIA B300を8基搭載した環境で、gpt-oss-20bの追加学習時の処理速度を測定した。Haloを使った場合の処理速度は、学習ライブラリTRLを使った場合の最大2.8倍になったという。比較に当たっては、HaloとTRLの両方でモデルの数値形式を16ビットのBF16にそろえ、主要な計算最適化を共通にした。

4,096トークンの入力を各GPUで1件ずつ処理する条件では、TRLのピークメモリ使用量はGPU当たり約48GBだった。これに対してHaloのメモリ使用量は、TRL比で約2.3倍の処理速度を示した構成で約60GB、約2.1倍の構成で約26GBとなった。高速化と省メモリを両立する構成もあるが、速度を優先するとメモリ使用量が増える場合がある。

White Circleは、Liquid AIのモデルLFM2.5-8B-A1Bを同社と協力してHaloに対応させ、単一GPUで追加学習する際の処理速度も比較した。B300を1基使い、入力の長さを8,192トークンと16,384トークンに設定した2条件では、Haloの処理速度はOSSの学習フレームワークAxolotlを約10〜20％上回ったという。

GLM-4.7-Flashの追加学習で開発課題の解決率が向上

White CircleはHaloを使い、GLM-4.7-Flashに教師ありファインチューニングを実施した。学習には、エージェントの実行履歴からなる1億7,700万トークンのデータを用いた。

学習後のGLM-4.7-Flash-Coderを、実際のソフトウェア開発課題を解く能力を測るSWE-rebench-V2で評価したところ、1回の試行での解決率が元モデルの33.15％から41.65％へ向上したという。

GLM-4.7-Flash-Coder - White Circle

ソースコードを公開⁠、ライセンスには追加条件

Haloのソースコード、設定例、ドキュメントはGitHubリポジトリで公開されており、Apache License 2.0に追加条件を設けたHalo Licenseが適用される。

Haloを、第三者が学習を指示できるサービスとして提供する場合は、そのサービスの売上高に応じて別途商用契約が必要になる。また、Haloで学習したモデルの公開・商用展開には、利用者の売上高に応じてクレジット表示を求める条件がある。売上高の基準や算定期間など、詳しくはHalo Licenseを参照。