Prime Intellect推算力平台并开源训练框架
2024年7月1日,Prime Intellect 宣布其聚合与调度全球 GPU 资源的平台 Prime Intellect Compute 全面公开,已接入 12 家云厂商,用户可即时按需获取最多 8 张 GPU,H100 按需价格为每小时 1.5 至 4 美元。官方称当前 H100 在不同供应商间价格从每小时 1.2 到 18 美元不等,高端 GPU 闲置率常达 20-50% 以上。平台后续计划支持 16-128+ GPU 的多节点集群、即时报价与可靠性数据。7月11日,Prime Intellect 开源 OpenDiLoCo,这是 DeepMind DiLoCo 低通信分布式训练方法的可复现实现,代码基于 Hivemind 与 PyTorch FSDP,已发布在 GitHub。团队在加拿大、芬兰和美国两地共四个 DiLoCo worker(各 8 张 H100)上训练 1.1B 参数模型,跨两大洲三国,计算利用率保持 90-95%,all-reduce 仅占训练时间 6.9%。相比原论文 400M 参数规模,该方法被扩展到 1.1B 参数,并验证伪梯度可用 FP16 all-r
匹配字段摘要
