先了解这件事
2024年7月1日,Prime Intellect 宣布其聚合与调度全球 GPU 资源的平台 Prime Intellect Compute 全面公开,已接入 12 家云厂商,用户可即时按需获取最多 8 张 GPU,H100 按需价格为每小时 1.5 至 4 美元。官方称当前 H100 在不同供应商间价格从每小时 1.2 到 18 美元不等,高端 GPU 闲置率常达 20-50% 以上。平台后续计划支持 16-128+ GPU 的多节点集群、即时报价与可靠性数据。7月11日,Prime Intellect 开源 OpenDiLoCo,这是 DeepMind DiLoCo 低通信分布式训练方法的可复现实现,代码基于 Hivemind 与 PyTorch FSDP,已发布在 GitHub。团队在加拿大、芬兰和美国两地共四个 DiLoCo worker(各 8 张 H100)上训练 1.1B 参数模型,跨两大洲三国,计算利用率保持 90-95%,all-reduce 仅占训练时间 6.9%。相比原论文 400M 参数规模,该方法被扩展到 1.1B 参数,并验证伪梯度可用 FP16 all-r
AI 根据公开报道生成
最新进展 · 正式报道
Prime Intellect 开源 OpenDiLoCo，实现跨洲分布式低通信训练事件进展
2 个已确认进展
- 来源：Prime Intellect
- 来源：Prime Intellect
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月11日
Prime Intellect一手
Prime Intellect 开源 OpenDiLoCo，实现跨洲分布式低通信训练
Prime Intellect 开源 OpenDiLoCo，这是 DeepMind DiLoCo 低通信分布式训练方法的可复现实现，代码基于 Hivemind 与 PyTorch FSDP，已发布在 GitHub。团队在加拿大、芬兰和美国两地共四个 DiLoCo worker（各 8 张 H100）上训练 1.1B 参数模型，跨两大洲三国，计算利用率保持 90-95%，all-reduce 仅占训练时间 6.9%。相比原论文 400M 参数规模，该方法被扩展到 1.1B 参数，并验证伪梯度可用 FP16 all-reduce 而不损失性能。
7月1日
Prime Intellect一手精选
Prime Intellect 发布算力交易平台 Prime Intellect Compute
Prime Intellect 宣布其聚合与调度全球 GPU 资源的平台 Prime Intellect Compute 全面公开，已接入 12 家云厂商，用户可即时按需获取最多 8 张 GPU，H100 按需价格为每小时 1.5 至 4 美元。平台后续计划支持 16-128+ GPU 的多节点集群、即时报价与可靠性数据，并研究跨集群分布式训练框架 OpenDiLoCo。官方称当前 H100 在不同供应商间价格从每小时 1.2 到 18 美元不等，高端 GPU 闲置率常达 20-50% 以上。