先了解这件事
AI 综述
2024年11月29日,Prime Intellect 发布 INTELLECT-1,称其为首个在全球范围内协作训练的 10B 参数语言模型,规模是此前研究的 10 倍。该模型基于 Llama-3 架构,在 5 个国家、3 大洲的最多 112 张 H100 上训练 1T token,跨洲算力利用率 83%,全美范围内为 96%。团队同时开源基础模型、中间 checkpoint、后训练模型、预训练数据集以及 PRIME 分布式训练框架。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Prime Intellect
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月29日
Prime Intellect一手精选
Prime Intellect 发布 INTELLECT-1：全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个在全球范围内协作训练的 10B 参数语言模型，规模是此前研究的 10 倍。该模型基于 Llama-3 架构，在 5 个国家、3 大洲的最多 112 张 H100 上训练 1T token，跨洲算力利用率 83%，全美范围内为 96%。团队同时开源基础模型、中间 checkpoint、后训练模型、预训练数据集以及 PRIME 分布式训练框架。