先了解这件事
AI 综述
2024年10月11日,Prime Intellect发布INTELLECT-1,称其为首个在全球分布式节点上训练的10B参数模型,并开放算力贡献入口。该模型基于Llama-3架构,训练数据混合55% Fineweb-edu、20% DLCM、20% Stack v2和5% OpenWebMath,经Llama-3 tokenizer处理后超过6万亿token。配套发布的分布式训练框架Prime支持容错训练、节点动态上下线和int8伪梯度通信;官方称生产训练中每100步同步一次,通信仅占总训练时间的1-2%。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Prime Intellect
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月11日
Prime Intellect一手精选
Prime Intellect 启动 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个在全球分布式节点上训练的 10B 参数模型，并开放算力贡献入口。该模型基于 Llama-3 架构，训练数据混合 55% Fineweb-edu、20% DLCM、20% Stack v2 和 5% OpenWebMath，经 Llama-3 tokenizer 处理后超过 6 万亿 token。配套发布的分布式训练框架 Prime 支持容错训练、节点动态上下线和 int8 伪梯度通信，官方称生产训练中每 100 步同步一次，通信仅占总训练时间的 1-2%。