微软 AI 完成 MAI-Base-2 预训练,2.8T 参数 MoE 基础模型
微软 AI 宣布完成新一代基础模型 MAI-Base-2 的预训练,这是一个 80B 激活参数、2.8T 总参数的 MoE 模型,在内部留出评测上优于其测试的所有开放权重模型。微软称其预训练 FLOPs 效率比最强的开放基础模型 DeepSeek-V4-Pro-Base 高 4-12 倍,训练使用 16k 块 GB200 GPU、历时 38 天,平均 MFU 21%、goodput 89%。该模型基于有机数据训练、不涉及其他模型蒸馏,目前正进行后训练,微软计划通过 Foundry 向可信伙伴授权模型权重。
匹配字段摘要、正文

