摩尔线程与 EvoPhys 发布白皮书:EvoPhys-World 在 MTT S5000 完成原生全流程训练
摩尔线程与 EvoPhys 团队联合发布《国芯国模:世界模型在 MTT S5000 上的原生全流程训练实践》白皮书,披露自演化 5D 世界模型 EvoPhys-World 在 MTT S5000 智算卡与 MUSA 软件栈上完成从多模态基座到世界模型的原生全流程训练。该模型在斯坦福大学 WorldScore(ICCV 2025)“世界生成”维度登顶并连续 37 天蝉联榜首,训练从单机扩展至数十节点时吞吐保持近线性增长。
,单卡通信缓冲区峰值降至约0.451 GiB,多机微调稳定运行。 多机扩展效率稳定:训练从2节点/16卡扩展至14节点/112卡,扩展效率保持在83.921%—96.456%区间。 媒体组件就位:注意力计算接入MATE FA3,视觉、音频、视频组件分别完成图像处理、音频重采样与视频解码。 Wan2.2:视频DiT训练与多机扩展 Wan2.2面向文本生成视频、图像生成视频等应用。本次实践以TI2V-5B为基础,在MTT S5000与MUSA软件栈上完成模型计算迁移与多机训练,为视频生成模型的定制训练、以及以其为基座的世界模型训练提供实践参考。 对以视频DiT为基座的世界模型而言,若要在同一平台上开展训练,需具备两项基础条件:核心算子可迁移至MUSA,训练规模可随集群扩展。Wan2.2的算子迁移与多机扩展实践,分别对应这两项条件。 核心工程要点: 核心算子迁移:注意力、位置编码和归一化等算子完成在MUSA上的迁移,视频生成主干可在MUSA上运行。 多机训练稳定扩展:训练从2节点/16卡扩展至14节点/112卡,扩展效率达92.526%以上,单卡显存占用保持稳定。 高卡数场景验证:补充测试覆
匹配字段正文