蚂蚁百灵发布 Ling 2.5 万亿参数混合线性架构改造实践
蚂蚁百灵在开发者博客公开 Ling 2.5 架构改造实践，将 Ling 2.0 的 GQA 替换为 1:7 的 Lightning Attention 与 MLA 混合线性注意力，并扩展到万亿参数规模。Scaling Law 实验显示 1:7 比例（M=8）在相同 FLOPs 下表现最佳，M=16 推理成本低但 Loss 明显劣化。团队通过权重转换、QK Norm 数学融合与 Partial RoPE 解耦实现平滑迁移，并采用激进数据切换策略在全量加训早期切入新语料。博客提到当上下文窗口扩展至 256K 或更大时，Ling-2.5-1T 仅有的 10 层 MLA 占据超过 60% 的计算成本。
作阻碍 KV 矩阵吸收：Ling-V2.0 包含 QK Norm 这类非线性操作，这会破坏 MLA 的结构，导致推理阶段无法有效吸收 KV 矩阵。 解决方案：我们在转换前移除了 GQA 中的 QK Norm。利用 RMSNorm 的数学特性，通过数据集校准，将 QK Norm 的参数近似融合至 q proj 和 k proj 权重中，化解这一矛盾。 2、位置编码的不兼容：TransMLA 原生支持 Full RoPE，而 Ling 2.0架构使用的是 Partial RoPE。 解决方案：我们对 RoPE 模块进行了针对性解耦。将受 RoPE 影响的维度与无关维度分开处理。 PCA 、权重旋转等操作仅作用于相关维度，处理完成后再进行拼接，确保了位置编码的绝对正确性。 2. 平滑迁移训练策略 为了最小化架构变更对模型性能的影响，我们基于 Ling-2.0-1T-base-20T（即 20T tokens 的 Pre-Training Checkpoint），设计了一套多阶段的权重转换与渐进式训练（Warmup）策略： 转换至 Lightning Attention 与 GQA 混合的架构
匹配字段正文