Luma 提出打包多模态掩码精确序列并行
Exact sequence parallelism for packed multimodal masks.
AI 导读
Luma 介绍了一种针对打包多模态掩码的精确序列并行方法：每层在 ring attention、稀疏 all-to-all 或 Ulysses 之间选择，数值结果与单 GPU 一致，并在最多 128 张 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。
正文 · AI 翻译
用于打包多模态掩码的精确序列并行。
它每层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值结果与单 GPU 一致，并在最多 128 张 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。