Zyphra 发布 ZAYA1-8B-Diffusion-Preview,将自回归模型转为扩散模型
Zyphra 发布 ZAYA1-8B-Diffusion-Preview,把自回归训练的 ZAYA1-8B 转换为离散扩散模型,评估性能没有系统性损失。该模型一次并行扩散 16 个 token,无损采样器带来 4.6x 加速,新的 logit-mixing 采样器带来 7.7x 加速。Zyphra 称这是首个从自回归 LLM 转换而来的 MoE 扩散模型,也是首个在 AMD 上训练的扩散语言模型,转换基于 TiDAR 方案,在 32k 下用 600B token 做扩散转换中期训练,再原生扩展到 128k 训练 500B token。

#模型发布#开源生态#推理



