先了解这件事
AI 综述
2026年5月7日,Zyphra发布ZAYA1-74B-Preview预览版。据Zyphra Research介绍,这是一个4B激活、74B总参数的MoE模型,以Apache 2.0许可开源,权重和模型卡已上线Hugging Face。该模型是未经RL后训练和指令微调的pre-RL推理基座,预训练约15T token,中训练分三阶段将上下文从32k逐步扩展至256k,每阶段约1T token。训练全程使用MI300x GPU与Pensando Pollara互联。Zyphra表示,AMD上的完整规模RL正在进行,预计未来几周发布最终版ZAYA1-74B。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 发布 ZAYA1-74B-Preview，在 AMD 上完成大规模预训练事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月7日
Zyphra Research一手精选
Zyphra 发布 ZAYA1-74B-Preview，在 AMD 上完成大规模预训练
Zyphra 发布 ZAYA1-74B-Preview，这是一个 4B 激活、74B 总参数的 MoE 模型，以 Apache 2.0 许可开源，权重和模型卡已上线 Hugging Face。该模型是未经 RL 后训练和指令微调的 pre-RL 推理基座，预训练约 15T token，中训练分三阶段将上下文从 32k 逐步扩展至 256k，每阶段约 1T token。训练全程使用 MI300x GPU 与 Pensando Pollara 互联，Zyphra 表示 AMD 上的完整规模 RL 正在进行，预计未来几周发布最终版 ZAYA1-74B。