先了解这件事
AI 综述
2024年10月14日,Zyphra 发布 7B 规模小语言模型 Zamba2-7B,并以 Apache 2.0 开源权重。该模型采用 Mamba2 与两个共享注意力块交替的混合架构。官方称其在评测基准上超过 Mistral-7B、Gemma-7B 和 Llama3-8B,首 token 时间快 25%、每秒 token 数提升 20%,内存占用也明显降低。模型基于 3 万亿 token 预训练数据,并在 128 张 H100 上训练约 50 天。目前尚无后续有证据的发展。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 发布开源小模型 Zamba2-7B事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月14日
Zyphra Research一手
Zyphra 发布开源小模型 Zamba2-7B
Zyphra 发布 7B 规模小语言模型 Zamba2-7B，采用 Mamba2 与两个共享注意力块交替的混合架构，并以 Apache 2.0 开源权重。官方称其在评测基准上超过 Mistral-7B、Gemma-7B 和 Llama3-8B，首 token 时间快 25%、每秒 token 数提升 20%，内存占用也明显降低。模型基于 3 万亿 token 预训练数据，并在 128 张 H100 上训练约 50 天。