先了解这件事
AI 综述
2024年7月28日,Zyphra发布面向端侧应用的2.7B小语言模型Zamba2-small,权重以Apache 2.0开源。据Zyphra Research介绍,该模型将Zamba-7B的Mamba1块替换为Mamba2块,并采用两个ABAB交错共享注意力块,对每个共享MLP块应用LoRA projector。相比Phi3-3.8B,其首token时间快2倍、内存开销降低27%、生成延迟低1.29倍,并保持3-4B稠密Transformer的质量而只需1-2B的推理算力与内存。目前该故事尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 发布 2.7B 端侧模型 Zamba2-small事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月28日
Zyphra Research一手
Zyphra 发布 2.7B 端侧模型 Zamba2-small
Zyphra 发布 Zamba2-small，一个面向端侧应用的 2.7B 小语言模型，权重以 Apache 2.0 开源。该模型将 Zamba-7B 的 Mamba1 块替换为 Mamba2 块，并采用两个 ABAB 交错共享注意力块，对每个共享 MLP 块应用 LoRA projector。相比 Phi3-3.8B，其首 token 时间快 2 倍、内存开销降低 27%、生成延迟低 1.29 倍，并保持 3-4B 稠密 Transformer 的质量而只需 1-2B 的推理算力与内存。