先了解这件事
AI 综述
2024年8月27日,Zyphra发布1.2B小语言模型Zamba2-mini,并以Apache 2.0协议开源模型权重。据Zyphra Research介绍,该模型称达到Llama2 7B级别性能,4bit量化下内存占用不足700MB;采用Mamba2与共享注意力层交替的混合架构,相比Phi1.5-1.3B首token时间快1.67倍、内存开销降低23.3%。模型在约3T token的Zyda及公开数据集上预训练,并在100B高质量token上退火,已提供Hugging Face集成与纯PyTorch实现。目前尚无后续有证据的发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月27日
Zyphra Research一手
Zyphra 发布 1.2B 小模型 Zamba2-mini，权重以 Apache 2.0 开源
Zyphra 发布 1.2B 小语言模型 Zamba2-mini，称其达到 Llama2 7B 级别的性能，4bit 量化下内存占用不足 700MB，并以 Apache 2.0 协议开源模型权重。该模型采用 Mamba2 与共享注意力层交替的混合架构，相比 Phi1.5-1.3B 首 token 时间快 1.67 倍、内存开销降低 23.3%。模型在约 3T token 的 Zyda 及公开数据集上预训练，并在 100B 高质量 token 上退火，已提供 Hugging Face 集成与纯 PyTorch 实现。