先了解这件事
AI 综述
2024年4月16日,Zyphra发布7B参数基础模型Zamba。该模型采用Mamba块与每6层一个全局共享注意力层结合的混合架构,训练和推理比标准Transformer更省算力。模型分两阶段训练,先用约1万亿token开放网页数据,再用约500亿token高质量数据退火,在多项基准上超过LLaMA-2 7B和OLMo-7B,且训练数据用量不到后者一半。全部检查点以Apache 2.0协议开源,由7人团队在128张H100上耗时30天完成。Hugging Face集成和完整技术报告将随后发布。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 发布 7B 基础模型 Zamba，开源全部训练检查点事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月16日
Zyphra Research一手精选
Zyphra 发布 7B 基础模型 Zamba，开源全部训练检查点
Zyphra 发布 7B 参数基础模型 Zamba，采用 Mamba 块与每 6 层一个全局共享注意力层结合的混合架构，训练和推理比标准 Transformer 更省算力。模型分两阶段训练，先用约 1 万亿 token 开放网页数据，再用约 500 亿 token 高质量数据退火，在多项基准上超过 LLaMA-2 7B 和 OLMo-7B，且训练数据用量不到后者一半。全部检查点以 Apache 2.0 协议开源，由 7 人团队在 128 张 H100 上耗时 30 天完成，Hugging Face 集成和完整技术报告将随后发布。