Zyphra Research一手模型发布
AI 评分66Zyphra 发布 7B 基础模型 Zamba,开源全部训练检查点
Zyphra 发布 7B 参数基础模型 Zamba,采用 Mamba 块与每 6 层一个全局共享注意力层结合的混合架构,训练和推理比标准 Transformer 更省算力。模型分两阶段训练,先用约 1 万亿 token 开放网页数据,再用约 500 亿 token 高质量数据退火,在多项基准上超过 LLaMA-2 7B 和 OLMo-7B,且训练数据用量不到后者一半。全部检查点以 Apache 2.0 协议开源,由 7 人团队在 128 张 H100 上耗时 30 天完成,Hugging Face 集成和完整技术报告将随后发布。

#模型发布#开源生态#数据/训练
