先了解这件事
AI 综述
2023年12月14日,Cartesia与Together合作发布Mamba-3B-SlimPJ模型。该模型拥有2.8B参数,在SlimPajama数据集上训练了600B tokens,采用Apache 2.0许可。在10项任务上,其质量与BTLM-3B-8K相当,但训练FLOPs减少了17%。模型权重已在HuggingFace上提供。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Cartesia 产品与研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
12月14日
Cartesia 产品与研究一手
Mamba-3B-SlimPJ：以 17% 更少 FLOPs 匹敌最强 Transformer 架构
Cartesia 与 Together 合作发布 Mamba-3B-SlimPJ，一个 2.8B 参数、在 SlimPajama 数据集上训练 600B tokens 的 Mamba 模型，采用 Apache 2.0 许可。该模型在 10 项任务上与 BTLM-3B-8K 质量相当，但训练 FLOPs 减少 17%。权重已在 HuggingFace 提供。