先了解这件事
AI 综述
2025年3月5日,Cartesia发布Llamba-1B、3B、8B模型权重。该系列采用MOHAWK架构蒸馏方法,将Llama-3.X转换为Mamba-2架构,训练数据量比从头预训练少1000倍。Llamba-8B在NVIDIA H100上生成8192 tokens时吞吐量比Llama-3.1-8B高12倍,并已针对Apple Silicon和MLX框架优化。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Cartesia 产品与研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
3月5日
Cartesia 产品与研究一手精选
Cartesia 发布 Llamba 系列模型，用架构蒸馏将 Llama 转换为高效 Mamba-2 变体
Cartesia 发布 Llamba-1B、3B、8B 模型，采用 MOHAWK 架构蒸馏方法将 Llama-3.X 转换为 Mamba-2 架构，训练数据量比从头预训练少 1000 倍。Llamba-8B 在 NVIDIA H100 上生成 8192 tokens 时吞吐量比 Llama-3.1-8B 高 12 倍，并已针对 Apple Silicon 和 MLX 框架优化。