Liquid AI发布端侧MoE模型LFM2-8B-A1B早
2025年10月7日,Liquid AI发布其首个端侧MoE模型LFM2-8B-A1B的早期检查点。该模型总参数8.3B,每token激活1.5B,质量接近3-4B稠密模型,速度超过Qwen3-1.7B。架构上共18个门控短卷积块和6个GQA块,除前两层外每层含MoE块,每块32个专家、每token激活top-4。基础版预训练约12T token,语料约55%英文、25%多语言、20%代码,MMLU-Pro比LFM2-2.6B提升11.46分。模型已上线Hugging Face,兼容llama.cpp、ExecuTorch和vLLM。
匹配字段标题