搜索“Hugging Face”

Liquid AI发布端侧推理模型LFM2.5-1.2B-T

2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

Liquid AI发布LFM2.5端侧模型家族

2026年1月5日,Liquid AI发布LFM2.5-1.2B模型家族,预训练规模从10T扩展至28T token,并扩大强化学习后训练流程。该家族包含Base、Instruct、日语、视觉语言和音频语言模型。其中LFM2.5-Audio-1.5B采用新的LFM音频解分词器,在移动CPU上比LFM2的Mimi解分词器快8倍,并以INT4量化感知训练。所有模型均为开放权重,已在Hugging Face和LEAP上线,并获llama.cpp、MLX、vLLM、ONNX首日支持,AMD与Nexa AI提供NPU优化版本。

Mistral AI发布Mistral 3模型家族

2025年12月3日,Mistral AI发布Mistral 3模型家族,包括3B、8B和14B的Ministral 3,以及采用稀疏MoE架构、含41B激活参数和675B总参数的Mistral Large 3,均以Apache 2.0许可证发布。Ministral 3提供base、instruct和reasoning版本,Mistral Large 3提供base与instruct版本并将推出reasoning版本;该系列现已登陆Mistral AI Studio、Amazon Bedrock、Azure Foundry、Hugging Face等平台。此前,Modal于2025年12月2日宣布为Mistral 3提供Day 0支持,开发者可在其无服务器基础设施上部署并自动扩缩容这些模型;Modal的GPU内存快照功能在Ministral 3 3B上把中位冷启动时间从约118秒降到约12秒,接近10倍提升。

Liquid AI发布350M跨语言检索模型

2025年10月28日,Liquid AI发布LFM2-ColBERT-350M检索模型。该模型为350M参数的晚期交互检索模型,支持跨语言检索,即文档用一种语言存储、查询用另一种语言也能高精度召回。在扩展了日语和韩语的NanoBEIR基准上,其多语言能力显著强于150M参数的GTE-ModernColBERT-v1,德语、阿拉伯语、韩语和日语提升明显,同时保持英语表现。凭借LFM2骨干,其推理吞吐与体积小2.3倍的模型相当。模型已在Hugging Face上线并附交互demo,可直接替换现有RAG流程。

vLLM新增支持Nemotron模型家族

2025年10月23日,vLLM宣布支持部署NVIDIA Nemotron开放模型家族,使其可在数据中心及端侧硬件上运行智能体推理。其中,Nemotron Nano 2采用混合Transformer–Mamba架构,并提供可配置的thinking budget,开发者可据此调节精度、吞吐量和成本。相关模型权重及超过9万亿tokens的训练数据已在Hugging Face提供。

Liquid AI发布LFM2-VL-3B边缘视觉语言模型

2025年10月22日,Liquid AI发布3B参数视觉语言模型LFM2-VL-3B,面向边缘设备。该模型以LFM2-2.6B为主干,集成SigLIP2 400M NaFlex编码器,支持原生分辨率和可变宽高比图像处理。据Liquid AI模型与工程博客介绍,模型在MM-IFEval上取得51.8%、RealWorldQA上71.4%,语言基准GPQA为30%、MMLU为63%,视觉理解覆盖日语、法语、西班牙语、德语、意大利语、葡萄牙语、阿拉伯语、中文和韩语。模型已在Hugging Face以LFM Open License上线,并登陆LEAP平台。

Liquid AI发布端侧MoE模型LFM2-8B-A1B早

2025年10月7日,Liquid AI发布其首个端侧MoE模型LFM2-8B-A1B的早期检查点。该模型总参数8.3B,每token激活1.5B,质量接近3-4B稠密模型,速度超过Qwen3-1.7B。架构上共18个门控短卷积块和6个GQA块,除前两层外每层含MoE块,每块32个专家、每token激活top-4。基础版预训练约12T token,语料约55%英文、25%多语言、20%代码,MMLU-Pro比LFM2-2.6B提升11.46分。模型已上线Hugging Face,兼容llama.cpp、ExecuTorch和vLLM。

Liquid AI发布Liquid Nanos端侧模型系列

2025年9月25日,Liquid AI发布Liquid Nanos系列任务专用端侧基础模型,参数规模从350M到2.6B,占用内存100MB至2GB,可在手机、笔记本和嵌入式设备上本地运行。首批实验性模型包括LFM2-Extract、LFM2-350M-ENJP-MT、LFM2-1.2B-RAG、LFM2-1.2B-Tool、LFM2-350M-Math,以及社区开发的Luth-LFM2法语微调系列。官方称LFM2-1.2B-Extract在结构化抽取上优于参数量22.5倍的Gemma 3 27B,LFM2-350M-ENJP-MT的英日互译质量超过参数量10倍的通用模型。模型已在LEAP平台和Hugging Face上线,采用开放许可。

Liquid AI发布LFM2-2.6B开源模型

2025年9月23日,Liquid AI发布LFM2系列目前最大的模型LFM2-2.6B,参数规模2.6B,基于10万亿token训练。官方称其在GSM8K上达到82.41%、IFEval上达到79.56%,表现超过Llama 3.2-3B-Instruct、Gemma-3-4b-it和SmolLM3-3B等3B+级别模型。该模型主要针对英语和日语调优,同时保持法语、西班牙语、德语、意大利语、葡萄牙语、阿拉伯语、中文和韩语的性能。其混合架构交替使用Grouped Query Attention(GQA)与短卷积层,官方称可带来更快的推理速度和更低的KV cache占用。模型已在Hugging Face上以LFM Open License开放。

Liquid AI发布LFM2-VL视觉语言模型

2025年8月12日,Liquid AI 发布其首个视觉语言模型系列 LFM2-VL,包含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个版本,面向低延迟与端侧部署,支持文本和可变分辨率图像输入。模型基于 LFM2 骨干,视觉塔采用 SigLIP2 NaFlex 编码器,原生分辨率最高 512×512,更大图像按 512×512 分块处理;官方称在 GPU 上推理速度最高可达同类模型的 2 倍。模型已兼容 Hugging Face transformers 和 TRL,训练使用约 1000 亿多模态 token。

研究称HLE近三成生化答案存疑

2025年7月23日,FutureHouse发布审计结果,称Humanity's Last Exam(HLE)纯文本化学与生物子集中约29%的答案与同行评审文献直接冲突。该审计使用开源PaperQA2智能体Crow检查321道题,发现53.3%的答案理由与已发表证据直接冲突,经独立专家复核后外推约29.3±3.7%(95% CI)的题目答案被研究文献直接反驳,51.3%获文献支持,19.3%属依赖假设或观点的模糊题。FutureHouse认为HLE要求题目必须难倒前沿模型、审稿人只需5分钟且无需核实正确性的流程,催生了大量gotcha式题目,并已将经AI与人类验证的题目子集作为HLE-Gold-Bio/Chem发布在Hugging Face。HLE团队在2025年9月16日的更新中回应,其独立复核发现Bio/Chem子集中约18%的题目存在问题,25%的情况下至少一位审稿人持异议,并计划推出滚动修订流程。

Liquid AI发布LFM2端侧基础模型系列

2025年7月10日,Liquid AI发布LFM2系列端侧基础模型,开源0.35B、0.7B、1.2B三个稠密权重,可在Liquid Playground、Hugging Face和OpenRouter试用。官方称该系列采用乘法门控与短卷积的混合架构,共16个模块,CPU上decode与prefill速度最高为Qwen3的2倍,训练效率较上一代提升3倍。模型在10T token上预训练,以LFM1-7B做知识蒸馏,上下文长度扩展至32k,并支持CPU、GPU和NPU部署。

Prime Intellect发布INTELLECT-2分布

2025年4月15日,Prime Intellect发布INTELLECT-2,称其为首个32B参数全球去中心化强化学习训练,任何人都可无许可贡献异构算力。该训练以QwQ-32B为基座模型,沿用DeepSeek-R1的GRPO与可验证奖励方法,并配套开源prime-RL异步分布式RL库、Shardcast权重分发库和TOPLOC可验证推理方案。推理节点可用消费级GPU,例如4×RTX 3090即可参与训练,训练数据已发布在Hugging Face。

vLLM接入Transformers后端

2025年4月11日,vLLM集成Hugging Face Transformers建模后端,使兼容模型在沿用Transformers实现的同时获得vLLM的吞吐量和延迟优化。该后端已支持视觉语言模型,可通过model_impl="transformers"、OpenAI兼容API或LLM API部署。对于vLLM尚未原生支持的兼容模型,系统也可自动切换至Transformers实现。

vLLM扩展AMD量化支持

2025年2月24日,vLLM宣布自v0.7.3起在AMD ROCm平台支持PTPC-FP8量化,Hugging Face模型无需预量化即可通过“--quantization ptpc_fp8”运行。MI300X测试显示,其吞吐量为逐张量FP8的1.01倍;Llama-3.1-8B-Instruct困惑度较BF16下降0.86%,Llama-3.1-70B-Instruct在GSM8K上取得87.3%的strict-match准确率。融合FP8逐行缩放GEMM操作相较朴素实现最高加速2.5倍。

SpecForge团队联合多家伙伴发布SpecBundle Phase 1

2025年12月23日,SpecForge团队联合Ant、Meituan、Nex-AGI、EigenAI发布SpecBundle(Phase 1),提供基于大规模数据集训练的生产级EAGLE-3模型checkpoint,Phase 1聚焦instruct微调模型。同期发布的SpecForge v0.2完成大规模重构,新增Eagle3TargetModel统一接口,支持SGLang与Hugging Face Transformers两种执行后端。目前尚无后续发展事实。

MiniMax 开源并发布 MiniMax M2 模型

2025年10月27日,MiniMax 正式开源并发布 MiniMax M2 模型,定位为面向 Agent 与编码场景。据 MiniMax Blog 当日发布的信息,模型权重已在 Hugging Face 开源,支持 SGLang 与 vLLM 部署,推荐推理参数为 temperature=1.0、top_p=0.95、top_k=20。API 定价为每百万输入 token 0.30 美元、每百万输出 token 1.20 美元,约为 Claude 4.5 Sonnet 的 8%,在线推理 TPS 约 100。免费试用延长至 11 月 7 日 00:00 UTC。同时上线由 M2 驱动的 MiniMax Agent,提供 Lightning 与 Pro 两种模式,目前限时免费。目前尚无后续发展事实。

Zyphra发布1.2B小模型Zamba2-mini

2024年8月27日,Zyphra发布1.2B小语言模型Zamba2-mini,并以Apache 2.0协议开源模型权重。据Zyphra Research介绍,该模型称达到Llama2 7B级别性能,4bit量化下内存占用不足700MB;采用Mamba2与共享注意力层交替的混合架构,相比Phi1.5-1.3B首token时间快1.67倍、内存开销降低23.3%。模型在约3T token的Zyda及公开数据集上预训练,并在100B高质量token上退火,已提供Hugging Face集成与纯PyTorch实现。目前尚无后续有证据的发展。

Zyphra发布7B基础模型Zamba

2024年4月16日,Zyphra发布7B参数基础模型Zamba。该模型采用Mamba块与每6层一个全局共享注意力层结合的混合架构,训练和推理比标准Transformer更省算力。模型分两阶段训练,先用约1万亿token开放网页数据,再用约500亿token高质量数据退火,在多项基准上超过LLaMA-2 7B和OLMo-7B,且训练数据用量不到后者一半。全部检查点以Apache 2.0协议开源,由7人团队在128张H100上耗时30天完成。Hugging Face集成和完整技术报告将随后发布。目前尚无后续发展事实。

vLLM集成Transformers建模后端

vLLM 集成 Hugging Face Transformers建模后端

查看事件：vLLM接入Transformers后端