搜索“端侧”

Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking

Liquid AI 发布 LFM2.5-1.2B-Thinking

查看事件：Liquid AI发布端侧推理模型LFM2.5-1.2B-T

Liquid AI与AMD展示端侧会议摘要模型

2026年1月7日,Liquid AI与AMD在CES上展示端侧会议摘要模型LFM2-2.6B-Transcript,该模型完全在AMD Ryzen AI平台本地运行。据Liquid AI模型与工程博客介绍,模型可在2.7GB内存中处理10K token,约相当于60分钟会议记录,并在16秒内生成1K token摘要。基准测试中,该模型短文本表现超过gpt-oss-20b,接近Qwen3-30B和Claude Sonnet,长文本仍优于gpt-oss-20b。用户可通过Liquid AI Cookbook中的命令行工具直接体验,无需API key或云服务。

Liquid AI发布LFM2.5端侧模型家族

2026年1月5日,Liquid AI发布LFM2.5-1.2B模型家族,预训练规模从10T扩展至28T token,并扩大强化学习后训练流程。该家族包含Base、Instruct、日语、视觉语言和音频语言模型。其中LFM2.5-Audio-1.5B采用新的LFM音频解分词器,在移动CPU上比LFM2的Mimi解分词器快8倍,并以INT4量化感知训练。所有模型均为开放权重,已在Hugging Face和LEAP上线,并获llama.cpp、MLX、vLLM、ONNX首日支持,AMD与Nexa AI提供NPU优化版本。

Liquid AI发布端侧MoE模型LFM2-8B-A1B早

2025年10月7日,Liquid AI发布其首个端侧MoE模型LFM2-8B-A1B的早期检查点。该模型总参数8.3B,每token激活1.5B,质量接近3-4B稠密模型,速度超过Qwen3-1.7B。架构上共18个门控短卷积块和6个GQA块,除前两层外每层含MoE块,每块32个专家、每token激活top-4。基础版预训练约12T token,语料约55%英文、25%多语言、20%代码,MMLU-Pro比LFM2-2.6B提升11.46分。模型已上线Hugging Face,兼容llama.cpp、ExecuTorch和vLLM。

Liquid AI发布Liquid Nanos端侧模型系列

2025年9月25日,Liquid AI发布Liquid Nanos系列任务专用端侧基础模型,参数规模从350M到2.6B,占用内存100MB至2GB,可在手机、笔记本和嵌入式设备上本地运行。首批实验性模型包括LFM2-Extract、LFM2-350M-ENJP-MT、LFM2-1.2B-RAG、LFM2-1.2B-Tool、LFM2-350M-Math,以及社区开发的Luth-LFM2法语微调系列。官方称LFM2-1.2B-Extract在结构化抽取上优于参数量22.5倍的Gemma 3 27B,LFM2-350M-ENJP-MT的英日互译质量超过参数量10倍的通用模型。模型已在LEAP平台和Hugging Face上线,采用开放许可。

Liquid AI推出LFM2-350M端侧函数调用方案

2025年7月24日,Liquid AI 与 .txt 合作,介绍了一套面向边缘设备的函数调用方案:以 LFM2-350M 模型搭配 dotgrammar 语法约束库。据其介绍,LFM2-350M 无需量化即可占用不到 1 GB 内存,在常见边缘硬件上推理延迟低于 100ms;dotgrammar 通过上下文无关文法(CFG)保证输出语法始终合法,且不增加推理延迟。相比 JSON 格式,Pythonic 函数调用表示仅需 14 个 token,生成时间减少 2.6 倍。

Liquid AI发布端侧AI开发平台LEAP

2025年7月15日,Liquid AI发布面向端侧AI的开发者平台LEAP,以及用于在手机上体验小语言模型的iOS应用Liquid Apollo。据该发布介绍,LEAP提供Android和iOS跨平台Edge SDK,开发者用几行代码即可在移动应用中部署小语言模型,模型体积最小300MB,可在4GB及以上内存设备运行,并支持LFM2等模型。Liquid Apollo已原生支持全部LEAP模型,可在完全本地、保护隐私的界面中体验包括新一代LFM2在内的模型库。

Liquid AI发布LFM2端侧基础模型系列

2025年7月10日,Liquid AI发布LFM2系列端侧基础模型,开源0.35B、0.7B、1.2B三个稠密权重,可在Liquid Playground、Hugging Face和OpenRouter试用。官方称该系列采用乘法门控与短卷积的混合架构,共16个模块,CPU上decode与prefill速度最高为Qwen3的2倍,训练效率较上一代提升3倍。模型在10T token上预训练,以LFM1-7B做知识蒸馏,上下文长度扩展至32k,并支持CPU、GPU和NPU部署。

Cartesia发布端侧智能产品

2024年8月28日,Cartesia宣布端侧智能首个里程碑,发布开源库Edge、1.3B参数SSM语言模型Rene,以及支持低延迟实时流式生成的Sonic On-Device私有测试版。Rene采用Mamba-2混合架构,在多项基准上表现与同级SOTA小模型相当,Edge已支持Apple MLX和量化推理。

Liquid AI与AMD展示端侧会议摘要模型

Liquid AI 展示 LFM2-2.6B-Transcript端侧会议摘要模型

查看事件：Liquid AI与AMD展示端侧会议摘要模型

Liquid AI发布LFM2.5端侧模型家族

Liquid AI 发布 LFM2.5-1.2B模型家族（Base、Instruct、Japanese、Vision-Language、Audio-Language）

查看事件：Liquid AI发布LFM2.5端侧模型家族

Liquid AI发布端侧MoE模型LFM2-8B-A1B早期检查点

Liquid AI 发布 LFM2-8B-A1B早期检查点

查看事件：Liquid AI发布端侧MoE模型LFM2-8B-A1B早

Liquid AI发布Liquid Nanos端侧模型系列

Liquid AI 发布 Liquid Nanos系列端侧任务专用模型

查看事件：Liquid AI发布Liquid Nanos端侧模型系列

Liquid AI发布LFM2端侧基础模型系列

Liquid AI 发布 LFM2系列端侧基础模型

查看事件：Liquid AI发布LFM2端侧基础模型系列

Zyphra发布2.7B端侧小模型Zamba2-small

2024年7月28日,Zyphra发布面向端侧应用的2.7B小语言模型Zamba2-small,权重以Apache 2.0开源。据Zyphra Research介绍,该模型将Zamba-7B的Mamba1块替换为Mamba2块,并采用两个ABAB交错共享注意力块,对每个共享MLP块应用LoRA projector。相比Phi3-3.8B,其首token时间快2倍、内存开销降低27%、生成延迟低1.29倍,并保持3-4B稠密Transformer的质量而只需1-2B的推理算力与内存。目前该故事尚无后续发展事实。

Zyphra发布2.7B端侧小模型Zamba2-small

Zyphra 发布 Zamba2-small

查看事件：Zyphra发布2.7B端侧小模型Zamba2-small

博通集成以边缘AI芯片BK7259竞逐IC风云榜奖项

博通集成凭高性能边缘AI芯片BK7259,候选第八届IC风云榜“年度人工智能市场突破奖”。据集微网2026年10月30日报道,BK7259采用M52+M55双核与ARM Ethos U65 NPU,提供0.25 TOPS端侧算力,率先将Ethos-U65 microNPU集成进Wi-Fi 6 MCU,深度睡眠电流低至2μA,端侧3D人脸识别约200ms完成。目前该奖项评选结果尚未披露。

Google发布EmbeddingGemma 2论文

Google 发布 EmbeddingGemma 2 论文,介绍一个 Apache 2.0 许可的端侧多模态嵌入模型,把文本、代码、图像、音频和视频映射到同一向量空间。该模型基于 Gemma 4 构建,通过向更大的 Gemini Embedding 2 学习并用对比训练调优,744M 参数规模在多项任务上超过大 2 至 12 倍的模型。在 Pixel 11 Pro 上,量化后的文本权重占用约 191MB 活跃内存,完整多模态模型约 567MB,上下文窗口扩大 4 倍至 8K tokens,可容纳约 5.5 分钟音频、29 张图像或 58 帧视频;直接嵌入语音在 MSEB 口语查询检索基准上得分 69.54,高于先转写再检索的 57.59,代码检索在 MTEB Code 上从 EmbeddingGemma 1 的 68.76 提升到 78.68。目前尚无后续进展。

微纳核芯完成超10亿元C2轮融资

杭州存算一体AI芯片公司微纳核芯完成超10亿元C2轮融资,由建投投资领投,资金用于产品开发迭代与供应链量产备货。叠加9月完成的C1轮,该公司两个月内融资超20亿元、半年累计30亿元。其3D-CIM架构面向大模型推理,端侧与云侧三颗芯片已全部投片,预计2027年初客户送测并启动批量供货。

天数智芯首次实机演示天垓300与TY1200

2026年10月28日,天数智芯首次实机演示通用GPU天垓300及端侧算力终端TY1200,并预告下一代端侧产品TY2000。据智东西报道,天垓300配备144GB显存,在64K长上下文下Attention性能为H200的1.05倍,GLM-5.3模型下MoE吞吐为H200的1.15倍;TY1200为300 TOPS INT8稠密算力,实测TPS超越英伟达Thor T5000。天垓300 IXL144超节点在单机柜集成144颗GPU、聚合约10.1TB显存,每百万有效Token成本较国际主流方案降低约40%。目前该事件仅有上述一次报道,尚无后续进展。