搜索“端侧”

MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

OpenBMB 宣布 MiniCPM-V 4.7 在 Apple Silicon 上获得 Day 0 全端侧推理支持

查看事件：MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

网信部门公告新增3款手机端侧生成式AI服务备案

2025年9月23日,网信部门公告新增3款提供手机端侧生成式人工智能服务备案。据新京报报道,这3款服务分别为“YOYO Claw”、Xiaomi miclaw、阶跃终端AI,备案单位分别为深圳荣耀软件技术有限公司、小米科技有限责任公司、智源星辰(上海)智能科技有限公司,分别适用荣耀手机、小米手机、阶跃手机。目前该事件暂无进一步有合格事实证据的发展。

llama.cpp支持端侧运行决策模型

llama.cpp 支持端侧运行 决策模型

查看事件：llama.cpp 支持端侧运行决策模型

微软发布Windows端侧智能更新

2026年10月8日,微软发布Windows端侧智能更新,涵盖端侧模型、Copilot与安全Agent能力。据早先报道,微软为Windows引入本地智能体能力,发布137B参数、256K上下文窗口的编码模型MAI-Code-1.1 Flash,并推出Hybrid Intelligence让Copilot直接在PC上执行操作、敏感数据保留在本地,Windows与Agent 365结合提供MXC本地沙箱。后续报道称,微软于10月7日宣布AI智能体策略驱动容器Microsoft Execution Containers(MXC)正式可用,支持在Windows、Linux、macOS上以沙箱方式运行模型输出、插件、工具等不可信代码,已在GitHub以MIT许可开源,GitHub Copilot、OpenAI Codex等已支持。此后,HuggingFace CEO Clément Delangue发表评论,称微软Windows发布展示了本地AI及llama.cpp的令人兴奋之处。

Liquid AI发布决策模型d1并开源端侧系列

2026年9月30日,Liquid AI发布首个决策模型d1,面向结构化选择而非文本生成:输入上下文和一组带类型的问题后,单次调用返回固定结果集上的校准概率,usage.output_tokens为0。据官方博客,d1可同时接收文本和图像,一次前向传播直接返回各选项概率,文本决策耗时200到300毫秒;官方称在六个真实应用中d1在四项上追平或超过GPT-6.1 Sol,成本比GPT-6.1 Sol和Claude Opus 5.5低19到200倍。d1已在Liquid AI API上线,按输入token计费,图像按每32×32像素块1.5 token折算,并通过Vercel和OpenRouter提供纯文本版本。10月7日至8日,Liquid AI进一步发布开放权重端侧多模态决策模型d1-3B与d1-omni-600M,已在Hugging Face上线。d1-3B在Decision Index v0.2.1公开集得48.57,单次提问在RTX 4090上8毫秒、Jetson AGX Thor上16毫秒、Jetson AGX Orin上26毫秒、Jetson Orin Nano上50毫秒;d

llama.cpp 支持端侧运行决策模型

2026年10月2日,有报道称 Decision 模型现可在 llama.cpp 中端侧运行。相关消息由 A6 a6-025 · Clément Delangue 发布,并给出运行命令 llama serve -hf ggml-org/Kev-4B-GGUF,同时强调免费、快速、私密。目前该故事尚无后续发展事实,状态停留在这一初始进展。

MiniCPM5-2B支持16GB Mac端侧工具调用

面壁智能的MiniCPM5-2B模型支持在16GB Mac上本地运行,并能处理网页搜索这类工具调用。相关演示于2026年9月28日发布,来源为面壁智能OpenBMB。目前没有后续发展事实,该模型在端侧实现工具调用的能力是当前已知的核心信息。

TensorRT端侧基准提速6.4倍

2026年9月16日,NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上完成 MLPerf Inference v6.1 Edge Agentic 基准测试。该测试运行 Qwen3.6-27B,达到 52.33 tokens/秒,用 24 分 36 秒完成全部 1,007 轮性能负载,比 llama.cpp 参考实现的 2 小时 37 分钟快 6.4 倍。据 NVIDIA 开发者博客介绍,这一结果依托 NVFP4 权重与激活量化、FP8 KV cache、基于树的多 token 预测以及跨智能体轮次的 KV cache 复用,其中约 96% 的提示词 token 由热缓存提供。相关代码位于 TensorRT Edge-LLM release/0.9.1-mlpinf 分支。目前尚无后续发展事实。

英伟达推进Cosmos 3 Edge端侧机器人控制

2026年8月20日,英伟达发布Cosmos 3 Edge机器人控制后训练与端侧部署教程,展示如何后训练这款40亿参数模型,并让机器人操控策略直接运行于Jetson Thor。其动作策略在Jetson AGX Thor T5000上约用1.53秒生成可覆盖约2.13秒运动的动作块,在RoboLab的120项闭环任务中取得22.9%的成功率。相关训练与部署脚本已通过开源cosmos-framework提供。

Liquid AI发布端侧视觉语言模型LFM2.5-VL-3

2026年8月12日,Liquid AI 发布面向端侧的视觉语言模型 LFM2.5-VL-3B,并已在 Hugging Face 和官方 Playground 上线。相比上一代 LFM2-VL-3B,新模型在屏幕与 UI 理解、函数调用、grounding 和多图输入四方面有所提升:ScreenSpot-v2 平均 80.7,ToolSandbox 从 26.4 升至 59.5,RefCOCO precision@1 从 57.1 升至 87.9。该模型为非推理模型,直接作答以降低延迟,在 Apple M5 Max 上解码 228 tokens/s、Galaxy S26 Ultra 上 20 tokens/s,占用约 3 GB 内存,并支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

Liquid AI发布端侧Agent模型LFM2.5-2.6

2026年8月4日,Liquid AI 发布端侧智能体模型 LFM2.5-2.6B,基础版与后训练版已在 Hugging Face 上线。该模型为 2.6B 参数,预训练约 34T tokens,词表扩展至 128K,并包含 128K 上下文扩展阶段;后训练经 SFT、教师专精、MOPD 蒸馏与 Agentic RL 四阶段。推理方面,在 M5 Max 上解码 220 tokens/s,Ryzen AI Max+ 395 上 113 tokens/s,占用低于 2.5 GB,手机端保持 30 tokens/s,并首日支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

Liquid AI发布端侧MoE模型LFM2.5-8B-A1

2026年5月28日,Liquid AI发布端侧混合专家(MoE)模型LFM2.5-8B-A1B,面向消费级硬件上的工具调用场景。据其模型与工程博客介绍,该模型上下文窗口从32,768扩展至128,000 tokens,预训练规模从12T提升至38T tokens,词表从65,536扩至128,000,且为纯推理模型。性能方面,其在M5 Max上解码253 tokens/s,在Ryzen AI Max+ 395上为146 tokens/s,占用低于6 GB,单张H100高并发下输出吞吐达18.5K tokens/s。基础版与后训练版已在Hugging Face和Playground上线,首日支持llama.cpp、MLX、vLLM、SGLang和ONNX。

微软发布Windows端侧智能更新

Microsoft 发布 Windows端侧模型、Copilot与安全Agent能力

查看事件：微软发布Windows端侧智能更新

网信部门公告新增3款手机端侧生成式AI服务备案

网信部门 公告 新增3款提供手机端侧生成式人工智能服务备案信息

查看事件：网信部门公告新增3款手机端侧生成式AI服务备案

MiniCPM5-2B支持端侧工具调用

MiniCPM5-2B 支持 在16GB Mac上运行并调用网页搜索等工具

查看事件：MiniCPM5-2B支持16GB Mac端侧工具调用

TensorRT端侧基准提速6.4倍

NVIDIA TensorRT Edge-LLM 完成基准测试并将耗时缩短至参考方案的约六分之一 Jetson AGX Thor上的MLPerf Edge Agentic基准

查看事件：TensorRT端侧基准提速6.4倍

Liquid AI发布端侧Agent模型LFM2.5-2.6B

Liquid AI 发布 LFM2.5-2.6B

查看事件：Liquid AI发布端侧Agent模型LFM2.5-2.6

LG AI Research与LG U+将EXAONE集成到ixi-O端侧服务

2026年7月27日,LG AI Research与LG U+将EXAONE集成到LG U+的AI助手ixi-O端侧服务。据LG AI Research官方博客同日发布的信息,双方把EXAONE 4.0 1.2B轻量模型部署到ixi-O端侧,将原本运行在云端大语言模型上的AI通话分析迁移到设备本地,并使AI代接电话从固定话术升级为理解来电意图的对话式应答。该模型支持最长65K上下文,可处理STT通话脚本,并支持韩语、英语、西班牙语等多语言输入。目前尚无进一步有证据支持的发展。

LG AI Research与LG U+将EXAONE集成到ixi-O端侧服务

LG AI Research and LG U+ 集成 EXAONE 集成到 LG U+ 的 ixi-O

查看事件：LG AI Research与LG U+将EXAONE集成到ixi-O端侧服务

Liquid AI发布端侧MoE模型LFM2.5-8B-A1B

Liquid AI 发布 LFM2.5-8B-A1B

查看事件：Liquid AI发布端侧MoE模型LFM2.5-8B-A1