搜索“端侧”

Liquid AI发布24B稀疏MoE模型并展示端侧Agen

2026年2月24日,Liquid AI发布LFM2-24B-A2B早期检查点,这是其最大的LFM2模型,采用稀疏MoE架构,总参数24B、每token激活2.3B,设计上可放入32GB内存,权重已在Hugging Face开放。模型沿用LFM2-8B-A1B配方,层数从24增至40、每MoE块专家数从32增至64,保持top-4路由,前两层仍为稠密层。官方称在GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K和MATH-500等基准上,从350M到24B质量随规模呈对数线性提升;该模型已获llama.cpp、vLLM和SGLang首日支持,在单张H100 SXM5上用vLLM于1024并发请求下达到约26.8K tokens/s。3月5日,Liquid AI发布开源桌面智能体LocalCowork,完全在本地运行,模型、工具和数据都不离开设备,无需云端和API key。在Apple M4 Max、36GB统一内存笔记本上,模型以Q4_K_M GGUF经llama-server部署,占用约14.5GB内存,单次工具选择平均约385ms,在13个MCP服

Liquid AI与AMD展示端侧会议摘要模型

2026年1月7日,Liquid AI与AMD在CES上展示端侧会议摘要模型LFM2-2.6B-Transcript,该模型完全在AMD Ryzen AI平台本地运行。据Liquid AI模型与工程博客介绍,模型可在2.7GB内存中处理10K token,约相当于60分钟会议记录,并在16秒内生成1K token摘要。基准测试中,该模型短文本表现超过gpt-oss-20b,接近Qwen3-30B和Claude Sonnet,长文本仍优于gpt-oss-20b。用户可通过Liquid AI Cookbook中的命令行工具直接体验,无需API key或云服务。

Liquid AI发布端侧AI开发平台LEAP

2025年7月15日,Liquid AI发布面向端侧AI的开发者平台LEAP,以及用于在手机上体验小语言模型的iOS应用Liquid Apollo。据该发布介绍,LEAP提供Android和iOS跨平台Edge SDK,开发者用几行代码即可在移动应用中部署小语言模型,模型体积最小300MB,可在4GB及以上内存设备运行,并支持LFM2等模型。Liquid Apollo已原生支持全部LEAP模型,可在完全本地、保护隐私的界面中体验包括新一代LFM2在内的模型库。

Google发布离线AI会议笔记应用AI Edge Foresight

2026年10月8日,Google发布本地优先的AI会议笔记应用Google AI Edge Foresight。据The Verge AI报道,该应用可在完全离线状态下转写会议和音频文件,免费使用,基于端侧EmbeddingGemma 2模型,目前运行于macOS,会在转写同时生成会议摘要,支持用户记录要点后由应用整理成完整笔记,并内置助手回答关于录音内容的问题,也能接入本地文件作为参考;Google称文件、会议音频和笔记都不会离开用户电脑,目前仅针对Apple Silicon的Mac优化。TechCrunch AI同日报道称,该应用对标Granola等AI笔记工具,使用7.4亿参数的端侧EmbeddingGemma 2模型跨应用捕捉会议内容,包括线下会议,采用分屏视图,一侧手写速记、一侧生成AI笔记,支持查看转录文本或与Gemma 4驱动的助手对话,还可上传PDF、Google Docs、Microsoft Office格式、纯文本、Markdown和网页书签构建知识库,在会议中实时回答相关问题。目前尚无后续发展事实。

DeepMind发布EmbeddingGemma 2

2026年10月6日,Google DeepMind发布开放权重多模态嵌入模型EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量740M。据Google Developers Blog介绍,文本权重在Google Pixel 11 Pro上仅需约191MB活跃内存,完整多模态模型约567MB,无需训练数据或微调即可作为端侧决策引擎,实现毫秒级零样本意图路由;Google AI Edge Gallery新增Instant Media Search和Video Moments Finder演示,未来数周内该模型将通过ML Kit以服务形式登陆Android并支持NPU加速。据Google DeepMind介绍,该模型采用Apache 2.0许可,在MTEB Code上从68.76提升到78.68,支持8K token上下文窗口,权重已在Hugging Face和Kaggle开放下载。10月6日,Georgi Gerganov宣布llama.cpp对EmbeddingGemma 2提供Day-0支持;10月7日,Simon Willison表示赞赏其采用

Perplexity开源七项AI项目

2026年10月3日,Perplexity开源了七项模型、推理工具与安全项目。据当时报道,其中包括多模态决策模型pplx-decider-v1-27b,在11项基准上平均85.7%,领先Jev;上下文嵌入向量模型pplx-embed-v2-context-9b-preview,在ConTEB和turbopuffer context-bench上表现最佳;面向Apple silicon的本地推理引擎Lily,用Rust加自定义metal kernel实现,在M5 Max上prefill比MLX-LM快1.23倍、decode快1.35倍;以及0.6B端侧PII分类器PII-Tracer及配套PII-TRACE基准、面向深度研究智能体的WANDR基准、笔记本与工作站智能体检测响应工具Numbat、只读供应链扫描器Bumblebee。2026年10月7日,Perplexity宣布其决策模型在Hugging Face Decision Index上登顶,并称该模型为开放权重。

Liquid AI展示端侧工具调用Agent实测

Liquid AI 发布 LFM2-24B-A2B端侧工具调用Agent实测与开源桌面应用LocalCowork

查看事件：Liquid AI发布24B稀疏MoE模型并展示端侧Agen

Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Google AI Edge 团队开源 ML Drift GPU 推理引擎

2026年10月8日,Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift。该引擎抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,是 LiteRT 的核心 GPU 加速引擎,也可作为独立库使用。相比旧版 TFLite GPU delegate,它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化,并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%,YouTube Shorts 平均帧延迟最多降低 40%,Google Photos 提速最多 2 秒,Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%,Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。目前尚无后续发展事实。

Google 发布 ADK for Kotlin 1.0 正式版

2026年9月9日,Google 发布 Agent Development Kit(ADK)for Kotlin 1.0 正式版,面向 Kotlin 与 Android 的生产级 AI 智能体开发。据 Google Developers Blog 介绍,该版本功能与 ADK 1.0 Core 完全对齐,并面向 Android 提供端侧扩展。其支持层级多智能体、上下文压缩、Human-in-the-loop 确认流程与会话恢复,可通过 @Tool 和 @Param 注解自动生成工具 schema,并集成 Vertex AI 的会话、RAG 记忆与 Memory Bank 服务。Android 侧可用 LiteRT-LM 和 ML Kit(beta)运行端侧智能体,通过 Firebase AI Logic 编排混合云工作流,并用 Room 与 AppSearch 持久化智能体状态。目前尚无后续发展事实。

Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Sarvam AI 宣布 Sarvam Edge

查看事件：Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Liquid AI与AMD展示端侧会议摘要模型

Liquid AI 展示 LFM2-2.6B-Transcript端侧会议摘要模型

查看事件：Liquid AI与AMD展示端侧会议摘要模型

天数智芯首次实机演示天垓300与TY1200

2026年10月28日,天数智芯首次实机演示通用GPU天垓300及端侧算力终端TY1200,并预告下一代端侧产品TY2000。据智东西报道,天垓300配备144GB显存,在64K长上下文下Attention性能为H200的1.05倍,GLM-5.3模型下MoE吞吐为H200的1.15倍;TY1200为300 TOPS INT8稠密算力,实测TPS超越英伟达Thor T5000。天垓300 IXL144超节点在单机柜集成144颗GPU、聚合约10.1TB显存,每百万有效Token成本较国际主流方案降低约40%。目前该事件仅有上述一次报道,尚无后续进展。

天数智芯首次实机演示天垓300与TY1200

2026年10月28日,天数智芯首次实机演示通用GPU天垓300及端侧算力终端TY1200,并预告下一代端侧产品TY2000。据智东西报道,天垓300配备144GB显存,在64K长上下文下Attention性能为H200的1.05倍,GLM-5.3模型下MoE吞吐为H200的1.15倍;TY1200为300 TOPS INT8稠密算力,实测TPS超越英伟达Thor T5000。天垓300 IXL144超节点在单机柜集成144颗GPU、聚合约10.1TB显存,每百万有效Token成本较国际主流方案降低约40%。目前该事件仅有上述一次报道,尚无后续进展。

查看事件：天数智芯首次实机演示天垓300与TY1200

Brilliant Labs发布399美元Halo AI眼镜

新加坡厂商Brilliant Labs于当地时间10月27日发布Halo AI眼镜,售价399美元。该设备采用全彩Micro-OLED显示屏,搭载自研AI助手Noa,支持实时语音交互与长期记忆,围绕Ask、Make、Play三种体验展开,其中Narrative系统可将现实活动转化为可实时调整的互动游戏。硬件与软件均采用开源设计,以端侧AI处理为核心,整机重量略高于40克,官方称最长续航14小时。另据Unite.AI报道,Noa和miniapps设有每日使用上限,Noa Plus每月9.99美元、Noa Pro每月39.99美元,公司同时宣布获得Goodwater Capital投资,未披露金额。

阶跃星辰发布智能体手机STEPX Neo先行版

阶跃星辰于10月13日晚在上海发布首款智能体手机STEPX Neo先行版,将Step系列模型、Step AOS 1.0系统、Step Studio工具与手机硬件打包,售价3999元。该机搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,采用双入口设计,右滑可从Amoo界面切回传统App桌面;端侧处理轻量任务,云端旗舰模型负责复杂推理与多步规划。阶跃同时提出连接个人智能体与服务智能体的A to A网络,通过MCP、A2A等协议打通,Amoo已与支付宝、腾讯、携程、滴滴、剪映、高德、美团等近百家企业或产品达成合作。报道称当晚9点开启预售,10月16日10:13在京东、天猫、抖音首销。

Google发布LiteRT Tensor API

2026年10月19日,Google发布LiteRT Tensor API,允许开发者在C++中逐算子构建端侧模型计算图。据Google Developers Blog介绍,同一份代码可经LiteRT运行在CPU、GPU(ML Drift)和NPU上,也可不经模型文件直接通过XNNPACK在CPU运行。官方用该API手写SAM 2并部署到浏览器WebGPU,称在MacBook Pro上比Apple MLX快约1.5倍,输出掩码与Meta PyTorch参考逐像素一致。该API还支持从.safetensors直接加载权重,并让预处理、推理与后处理通过共享加速器缓冲区串联,避免数据回传CPU。目前尚无后续发展事实。

MiniCPM-V 4.7登上Hugging Face Trending第三

面壁智能宣布,MiniCPM-V 4.7在Hugging Face Trending榜单上排名第3。官方称,35B-A3B MoE版本可在iOS和Android上以约3GB内存流畅运行,1B模型在OCR、数学和视频理解上表现较强,并给出了GitHub与Hugging Face链接。10月19日,面壁智能称该模型升至Hugging Face Trending第二位,并再次提到35B-A3B MoE版本可在iOS和Android上以约3GB内存运行,1B版本在OCR、数学和视频理解上表现较强。10月20日,面壁智能表示,该模型可在本地以100 tok/s运行,内存占用约3GB,定位为让端侧AI更实用,并提到llama.cpp生态让该模型更容易上手试用。

Nvidia发布Nemotron 3.5 Super VL与Bolt模型

Nvidia于2026年10月15日宣布推出Nemotron 3.5 Super VL与面向端侧的3.5 Bolt模型。据Nvidia官方介绍,Super VL为120B参数开放模型,面向常驻智能体任务,官方称其在同类开放模型中吞吐最高,比次优模型快5倍;同时推出Bolt 74B-A9B 24GB与Bolt E4B 4GB两款端侧模型,前者可在RTX/DGX Spark本地运行智能体任务,后者面向GeForce RTX、Jetson上的语音与对话智能体。Super VL与Bolt 74B-A9B已上线Hugging Face,Bolt E4B计划于10月23日发布。同日,SGLang宣布为Super VL提供Day-0支持,在单张RTX 6000 PRO上借助MTP达到243.9 tok/s;Prime Intellect与Nvidia用GRPO在128张GB200 GPU上后训练约11小时,使其在AutomationBench-AA公开集上从34.0%提升到57.7%。当晚OpenRouter上线该模型,次日Perplexity宣布Pro和Max订阅用户及Agent API可使用。

Google宣布Android新增AI反诈骗防护

Google于2026年10月14日宣布在Android上推出AI反诈骗防护。核心是Google Messages中可选开启的Enhanced protection模式,开启后Scam Detection可通过Private AI Compute调用云端Gemini模型分析陌生发件人消息的上下文与意图,该模式将在未来几周内推送。第二层防护用端侧Gemini Nano实时核查链接安全性,第三层为陌生号码链接增加带上下文的警告。Google称其Scam Detection目前每月标记超过500万条疑似诈骗通话和短信。此外,Android将屏幕共享敏感信息隐藏扩展到Chrome和Android WebView,并新增通话转接保护,后者将于2026年12月初在Pixel等设备上线。后续报道称,该防护正面向符合条件的设备推送,云端防护默认关闭需用户手动开启,设备端聊天通知诈骗检测将从Pixel扩展到更多Android设备。