Google 发布 EmbeddingGemma 2 论文，这是一个 Apache 2.0 许可的端侧多模态嵌入模型，把文本、代码、图像、音频和视频映射到同一向量空间。模型基于 Gemma 4 构建，通过向更大的 Gemini Embedding 2 学习并用对比训练调优，744M 参数规模在多项任务上超过大 2 至 12 倍的模型。在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型约 567MB，上下文窗口扩大 4 倍至 8K tokens，可容纳约 5.5 分钟音频、29 张图像或 58 帧视频；直接嵌入语音在 MSEB 口语查询检索基准上得分 69.54，高于先转写再检索的 57.59，代码检索在 MTEB Code 上从 EmbeddingGemma 1 的 68.76 提升到 78.68。
匹配字段标题
天数智芯首次实机演示通用GPU天垓300和端侧算力终端TY1200，并预告标称算力600T的下一代端侧产品TY2000。天垓300有144GB显存，在64K长上下文下Attention性能为H200的1.05倍，GLM-5.3模型下MoE吞吐为H200的1.15倍；TY1200为300 TOPS INT8稠密算力，实测TPS超越英伟达Thor T5000。天垓300 IXL144超节点在单机柜集成144颗GPU、聚合约10.1TB显存，每百万有效Token成本较国际主流方案降低约40%。
匹配字段标题
Sentient 发布开源 AI 模型 Sentient OS，可从本地文件和消息中收集上下文，并在用户电脑上执行任务。其 Sidekick 功能支持把屏幕上打开的表单或邮件等任务交给它，由它用自己的光标完成。它学到的内容以纯文本文件存储在本地，用户可打开和编辑；前 1000 名在应用内输入 FINAL_1000 的用户可终身免费使用。
匹配字段标题
Sentient OS（YC F26）发布端侧 AI，夜间用本地 LLM 读取用户的消息、文件和笔记，并把学到的内容写入电脑上一个纯 markdown 文件夹，用户可打开、编辑或删除。白天 Double Tap 和 Sidekick 读取这些文件来起草回复、在应用中完成任务，只有较重的任务才调用用户自选的云端模型。
匹配字段标题
Bold Security 联合创始人兼 CEO Nati Hazut 在访谈中介绍，公司用直接运行在设备上的小语言模型识别敏感数据及其使用方式，覆盖浏览器、桌面应用和 AI 智能体。他指出，桌面 AI 应用和智能体绕过了网络检测、CASB 与 DSPM 的视野，成为新的数据外泄通道；端侧方案可在数据离开企业控制前实时干预。
匹配字段标题
中国信通院人工智能研究所联合中国人工智能产业发展联盟端侧智能组，与华为、中兴、vivo、海尔、阶跃星辰、面壁智能、大华股份等单位发布《端侧智能产业发展报告（2026年）》。报告将端侧智能定义为以本地为主、端云协同的融合智能形态，重点研究模型轻量化、异构硬件融合、基础软件、智能体、端云协同和安全可信等关键技术。报告还梳理个人智能、空间智能、移动智能、行业智能节点和具身智能等原生产品形态，以及消费娱乐、智慧家庭、智慧办公、智慧出行、智慧健康等应用场景。
匹配字段标题
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
匹配字段标题
安谋科技2025年11月发布的“周易”X3 NPU IP是行业内首批原生支持FP4的端侧NPU产品，R1、R2两个系列可对接经FP4权重量化调优的端侧大模型。其单核带宽达256GB/s，实测7B模型Prefill阶段算力利用率超过70%，并支持W4A16与W4A8双量化范式。FP4相比FP8可将模型体积理论上再压缩接近50%，相同带宽下理论吞吐量翻倍。
匹配字段标题
Synaptics 发布 Astra SR200 系列多模态边缘 AI 处理器，集成与 Google Research 合作开发的 Coral NPU 架构，SR210、SR230、SR250 三款型号 AI 算力分别为 200、300 和 400 GOPS，面向 AI 眼镜、智能可穿戴设备、智能摄像头及工业视觉。该系列采用 Arm Cortex-M85 与 Cortex-M52 双处理器架构，集成最高 8MB SRAM 及可扩展至数百 MB 的定制 DRAM，支持 Transformer 等模型端侧运行。双方还推出搭载 SR250 的 Coralboard SR 开发板及开源 Torq AI 编译器，支持 Gemma 3 270M 等模型端侧部署。
匹配字段标题
Gradium 开源 Phonon 端侧语音合成模型套件，全部模型参数在 50m 以下，主打多语言自然度与准确度，并称提供迄今最广的推理支持。其中 Phonon-31m 以 Apache 2.0 许可开放。Matt Turck 转发了这一消息。
匹配字段标题
Mac 版 Perplexity Computer 新增端侧模式，可完全在设备端运行，无需联网即可执行任务。用户授权后它还能访问本地文件，并与备忘录、信息、邮件和 Numbers 表格等应用协同工作。该功能面向 Perplexity Pro、Max 和 Enterprise 订阅用户开放，首发提供 Qwen 3.6 和 PPLX Pro 两种端侧模式，最低要求 Apple 芯片和 36GB 统一内存。
匹配字段标题
面壁智能的 MiniCPM-V 4.7 可在本地以 100 tok/s 运行，内存占用约 3 GB，定位为让端侧 AI 更实用。官方提到 llama.cpp 生态让该模型更容易上手试用。
匹配字段标题
OpenBMB 转发了一条在 iPhone 上对比 Bonsai 2 4B 与 MiniCPM-V 4.7 1B 的帖子，该帖用同一张照片让两个模型各给出 3 个搭建创意。OpenBMB 称赞这一创意对比，并感谢对方对 MiniCPM-V 4.7 1B 的测试。
匹配字段标题
Google 发布 LiteRT Tensor API，让开发者在 C++ 中逐算子构建计算图，同一份代码可经 LiteRT 跑在 CPU、GPU（ML Drift）和 NPU 上，或不经模型文件直接通过 XNNPACK 在 CPU 运行。官方用该 API 手写 SAM 2 并部署到浏览器 WebGPU，在 MacBook Pro 上比 Apple MLX 快约 1.5 倍，输出掩码与 Meta PyTorch 参考逐像素一致。该 API 还支持从 .safetensors 直接加载权重，并让预处理、推理与后处理通过共享加速器缓冲区串联，避免数据回传 CPU。
匹配字段标题
华为在终端创新技术沟通会上宣布首款采用逻辑折叠技术的麒麟9050系列量产，麒麟9050 Pro互连规模超过5000万混合键合、超过500万有效信号互连，晶体管密度提升53.5%。对比搭载麒麟9030 Pro的Mate 80 Pro Max，搭载麒麟9050 Pro的Mate 90 Pro Max CPU主频提升12.7%、性能提升25%，GPU性能提升40%、功耗降低45%，NPU算力提升140%、功耗降低66%。麒麟9050系列在新增占用不到2.5GB内存的情况下可运行30B MoE大模型，AI ISP处理时延控制在16.7毫秒以内；华为半导体业务无线终端芯片产品管理部部长徐松余透露，下一代麒麟2027芯片已在华为手上，测试结果符合预期。
匹配字段标题
韩国无晶圆厂半导体公司 Iron Device 于 10 月 15 日宣布参与韩国产业通商资源部（MOTIR）牵头的政府项目，开发面向高自由度机械手的端侧 AI 计算模块。该模块为集成 CPU、GPU 和 NPU 的 SoC，目标相比 Nvidia Jetson Orin Nano 平台缩小约 59% 占用面积、能效提升至 3 倍（TOPS/W），并将传感器采集到电机控制的延迟降至 20 毫秒以内。项目总预算约 52.5 亿韩元，从今年 8 月持续到 2029 年底，Iron Device 计划将成品模块独立销售给国内外人形及工业机器人客户。
匹配字段标题
NVIDIA 发布 Nemotron 3.5 Super VL，这是一个 120B 参数的开放模型，面向常驻智能体任务，官方称其在同类开放模型中吞吐最高，比次优模型快 5 倍，准确率接近 NVIDIA 最大推理模型而参数量约为其五分之一。同时推出两款端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB，前者用原生 2-bit 量化塞进 24GB 显存，可在 RTX/DGX Spark 本地运行智能体任务，后者面向 GeForce RTX、Jetson 上的语音与对话智能体。Super VL 与 Bolt 74B-A9B 已上线 Hugging Face，Bolt E4B 将于 10 月 23 日发布；Super VL 还提供开放权重、开放数据集和训练配方，支持企业用自有数据后训练。
匹配字段标题
晶存科技在10月14日至16日举行的韩国半导体展SEDEX 2026上展出“双96”LPCAMM2内存模组，单模块容量96GB、最高速率9600Mbps，基于LPDDR5X，已完成国际头部PC终端厂商相关平台适配验证。同期展示的PCIe 5.0 SSD采用PCIe 5.0 ×4接口、符合NVMe 2.0标准，顺序读取最高11500MB/s、写入最高10500MB/s，面向AI PC与端侧AI应用。
匹配字段标题
Nvidia 发布 Nemotron 3.5 系列模型，包括开源的 120B 参数 Super VL、面向本地运行的 Bolt 74B-A9B 24GB，以及本月晚些时候推出的 Bolt E4B 4GB。Super VL 与 Nemotron Coalition 合作构建，支持指令跟随、工具调用、多步业务流程和视觉理解，Nvidia 称其能力接近自家最大推理模型而体积仅为五分之一，输出速度约为同类模型的近五倍。Bolt 74B-A9B 采用混合 MoE 架构，每次激活 74B 中的 9B 参数，并用 2-bit 量化装入 24GB 内存，可在企业工作站或 PC GPU 上本地完成写代码和调试等任务；Bolt E4B 4GB 面向 GeForce RTX、Jetson 和 RTX/GTX Spark 等边缘设备。Nvidia 同时在 Hugging Face 开放智能体工具调用、金融、指令跟随、长上下文、安全、公平性和视觉语言理解等数据集。
匹配字段标题
Nvidia 发布 Nemotron 3.5 Super VL，这是一个 1200 亿参数的开源多模态模型，面向持续在后台运行的企业智能体，处理文本、图像、文档和视频。该模型采用 MoE 架构，每个 token 仅激活 120 亿参数，由 Nvidia 与包含 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs 的 Nemotron Coalition 共同开发。同时推出两款面向本地硬件的模型：Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地机器运行智能体任务，更小的 Bolt E4B 4GB 面向语音助手，将于本月晚些时候发布。Nvidia 称 Super VL 从 Nemotron 3 Ultra 蒸馏而来，在智能体指令遵循、工具调用、多步业务流程和图像分析任务上以约五分之一参数达到 Ultra 的准确率，在 Hermes 和 LangChain 的智能体测试中得分高于 Ultra，并在 SWE-bench 和 Terminal-Bench 上超过前代 Nemotron 3 Super。权重以 base、post-trained 和 4-bit 压缩三个版本发布，同时公开数据集、训练配方和强化学习环境，预训练与持续预训练使用超过 25 万亿 token。
匹配字段标题