搜索“多模态”

Synaptics发布Astra SR200系列边缘AI处理器

Synaptics发布Astra SR200系列多模态边缘AI处理器,集成与Google Research合作开发的Coral NPU架构。该系列包含SR210、SR230、SR250三款型号,AI算力分别为200、300和400 GOPS,面向AI眼镜、智能可穿戴设备、智能摄像头及工业视觉。产品采用Arm Cortex-M85与Cortex-M52双处理器架构,集成最高8MB SRAM及可扩展至数百MB的定制DRAM,支持Transformer等模型端侧运行。双方还推出搭载SR250的Coralboard SR开发板及开源Torq AI编译器,支持Gemma 3 270M等模型端侧部署。目前该系列已正式发布,暂无后续进展。

Synaptics发布Astra SR200系列边缘AI处理器

Synaptics发布Astra SR200系列多模态边缘AI处理器,集成与Google Research合作开发的Coral NPU架构。该系列包含SR210、SR230、SR250三款型号,AI算力分别为200、300和400 GOPS,面向AI眼镜、智能可穿戴设备、智能摄像头及工业视觉。产品采用Arm Cortex-M85与Cortex-M52双处理器架构,集成最高8MB SRAM及可扩展至数百MB的定制DRAM,支持Transformer等模型端侧运行。双方还推出搭载SR250的Coralboard SR开发板及开源Torq AI编译器,支持Gemma 3 270M等模型端侧部署。目前该系列已正式发布,暂无后续进展。

查看事件：Synaptics发布Astra SR200系列边缘AI处理器

Voxel51发布3.0版数据平台

2026年10月21日,Voxel51发布3.0版数据平台,面向机器人与物理AI场景。据Robotics & Automation News报道,该平台将机器人多摄像头、视频与传感器数据的搜索、整理、标注和评估整合到同一平台,并新增可跨开发流程执行任务的AI助手Voxel51 Agent。平台支持语义搜索、文本查询与元数据过滤,以及多模态时间序列同步查看,并提供2D、3D和视频标注与Agentic Labeling自动标注。报道还称,Voxel51与Nebius合作,在Nebius AI Cloud上运行其工作流,并提供免费自助版本。目前尚无后续发展事实。

小米MiMo-V2.5-Pro与MiMo-V2.5模型下线

小米的 MiMo-V2.5-Pro 与 MiMo-V2.5 两款模型已于 10 月 21 日上午 10 时正式下线。相关请求自 10 月 14 日 18:00 起自动路由至 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash。据 IT之家报道,MiMo-V2.5-Pro 仅支持文本输入,替换为 MiMo-V2.6-Pro 后将支持多模态理解,API 参数完全适配;MiMo-V2.6-Flash 的 max_completion_tokens 默认值由 32768 变为 131072,思考模式下两款 V2.6 模型不支持 temperature 和 top_p 自定义。中华网科技另提到,小米于 9 月 22 日发布并开源 MiMo-V2.6 系列,Pro 定价为每百万词元输入 3 元、输出 6 元,并提供 99% 缓存折扣。目前两款旧模型已停止服务,请求由 V2.6 系列承接。

Google发布TPU原生vLLM与SGLang推理引擎

Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。

vLLM-Omni团队发布技术报告

vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。

TwelveLabs Pegasus 1.5上线Amazon Bedrock

TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线。据 AWS Machine Learning 发布的信息,该模型可把长视频转成带时间戳的结构化 JSON 元数据;新版本支持按用户定义的分段规则返回匹配片段、结合参考图像的多模态提示,以及无需预索引的即时处理,单次请求可分析最长 2 小时视频。模型通过 InvokeModel 和 InvokeModelWithResponseStream 调用,目前在美国西部(俄勒冈)区域提供。

NEURA Robotics与NXAI宣布合作开发认知机器人记忆组件

2026年10月20日,NEURA Robotics与NXAI宣布合作,为认知机器人联合开发记忆组件。据Unite.AI报道,双方将把NEURA的Physical AI技术栈与NXAI的xLSTM架构整合,合作基于NEURA的多模态基础模型Neuron AI,并区分工作记忆与情景记忆两个层级。报道还称,NXAI基于xLSTM的模型计划上线Neuraverse平台,与Neuron AI并列,为平台增加第二个模型选项;企业可用Neuraverse工具链微调,并自主决定是否共享数据。目前该合作处于宣布阶段,尚无后续开发进展的合格事实证据。

Meta发布开放权重模型Muse Spark Open

2026年10月15日,Meta发布开放权重模型Muse Spark Open,权重当天在Hugging Face上线,采用Muse Model License。据PyTorch Blog,该模型为816B总参数、42B激活参数、1M token上下文窗口,原生多模态并面向编码与智能体任务,在Muse Spark基础上增加安全后训练,可在SGLang和vLLM上运行。10月16日,该模型上线Amazon SageMaker JumpStart,提供BF16与NVFP4两个变体;同日进入Arena的Agent Arena实测,并上线Code Arena的WebDev等项目。10月17日,Arena公布Muse Spark Open (Max)以1511分成为Code Arena WebDev排名第一的美国开源模型,在全部开源模型中排第13。

田柯宇公开讲述字节投毒事件经过

2026年10月12日,因干扰字节同事训练任务被开除两年后,田柯宇公开讲述自己眼中的事件经过,承认干扰过同事训练任务,并将动机解释为“不成熟的朴素的正义”。据36氪·AI报道,他已是NeurIPS最佳论文第一作者,其AI实验室获五源资本、IDG资本近3000万美元投资,投后估值2亿美元,方向是能预测未来的多模态基础模型。随后一份以受影响人员名义发布的长文反驳其讲述,将干扰起点提前到2024年3月并涉及LlamaGen、Goku等项目,并向其合作方和投资机构提出核查请求。报道还称一审判赔约50万元,字节已上诉。

TypeSafe AI 发布 Jev 1.14 及预览功能

TypeSafe AI 发布 Jev 1.14,为现有 Jev 模型加入多模态能力,图像可出现在此前只能放文本的位置,并新增用于定位的边界框原语。官方称上下文长度提升到原来的 4 倍,`jev-preview` 现指向 `jev-1.14.0`,最大改进可能来自多语言支持。图像与边界框均属预览功能,官方提醒生产环境需谨慎使用。另一篇官方说明称该版本于 10 月 14 日下午 1:14 PT 发布,整体有小幅改进、多语言支持提升最明显,团队同时公开了自研的内部评测思路,并邀请开发者反馈 Jev 仍显笨拙之处。目前没有后续有证据的发展。

inclusionAI 开源 TorchTurbo 后训练引擎

2026年10月16日,蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个 SuperNode 原生的后训练引擎,用于快速适配和训练 LLM 与 VLM。据官方仓库说明,该引擎基于 PyTorch FSDP2 和 Hugging Face Transformers,结合 FSDP、专家并行(EP)与 Ulysses 序列并行(SP),支持 MoE、多模态和稀疏注意力架构。目前仅支持训练,已提供 fsdp2 后端及 LlamaFactory、ms-swift 适配器,不支持评估、预测与生成。截至现有证据,尚无后续发展事实。

NAVER Cloud 在 NAACL 2025 提出 KoNET 基准

NAVER Cloud 在 2025 NAACL 论文中提出 KoNET 基准,将韩国小学至高中 GED(KoEGED、KoMGED、KoHGED)与高考 KoCSAT 题目转为图像,用于评测纯文本与多模态大语言模型。据该论文,GPT-4o、Claude 3.5 Sonnet 等商业 API 模型平均分超过 80%;EXAONE-3.0-7.8B 超过同参数量全球模型并追平 Qwen2-72B;开源多模态模型在韩语 OCR 上明显偏弱。目前尚无后续发展事实。

SageMaker JumpStart提供精选AI模型目录

Amazon SageMaker JumpStart 提供精选 AI 模型、解决方案模板和示例笔记本目录。据 AWS Machine Learning 2026 年 10 月 20 日发布的回顾,2026 年 1 月至 9 月,该目录新增来自 30 家提供商的 100 多个模型,其中 Alibaba(Qwen)贡献 29 个、NVIDIA 17 个、Mistral 7 个、Google 6 个 Gemma 4 变体、IBM 4 个、Cohere 4 个。新增模型覆盖多模态、语音、图像与视频生成,并引入 GLM-5.2 FP8、JetBrains Mellum2-12B 等量化与紧凑模型以降低推理成本。目前该目录保持上述新增内容。

Neura Robotics发布具身基础模型Neuron AI

Neura Robotics 发布了机器人基础模型 Neuron AI。据 AI Business 报道,该模型在 3D 视觉之外加入触觉与力数据、音频、机器人状态和语言,并带有记忆功能,可在物体离开视野后保留信息。Neura 计划本周晚些时候在英伟达柏林 GTC 上演示,由人形机器人 4NE1 完成一段十一分钟的衣物处理流程。公司尚未披露额外感官输入对性能的影响幅度以及训练所需的数据量;Interact Analysis 分析师质疑其机器人训练场能否收集到足够的多模态数据。目前尚无后续进展。

Perplexity Decider上线Vercel AI Gateway

2026年10月17日,Perplexity的Decider V1.2决策模型上线Vercel AI Gateway,Vercel开发者现可使用面向复杂智能体工作流的perplexity/pplx-decider-v1.2和面向超快决策的perplexity/pplx-decider-flash-v1.2,Aravind Srinivas转发了这一消息。同日稍早的报道称,Perplexity开源了pplx-decider-flash-v1.2与pplx-decider-v1.2两款决策模型:前者为4B参数、每百万token 1美分,被称为HF Decision Index上最强的4B模型;后者为27B参数、每百万token 2美分,在HF Decision Index总榜排第2。两者均已在Perplexity Decisions API上线,并在Hugging Face提供开放权重。Perplexity Developers称这一代开放权重多模态决策模型文本与视觉分数均有提升,推理速度最高快5倍,一次请求中的所有问题单次前向完成。

OpenRouter上线RespanAI决策模型Span-02

OpenRouter 宣布上线 RespanAI 的开放权重决策模型 Span-02。该模型可输入文本和图像,按自定义问题返回选项、是/否/未知或带概率的分数;定价为每百万输入 token 0.01 美元、输出免费,上下文长度 131K。OpenRouter 后续说明,Span-02 运行在 OpenRouter Decisions API 上,与其他决策模型请求格式相同,切换只需改一行模型名;图片与文本放在同一 state 中,每次请求最多 4 张。Respan 此前介绍称,Span-02 支持随时推理,给定截止时间即返回当前最优决策,可配置推理时长,并支持多模态看图与屏幕。目前该模型已在 OpenRouter 上线。

格物通智完成近亿元天使轮融资

格物通智完成近亿元天使轮融资。2026年10月18日的报道显示,这家具身大脑公司的投资方包括匹克投资、鸿富资产、杭州资本、杭州人才集团等,资金用于物理反演世界模型的大规模预训练与硬件本体构建。公司由前华为车BU 2030实验室蔡佳创立,2026年8月落地杭州,依托触觉-视觉多模态数据构建“物理反演世界模型+PSI物理自进化”体系,为机器人提供有“手感”的灵巧操作能力。公司正与纺织服装、光模块及汽车零部件客户推进PoC,预计2026年年底完成首个交付。同日另一报道称,投资方还包括某省级具身产投及多家头部上市公司,资金亦用于技术迭代、场景PoC验证和真实数据采集。

Unsloth称可在笔记本本地运行训练120B+模型

2026年10月17日,Unsloth宣布适配NVIDIA RTX Spark,可在笔记本上本地运行和训练120B+参数模型。据其发布的信息,借助针对ARM平台CUDA优化的kernel和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约2.7倍,全部在本地完成,统一内存最高128GB。目前该消息仅有Unsloth一方发布,尚无其他来源的独立证据,也没有后续发展事实。

破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub

2026年10月14日,破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub。据量子位当日报道,该系统由四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,通过视觉与运动信号融合恢复全身姿态并采集手部接触压力;头环重量不超过220克,单个腕部手环不超过75克,头环内相机、IMU和UWB同步精度不超过0.5毫秒。雷锋网10月15日报道进一步称,该系统可同步采集第一视角视觉、手部全模态数据与全身运动信息,头环与腕部手环均支持连续24小时采集,配套自研平台可将人类数据转化为面向机器人学习的多模态训练数据。目前尚无后续发展事实。