搜索“多模态”

Apertus 1.5 支持原生图像与音频输入

2026年10月15日,Swiss AI 发布 Apertus 1.5,在 1.0 基础上加入原生图像与音频理解能力。该模型以早期融合方式把图像和音频转成离散 token,与文本在同一序列输入,架构不变,只理解多模态、仅输出文本。官方同时说明,Apertus 1.5 还加入思考模式和 262,144 tokens 上下文窗口,较 1.0 扩大 4 倍。官方称 8B 版本在指令遵循和多语言任务上优于同规模开源模型,多模态表现接近 Gemma 4 12B,并同步公开训练数据混合、偏好数据和各阶段中间检查点。目前尚无后续发展事实。

Apple 研究者提出首个三模态掩码扩散模型

2026年10月15日,Apple 研究者提出首个三模态掩码扩散模型(MDM)。据 Apple Machine Learning Research 发布的信息,该模型由 Apple 联合剑桥、MIT 等机构提出,是首个从头预训练的三模态掩码扩散模型,覆盖文本、图文和音频-文本数据。研究系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响,并通过基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,免去最优批大小调参。初步模型在 3B 规模、6.4T token 下于文本生成、T2I 和 T2S 任务均取得强劲结果。目前尚无后续发展事实。

MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

2026年10月13日,面壁智能宣布 MiniCPM-V 4.7 在 Apple Silicon 上获得 Day 0 全端侧推理支持。据当日报道,该模型(1B 与 35B-A3B)通过与 Nativ 合作在 Mac 上实现全本地推理,支持图像与视频理解;在 Apple Silicon 搭配 Nativ v0.4.x 实测中,1B 版 prefill 超 24K tokens/s、decode 315 tok/s,35B-A3B 版 prefill 超 4K tokens/s、decode 90 tok/s。10月13日至14日的后续报道称,面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,为 35B-A3B 的 MoE 模型,可在手机上以仅 3GB 内存运行,能识别现实路牌、按约束做规划、解析复杂文档并对视觉数据推理,同时提供轻量 1B 版本,覆盖 iOS 与 Android。

InternLM 发布 ETCHR 训练与评测代码

2026年5月24日,InternLM 发布 ETCHR(Editing To Clarify and Harness Reasoning)的训练与评测代码。据其原创项目介绍,ETCHR 是一个以问题为条件、具备推理感知能力的图像编辑器,作为多模态大语言模型(MLLM)的解耦式视觉推理助手,可即插即用地辅助 Qwen3-VL-8B、Gemini-3.1-Flash-Lite、Kimi K2.5 等下游模型而无需微调。其 Edit-Verify-Reason 推理机制在验证失败时回退原图,在细粒度感知、图表理解、逻辑推理、拼图还原和 3D 理解五类任务上均提升 Pass@1 准确率。项目已开源 ETCHR-FLUX.2-klein-9B 模型、SFT-400K 与 GRPO-10K 数据集及 DL3DV-2K 基准,基于 FLUX.2-klein-base-9B,遵循 FLUX 非商用许可。目前尚无后续发展事实。

InternLM 发布流式空间智能基准 OVO-S-Bench

2026年10月14日,InternLM 发布面向多模态 LLM 流式空间智能的基准 OVO-S-Bench。据其官方项目介绍,该基准为全人工标注,包含 348 个源视频上的 1,680 道题,按瞬时自我中心感知、时空上下文追踪、空间模拟推理、异我中心建图四个层级划分。在 38 个闭源与开源 MLLM 上的评测显示,Gemini-3.1-Pro 以 59.2 分落后人类专家 86.6 分 27 分,异我中心建图被指为主要瓶颈;流式与空间微调模型反而不及自身基座,无流依据的思维链推理会放大空间错误。目前尚无后续发展事实。

InternLM 发布 RNG-Bench 代码与论文

2026 年 6 月 18 日,InternLM 发布 RNG-Bench 的代码与论文。据同一来源的报道,该基准用于评测多模态大模型在可控非马尔可夫游戏中的表现,采用 Matching Pairs 和 3D Maze 两款游戏,在闭环中考察模型“记住再行动”的能力。报道称,最难的配置每回合可达约 128K tokens 和约 350 张图像输入;在 10×10 图像 Matching Pairs 中最佳得分为 64.6%(Seed-2.1-Pro),在 13×13 迷宫中最佳成功率为 50%(Gemini-3.1-Pro)。目前尚无后续发展事实。

InternLM 发布 ARM-Thinker 代码仓库

2025年12月5日,InternLM 发布 ARM-Thinker 代码仓库。据同一来源的报道,ARM-Thinker 是一个以 Qwen2.5-VL-7B 为基座的多模态奖励模型,采用“Think–Act–Verify”智能体循环,可自主调用图像裁剪、多页文档检索等工具为判断提供可验证证据。该模型通过 SFT 冷启动加两阶段 GRPO 训练,报道称其在奖励建模上提升 16.2%、工具使用任务上提升 9.6%,可与 Qwen3-VL-8B、GPT-4o 等更大模型竞争。团队同时推出首个面向多步、证据支撑奖励模型的基准 ARMBench-VL,代码已开源。目前尚无后续独立发展事实。

World Labs 正式开放 Marble 世界模型

World Labs 于 2026 年 10 月 14 日宣布,其多模态世界模型 Marble 即日起向所有人开放,此前仅面向少量 beta 用户。据官方说明,Marble 支持从文本、图像、视频或粗略 3D 布局生成 3D 世界,并可交互式编辑、扩展和组合,生成结果可导出为 Gaussian splats、网格或视频;同时推出 Marble Labs 创作社区,提供案例研究、教程和文档。同一时间点的另一条官方信息显示,World Labs 曾推出 Marble 的有限访问 beta 预览,用户可在 marble.worldlabs.ai 查看和创建 3D 世界,给定图像或文本提示可生成可无限探索、无变形、无不一致的 3D 世界,相比此前结果更大、风格更多样、3D 几何更干净,并可将生成世界导出为 Gaussian splats,借助开源渲染库 Spark 集成到 Three.js 中,在桌面、笔记本、移动设备和 VR 头显上渲染。目前状态为正式开放。

World Labs 正式开放 Marble 世界模型

World Labs 正式开放 Marble 多模态世界模型

查看事件：World Labs 正式开放 Marble 世界模型

World Labs 发布 World API

World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。

World Labs 推出全能世界模型 Atlas

2026年10月,World Labs 推出下一代世界模型 Atlas。据官方发布信息,Atlas 是一个从零预训练的多模态自回归扩散 Transformer,原生处理文本、图像、视频和 3D,所有输入被组合进共享的空间上下文。它支持像素级相机控制的图像与视频生成,可输出最长 1 分钟、1440p 的视频,并能从 1 到上百张输入图像重建真实场景,生成点云或 3D Gaussian splats。官方称其在相机控制生成和稀疏视图 3D 重建两项任务上优于专用模型。目前 Atlas 面向部分合作伙伴开放早期访问,并将用于 Marble 等后续产品。

FireRedTeam 发布 ReMatch 代码、ReMatch-3B 检查点与评测脚本

2026年10月13日,FireRedTeam 发布 ReMatch 官方实现,并同步放出代码、基于 Qwen2.5-VL-3B 的 ReMatch-3B 检查点与评测脚本。据该原创项目说明,ReMatch 在训练时加入聊天式生成匹配目标,让多模态大语言模型同时从原始多模态输入和投影嵌入判断查询-文档相关性,并融合多个可学习表示 token 为单向量嵌入。同一来源还称,相关论文已被 CVPR 2026 接收。目前没有后续发展事实,事件状态停留在上述发布。

Thinking Machines 提出构建扩展人类意志与判断的AI

2026年10月13日,Thinking Machines Lab 通过官方博客提出其使命是构建扩展人类意志与判断的 AI。该实验室同时公布四条技术方向:训练具备多模态交互与可定制性的强模型、让用户能自行训练模型权重、开发拓宽人机沟通的界面,以及公开发表研究。其理由是当前多数 AI 在少数地点训练后即被冻结,无法从使用者工作中学习,因此主张 AI 应像人一样分布多样,把智能带到知识产生和使用的地方。截至现有证据,尚无后续发展事实。

vLLM Semantic Router 发布 Decision 3.0 决策模型

2026年10月12日,vLLM 社区孵化的 vLLM Semantic Router 发布并开源 Decision 3.0 多模态决策模型系列。据智东西报道,该系列共 d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge 六款,参数规模覆盖 0.6B 至 27B,权重已在 Hugging Face 开源;旗舰 d3 基于 Qwen3.8-27B 打造,支持输入多张图片和视频,其余 5 款基于不同参数规模的 Qwen3.5。在 Jev Decision Index 0.3.1 榜单中,d3 文本决策指数 64.7 分、公开集 65.5 分位列文本榜第一,视觉榜得分 71.6 分同样第一。团队数据显示,单张 AMD Instinct MI325X GPU 上 d3 处理文本请求延迟中位数 55 毫秒,含图片请求 273 毫秒,10 秒视频请求 553 毫秒。早先 MarkTechPost 报道称该系列为 5 个尺寸(0.85B 到 26.09B),全部采用 Apache-2.0 许可,可读取文本、JSON 和图像并直接返回概率而非生成文本;27B 的 d

vLLM Semantic Router 发布 Decision 3.0 决策模型

vLLM Semantic Router 发布 Decision 3.0 多模态决策模型系列

查看事件：vLLM Semantic Router 发布 Decision 3.0 决策模型

Thinking Machines 公布技术方向与使命

Thinking Machines Lab 公布其技术方向与使命,提出构建扩展人类意志与判断力的 AI。该实验室公布四条技术方向:训练具备多模态交互与可定制性的强模型、让用户能训练模型权重、开发拓宽人机沟通渠道的界面,以及发布研究。其官方博客认为,当今多数 AI 在少数地点训练后即被冻结,主张 AI 应像人一样多样且分布式,把智能带到知识产生和使用的地方。目前没有后续发展事实,状态停留在该次公布。

Galaxea LEMO双臂开发平台开放订购

2026年10月11日,星海图(Galaxea)宣布其LEMO双臂开发平台开放订购。据星海图发布的信息,LEMO是一体化平台,集高性能双臂硬件、同构遥操作、多模态数据采集与开放开发工具链于一体,支持从数据采集、模型训练到机器人端部署与验证的完整开发流程,面向具身智能研究与应用开发。该消息由星海图官方渠道发布,标注话题包括EmbodiedAI、Galaxea与ROSConChina。目前尚无后续发展事实,平台开放订购后的具体交付、定价或应用进展未见披露。

LlamaIndex介绍文档智能体处理发票

2026年10月10日,LlamaIndex 介绍了一套基于文档智能体的发票自动化方案。根据其发布的产品、工程与评测指南,该方案主张用基于 LLM 的文档智能体替代传统 OCR 和规则系统,完成提取、校验、审批路由、ERP 集成与异常处理。方案依托 LlamaParse 的多模态解析和 LlamaExtract 的 schema 驱动抽取,支持 JSON 或 Pydantic 自定义 schema,嵌套结构最深 3-4 层,并提供 invoice、resume、10K 等预置 schema。目前该故事尚无后续发展事实,状态停留在这一介绍。

月之暗面发布WorldVQA基准

月之暗面(Moonshot AI)发布并开源多模态视觉知识评测基准WorldVQA及其数据集和评测脚本。据其官方博客介绍,该基准用于衡量多模态大模型对视觉世界知识的事实正确性,数据集包含3,500个高质量图文问答对,覆盖9个类别并区分常见与长尾知识。评测结果显示,前沿模型在长尾视觉知识上常低于50%准确率,且普遍过度自信;Kimi-K2.5取得最佳校准表现,ECE为37.9%、Slope为0.550。目前该数据集与评测脚本已开源,尚无后续发展事实。

月之暗面发布PerceptionBench

2026年10月,月之暗面(Moonshot AI)旗下 Kimi 团队发布并开源多模态模型视觉感知基准 PerceptionBench。据 Kimi 官方博客,该基准从 42 个基准的前沿模型失败中归纳出 10 项原子感知能力,构建 3000 道经校验的题目,每道题仅考察单一感知能力,无需推理或外部知识。在 16 个前沿多模态大模型上,没有模型准确率达到 60%,感知相关幻觉平均表现最弱。团队已开源该数据集与评测代码。目前尚无后续发展事实。