搜索“多模态”

Chelsea Finn宣布ICLR三场研讨会演讲

2026年4月26日,Chelsea Finn宣布将于次日(周日)在ICLR做三场研讨会演讲。据其介绍,第一场主题为“无奖励瓶颈的自我改进”,涉及meta-harness,上午10:30在RSI研讨会进行;第二场主题为“涌现式物理泛化”,涉及π0.7,上午11:40在多模态研讨会进行;第三场主题为“用于鲁棒性的强化学习”,下午1:45在CAO研讨会进行。目前该消息为演讲者本人公布的活动安排,尚无更多后续进展。

Physical Intelligence发布π0.7机器人

2026年4月16日,Physical Intelligence发布最新机器人模型π0.7。据该发布信息,π0.7展现出多项涌现能力:能够控制此前没有衣物折叠数据的新机器人UR5e折叠T恤;可通过语言指导学会使用家电;并在单一模型中完成多种灵巧任务。该模型还具备组合泛化能力,可根据提示词以新方式组合已学技能,例如用空气炸锅烤红薯。此外,π0.7可处理包含丰富语言和多模态信息(如视觉子目标图像)的提示,这些图像在测试时可由轻量级世界模型生成。目前该模型已发布,相关能力描述来自发布方。

多机构推出酶设计模型DISCO

2026年4月8日,Caltech、Mila、FutureHouse 等机构提出多模态生成模型 DISCO(Diffusion for Sequence-structure CO-design),可围绕分子目标同时生成蛋白质序列与三维结构,无需预先指定 theozyme。据该机构发布的信息,DISCO 在 178/179 个靶点的计算基准上取得最优表现;在 4 类卡宾转移反应中测试 90 个设计,其中 B–H 插入达 98% 产物和 5,170 总转化数,活性超过此前定向进化实验的两倍。这些酶的活性位点几何在 AlphaFold 数据库的 2 亿多个结构中找不到近缘天然同源物。目前尚无后续发展事实。

Mistral AI推出企业专属AI模型构建系统Forge

2026年3月18日,Mistral AI推出Forge,一套让企业基于自有专有知识构建前沿级AI模型的系统。据Mistral AI介绍,Forge支持预训练、后训练和强化学习等阶段,兼容dense与MoE两种架构,并可处理多模态输入,模型可在企业内部基础设施中训练和运行。Forge以智能体优先设计,Mistral Vibe等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。Mistral AI表示,已与ASML、DSO National Laboratories Singapore、Ericsson、欧洲空间局、HTX Singapore和Reply等机构合作,用其专有数据训练模型。目前尚无后续发展事实。

Mistral AI与英伟达共建开放模型

2026年3月17日,Mistral AI宣布作为创始成员加入NVIDIA Nemotron Coalition,与英伟达联合开发开放前沿基础模型。据Mistral AI发布的信息,双方将结合Mistral AI的模型架构与全栈平台,以及英伟达的算力、模型开发工具和合成数据生成管线。联盟首个项目是一个在NVIDIA DGX Cloud上训练的基础模型,将支撑即将推出的NVIDIA Nemotron 4系列并开源。Mistral AI将贡献专有训练技术、多模态能力和企业级微调工具。此前双方曾合作开发Mistral Nemo模型。目前该合作尚无进一步有证据的发展。

Anthropic发布Claude Opus 4.5

2025年11月25日,Anthropic发布Claude Opus 4.5,称其在编码、智能体和计算机使用上达到世界最佳,并在深度研究、表格处理等日常任务上有显著提升。模型已在应用、API和三大云平台可用,API定价为每百万tokens输入5美元、输出25美元;同时更新Claude Developer Platform、Claude Code和消费级应用,新增effort参数以控制推理强度,并提升上下文管理和多智能体协调能力。11月26日,Dan Hendrycks发表比较评价称,在控制推理token数量时Gemini 3与Opus在推理/文本上大致相当,多模态视觉/图像输入上Gemini 3大幅优于Opus,而在越狱、诚实性等安全方面Opus优于Gemini。

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

Qwen 发布 Qwen3.6-Plus,后续推出 Max-Preview

2026年4月2日,Qwen 发布 Qwen3.6-Plus,通过阿里云百炼 API 提供,默认 1M 上下文窗口,重点提升智能体编码与多模态感知推理能力。官方基准显示其在 SWE-bench Verified 得 78.8、Terminal-Bench 2.0 得 61.6、QwenClawBench 得 57.2,均高于 Qwen3.5-397B-A17B;API 新增 preserve_thinking 参数用于保留多轮思考内容,默认关闭,可接入 Claude Code、Qwen Code、Cline、OpenCode 等编码工具。2026年4月18日,阿里云千问团队发布专有模型 Qwen3.6-Max-Preview 的早期预览版,相比 Qwen3.6-Plus 在世界知识、指令遵循和智能体编码上均有提升,其中 SkillsBench +9.9、SciCode +6.3、NL2Repo +5.0、Terminal-Bench 2.0 +3.8。该模型通过阿里云 Model Studio 提供,API 名称为 qwen3.6-max-preview,支持 preserve_thi

Qwen 开源 Qwen3.6-35B-A3B MoE 模型

2026 年 4 月 15 日,Qwen 团队开源 Qwen3.6-35B-A3B,这是一个 35B 总参数、仅 3B 激活参数的 MoE 模型,主打智能体编码能力,同时支持多模态思考与非思考模式。官方称其在 SWE-bench Verified 上得分 73.4,超过前代 Qwen3.5-35B-A3B 的 70.0,并在多数视觉语言基准上接近 Claude Sonnet 4.5。模型已在 Qwen Studio 上线,可通过阿里云百炼 API 以 qwen3.6-flash 调用,权重发布于 Hugging Face 和 ModelScope,并支持 OpenClaw、Claude Code、Qwen Code 等第三方编码助手。目前尚无后续发展事实。

LG AI Research 推出首个开源权重视觉语言模型 EXAONE 4.5

2026年4月9日,LG AI Research 推出 EXAONE 4.5,这是 LG 首个以开源权重方式发布的视觉语言模型(VLM)。据官方博客介绍,该模型在 EXAONE 4.0 基础上集成自研 Visual Encoder,采用原生多模态预训练同时学习文本与图像;引入 Multi-Token Prediction(MTP)模块,推理速度较此前方法提升 1.5 倍以上,并采用自研 AGAPO 强化学习算法提升逻辑推理能力。官方称其在 MMMU-Pro、MathVision、CharXiv、OCRBench_v2 等基准上优于或接近 Qwen 3 VL 32B、GPT-5-mini、Claude Sonnet 4.5,在韩语视觉基准 k-viscuit 和 KRETA 上表现领先。模型已在 Hugging Face 发布并附技术报告。目前尚无后续发展事实。

Sakana AI与日本防卫创新科研所签订委托研究合同

2026年3月12日,Sakana AI株式会社宣布与日本防卫装备厅防卫创新科学技术研究所签订委托研究合同,研究主题为“通过组合多种AI技术加速观测、报告、信息整合与资源分配”。据Sakana AI官方博客同日发布的信息,该委托研究为为期多年的大规模基础技术开发,将开发面向陆海空全领域海量多模态数据的综合分析系统,并推进可在无人机和移动终端等边缘设备上高速运行的小规模视觉语言模型(SVLM),以提升指挥控制系统(C2系统)能力。该研究被定位为防卫装备厅的实证型突破研究。Sakana AI表示将防务与情报列为继金融之后的重点领域,并已组建国内专门团队。目前尚无进一步有证据支持的发展。

Qwen团队发布Qwen3.5系列首个开源权重模型

2026年2月14日,Qwen团队发布Qwen3.5系列首个开源权重模型Qwen3.5-397B-A17B。据Qwen Blog介绍,该模型为原生视觉语言模型,在推理、编码、智能体和多模态理解等基准上给出完整评测结果;采用线性注意力(Gated Delta Networks)与稀疏MoE混合架构,总参数397B、每次前向仅激活17B,语言与方言支持从119种扩展到201种。托管版本Qwen3.5-Plus通过阿里云百炼提供,默认1M上下文窗口,并内置官方工具与自适应工具调用。目前尚无该发布之后的进一步有证据发展。

Saining Xie 判断自动驾驶将最快产生现实影响

2026年2月7日,Saining Xie(谢赛宁)提出判断,认为自动驾驶将比任何其他领域更快产生现实影响。他在相关发言中还表示,世界模型不只是关于视频,而是关于对各类连续、高维、含噪信号的建模,这才是“多模态”的真正含义,并向 Waymo 团队相关成员表示祝贺。目前该判断仅有其本人发言作为证据,尚无后续发展事实。

Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列

2026年1月7日,Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列模型。据Qwen Blog介绍,该系列基于Qwen3-VL底座,面向多模态信息检索与跨模态理解,支持文本、图像、截图和视频输入,覆盖30多种语言。其中Embedding采用双塔架构做高效初筛,Reranker采用单塔Cross-Attention对(Query, Document)对联合编码输出相关性分数,两者串联构成两阶段检索流程。官方称Qwen3-VL-Embedding-8B在MMEB-v2上取得SOTA,Reranker-8B在多数任务上表现最佳。模型提供2B与8B两种规格、32K序列长度,并支持量化与自定义向量维度。目前尚无后续发展事实。

LG AI Research 在 CTAD 2025 介绍 MOIRA 框架

2025年12月3日,LG AI Research 在 CTAD 2025 上介绍了 MOIRA(Multi-Omics Integration with Robustness to Absent modalities)多模态整合框架,用于在模态缺失情况下仍能可靠预测阿尔茨海默病。据 LG AI Research 官方博客,MOIRA 由各模态专用编码器、自适应融合模块和预测模块组成;融合时对缺失模态置零,并仅在可用模态间用 softmax 重分配权重;训练结合预测损失、各模态辅助损失和 CLIP 式对比损失。该框架可兼容任意编码器与预测模块,实验显示用 3D CNN 编码器处理原始 MRI 数据优于使用 FreeSurfer 预处理特征。目前尚无后续发展事实。

Dan Hendrycks 比较 Claude Opus 4.5 与 Gemini 3

Dan Hendrycks 发表比较评价 Claude Opus 4.5 与 Gemini 3 在推理/文本、多模态和安全方面的表现

查看事件：Anthropic发布Claude Opus 4.5

Ollama 与 NVIDIA 合作支持 DGX Spark

2025年10月13日,Ollama 宣布与 NVIDIA 合作,确保最新 NVIDIA DGX Spark 开箱即用、快速高效运行本地模型。据 Ollama Blog 介绍,该设备搭载 NVIDIA GB10 Grace Blackwell Superchip,提供 1 petaFLOP 性能,配备 128GB 内存,可运行 Qwen、DeepSeek、Llama、Mistral、Gemma、Gpt-oss 等模型,也支持上传自定义或微调模型。双方正针对聊天、文档处理、代码任务和多模态工作流优化 Ollama 性能。目前该合作尚无后续发展事实披露。

多机构推出酶设计模型DISCO

Caltech、Mila、FutureHouse等机构 推出 可联合生成蛋白质序列与三维结构的多模态模型DISCO

查看事件：多机构推出酶设计模型DISCO

Mistral发布Small 4模型

Mistral AI 发布 Mistral Small 4开源多模态推理模型

查看事件：Mistral AI发布Mistral Small 4开源多模态推理模型

LG AI Research 在 CTAD 2025 介绍 MOIRA 框架

LG AI Research 介绍 MOIRA 多模态整合框架

查看事件：LG AI Research 在 CTAD 2025 介绍 MOIRA 框架