搜索“多模态”

DeepSeek扩展V4.1-Flash部署

2026年9月10日,DeepSeek在其API上线原生多模态模型V4.1-Flash,调用时需将模型名设为deepseek-flash。与此同时,V4-Flash与V4-Flash-Vision-Exp退役,其旧模型名暂时被路由至新模型。DeepSeek还表示,自9月14日04:00 UTC起,发往deepseek-v4-pro的请求也将按V4.1-Flash费率转发至该模型,直至V4.1-Pro上线。

Cohere推出企业文档解析模型

2026年8月27日,Cohere发布视觉语言模型Parse,用于将多模态企业文档转换为结构化数据。该模型可识别表格和嵌入图片、输出Markdown,并支持九种主要语言;其在ParseBench三个评测维度中的得分为79.2。Parse现已通过Cohere API、Model Vault、Microsoft Foundry和AWS SageMaker提供。Cohere API定价为每1000页1.50美元,使用8个H100 GPU节点时处理速度为每秒36页。

阿里发布Qwen3.8模型权重

2026年8月26日至27日,阿里发布Qwen3.8-Flash-Next模型权重。据Qwen Blog,该模型为多模态MoE架构,主模型125B参数、额外51B N-gram嵌入参数,每token激活6B,训练成本约为Qwen3.7-Plus的1/9,原生支持262,144 tokens上下文并可通过YaRN扩展至1,000,000 tokens。该模型是Qwen4架构的早期预览,在注意力、残差、嵌入和优化四方面升级,采用GDN+QSA混合注意力、Gated Residual、N-gram Embedding与Muon优化器,权重已在Hugging Face和ModelScope开放;生产版本以qwen3.8-flash名称在QwenCloud提供服务,默认1M上下文并内置官方工具,定价为每百万输入tokens 0.15美元、每百万输出tokens 0.47美元。NVIDIA方面称,其提供SGLang、vLLM和TensorRT LLM的Day 0功能支持,并在GB300 NVL72上验证推理,单GPU吞吐超过16K token/秒、单用户超过200 token/秒;开发者可用NVI

V4视觉模型拓展智能体应用

2026年8月21日,DeepSeek介绍V4-Flash-Vision-Exp的多模态智能体能力。该模型可在多种智能体框架中顺畅运行,把视觉理解与广泛的工具调用结合起来,从而支持更多实用的多模态智能体工作流。目前输入材料仅提供了此次能力介绍,未说明具体上线范围、应用案例或后续进展。

Z.ai发布GLM-5.3模型

2026年8月15日,Z.ai发布GLM-5.3模型。据Interconnects报道,该模型当时仅在编码套餐中提供,即将上线API,并计划两周后在Hugging Face开放权重;其与GLM-5.2同基座,仅大幅扩展后训练,参数量约750B,在多项智能体编码基准上超过Kimi K3,部分指标超过Claude Fable 5或GPT-5.6-Sol。此后,Unsloth于8月27日发布GLM-5.3-Flash的GGUF量化版本,称其3-bit量化需128GB内存,该模型为320B-A18B、MIT许可证、原生多模态并支持1M token上下文窗口,此前以Ox Alpha名义预览。8月28日,Unsloth又发布GLM-5.3的2-bit量化版及运行指南,称模型从1.51TB压缩到239GB,体积减少83%,精度保留约81%,可在256GB Mac或相应RAM/VRAM配置上运行。

Meta发布Muse Glimmer 30B开放权重模型

2026年8月10日,Meta发布Muse Glimmer 30B开放权重稠密模型,面向本地AI智能体工作负载。据Hugging Face介绍,该模型由2B视觉编码器和28B文本解码器组成,支持图像、无音频视频、多模态工具调用和目标检测,并获得Transformers、llama.cpp及vLLM支持。NVIDIA方面称其上下文窗口120K+,可完整放入单卡显存,覆盖GeForce RTX 5090、DGX Spark、DGX Station和Jetson平台,权重已上线Hugging Face。同日,LMSYS宣布与Meta Superintelligence Labs合作,为Muse Glimmer在SGLang上提供Day-0支持,并针对本地智能体工作流推理优化。8月13日,Unsloth宣布可免费微调该模型,其notebook同时支持GRPO RL训练。

Moonshot AI发布旗舰模型Kimi K3

2026年7月16日,Moonshot AI(月之暗面)发布旗舰模型Kimi K3,这是一个2.8万亿参数的多模态模型,具备1M token上下文窗口和原生视觉能力,采用MoE架构,每token激活896个专家中的16个。据Recode China AI报道,K3在Frontend Code Arena获得1,679分,定价为每百万输入token 3美元、每百万输出token 15美元,开放权重计划于7月27日提供。7月27日,Kimi.ai宣布Modal与Baseten成为K3的Day 0发布合作伙伴,Modal为K3架构训练了定制DFlash推测器,将交互速度从100提升到460 tokens/s;同日SGLang与Miles宣布提供Day-0支持,前者负责推理、后者负责RL训练。7月28日,Kimi.ai宣布K3在DigitalOcean Serverless Inference上线。7月29日,Unsloth发布Kimi K3的1-bit量化版GGUF,体积从1.56TB压缩到594GB,缩减62%,精度保留约78.9%,可在配备128GB内存的Mac Studio上运行。

谷歌推出Gemini Omni Flash

2026年5月19日,Google DeepMind推出多模态视频生成与编辑模型Gemini Omni Flash。据Google DeepMind介绍,该模型可接收图像、音频、视频和文本输入,生成高质量视频,并支持通过多轮自然语言对话进行编辑。该模型正向Gemini app、Google Flow和YouTube Shorts推出,未来数周将通过API面向开发者和企业客户开放;初期音频输入仅支持语音参考,生成视频均含SynthID数字水印。另有报道称,Gemini Omni将Gemini的智能与Veo、Nano Banana的能力结合,支持跨场景角色一致性、文生视频编辑以及动态物理与环境表现,当天开始推送。目前该故事尚无后续发展事实。

Physical Intelligence发布π0.7机器人

2026年4月16日,Physical Intelligence发布最新机器人模型π0.7。据该发布信息,π0.7展现出多项涌现能力:能够控制此前没有衣物折叠数据的新机器人UR5e折叠T恤;可通过语言指导学会使用家电;并在单一模型中完成多种灵巧任务。该模型还具备组合泛化能力,可根据提示词以新方式组合已学技能,例如用空气炸锅烤红薯。此外,π0.7可处理包含丰富语言和多模态信息(如视觉子目标图像)的提示,这些图像在测试时可由轻量级世界模型生成。目前该模型已发布,相关能力描述来自发布方。

Meta Superintelligence Labs 推出 Muse Voice Transcribe

2026年9月2日,Meta Superintelligence Labs 推出其首个实时音频感知模型 Muse Voice Transcribe。据官方发布信息,该模型支持实时流式 ASR、20 人以上说话人分离和端点检测,具备多语言与无缝语码切换能力,并可通过语言、关键词和上下文偏置提升准确率。它属于 Muse Spark 系列的自回归多模态 LLM,音频按 80ms 分块(12.5 Hz)逐 token 处理,结合词错误率和延迟奖励的强化学习实现自适应延迟。该模型在 ArtificialAnlys 流式语音转文字和公开说话人分离基准上排名第一,并已在 Meta Model API、Meta AI for Mac 和 Muse Code 上线。目前尚无后续独立发展事实。

Qwen 发布 Qwen3.6-Plus,后续推出 Max-Preview

2026年4月2日,Qwen 发布 Qwen3.6-Plus,通过阿里云百炼 API 提供,默认 1M 上下文窗口,重点提升智能体编码与多模态感知推理能力。官方基准显示其在 SWE-bench Verified 得 78.8、Terminal-Bench 2.0 得 61.6、QwenClawBench 得 57.2,均高于 Qwen3.5-397B-A17B;API 新增 preserve_thinking 参数用于保留多轮思考内容,默认关闭,可接入 Claude Code、Qwen Code、Cline、OpenCode 等编码工具。2026年4月18日,阿里云千问团队发布专有模型 Qwen3.6-Max-Preview 的早期预览版,相比 Qwen3.6-Plus 在世界知识、指令遵循和智能体编码上均有提升,其中 SkillsBench +9.9、SciCode +6.3、NL2Repo +5.0、Terminal-Bench 2.0 +3.8。该模型通过阿里云 Model Studio 提供,API 名称为 qwen3.6-max-preview,支持 preserve_thi

Qwen 开源 Qwen3.6-35B-A3B MoE 模型

2026 年 4 月 15 日,Qwen 团队开源 Qwen3.6-35B-A3B,这是一个 35B 总参数、仅 3B 激活参数的 MoE 模型,主打智能体编码能力,同时支持多模态思考与非思考模式。官方称其在 SWE-bench Verified 上得分 73.4,超过前代 Qwen3.5-35B-A3B 的 70.0,并在多数视觉语言基准上接近 Claude Sonnet 4.5。模型已在 Qwen Studio 上线,可通过阿里云百炼 API 以 qwen3.6-flash 调用,权重发布于 Hugging Face 和 ModelScope,并支持 OpenClaw、Claude Code、Qwen Code 等第三方编码助手。目前尚无后续发展事实。

LG AI Research 推出首个开源权重视觉语言模型 EXAONE 4.5

2026年4月9日,LG AI Research 推出 EXAONE 4.5,这是 LG 首个以开源权重方式发布的视觉语言模型(VLM)。据官方博客介绍,该模型在 EXAONE 4.0 基础上集成自研 Visual Encoder,采用原生多模态预训练同时学习文本与图像;引入 Multi-Token Prediction(MTP)模块,推理速度较此前方法提升 1.5 倍以上,并采用自研 AGAPO 强化学习算法提升逻辑推理能力。官方称其在 MMMU-Pro、MathVision、CharXiv、OCRBench_v2 等基准上优于或接近 Qwen 3 VL 32B、GPT-5-mini、Claude Sonnet 4.5,在韩语视觉基准 k-viscuit 和 KRETA 上表现领先。模型已在 Hugging Face 发布并附技术报告。目前尚无后续发展事实。

Qwen团队发布Qwen3.5系列首个开源权重模型

2026年2月14日,Qwen团队发布Qwen3.5系列首个开源权重模型Qwen3.5-397B-A17B。据Qwen Blog介绍,该模型为原生视觉语言模型,在推理、编码、智能体和多模态理解等基准上给出完整评测结果;采用线性注意力(Gated Delta Networks)与稀疏MoE混合架构,总参数397B、每次前向仅激活17B,语言与方言支持从119种扩展到201种。托管版本Qwen3.5-Plus通过阿里云百炼提供,默认1M上下文窗口,并内置官方工具与自适应工具调用。目前尚无该发布之后的进一步有证据发展。

Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列

2026年1月7日,Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列模型。据Qwen Blog介绍,该系列基于Qwen3-VL底座,面向多模态信息检索与跨模态理解,支持文本、图像、截图和视频输入,覆盖30多种语言。其中Embedding采用双塔架构做高效初筛,Reranker采用单塔Cross-Attention对(Query, Document)对联合编码输出相关性分数,两者串联构成两阶段检索流程。官方称Qwen3-VL-Embedding-8B在MMEB-v2上取得SOTA,Reranker-8B在多数任务上表现最佳。模型提供2B与8B两种规格、32K序列长度,并支持量化与自定义向量维度。目前尚无后续发展事实。

V4视觉模型拓展智能体场景

V4-Flash-Vision-Exp 结合视觉理解与工具调用 多模态智能体工作流

查看事件：V4视觉模型拓展智能体应用

Thinking Machines Lab发布Inkling

Thinking Machines Lab 发布 Inkling多模态混合专家模型

查看事件：Thinking Machines Lab发布Inkling多模态MoE模型

谷歌发布Gemma 4 12B

Google DeepMind 发布 Gemma 4 12B多模态模型

查看事件：谷歌发布Gemma 4 12B

谷歌推出Gemini Omni Flash

Google DeepMind 推出 多模态视频生成与编辑模型Gemini Omni Flash

查看事件：谷歌推出Gemini Omni Flash

Mistral发布Small 4模型

Mistral AI 发布 Mistral Small 4开源多模态推理模型

查看事件：Mistral AI发布Mistral Small 4开源多模态推理模型