搜索“多模态”

Black Forest Labs发布FLUX 3多模态模型

2026年7月20日,Black Forest Labs发布多模态基础模型FLUX 3并开启早期访问。该模型基于Self-Flow在统一架构中同时学习图像、视频和音频,可单次生成最长20秒带原生音频的视频,支持文生视频、图生视频、视频生视频、关键帧过渡和多语言对话等能力。官方称早期评测结果仍属初步,后续将陆续开放FLUX 3 Video、FLUX 3 Image的API与私有权重,以及FLUX 3 Dev的开源权重。2026年8月4日,Black Forest Labs宣布FLUX 3 Video的初版文生视频与图生视频能力即日起通过BFL API和部分合作方开放,可生成最长20秒的HD视频,支持Full HD放大输出与原生音频,并提供Draft Mode。官方称后续将推出FLUX 3 Image与开放权重版本FLUX 3 Dev。

Thinking Machines Lab发布Inkling多模态MoE模型

2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo

Mistral AI发布Mistral Small 4开源多模态推理模型

2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

英伟达开放Nemotron多模态模型

2025年10月31日,英伟达发布开源视觉语言模型Nemotron Nano 2 VL,面向视频理解与文档智能。该模型采用混合Transformer–Mamba架构,并通过EVS剪除冗余视频帧,以减少需要处理的token。vLLM同时为其提供推理支持,夜间版本可用BF16、FP8和FP4精度部署兼容OpenAI接口的推理服务器。

OpenAI推出多模态模型GPT-4o

2024年5月14日,OpenAI发布GPT-4o,并将其免费提供给ChatGPT用户。该模型配套推出新的语音和视频模式,强调接近人类的响应速度与表现力。Sam Altman称,这类交互快速、自然且实用;未来还计划加入可选的个性化、信息访问以及代用户执行操作等能力。

MiniMax 发布通用多模态生成模型 H3

2026年7月31日,MiniMax 发布通用多模态生成模型 H3。据官方信息,H3 可理解由文本、图像、视频和音频组成的统一上下文,生成带原生立体声的视频,最长 15 秒、2K 分辨率。官方称 2K 下每秒价格不到主流模型的三分之一,768p 价格不到主流模型 720p 的一半,并计划在近日开放模型权重。H3 采用 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 等技术,官方表示完整技术报告即将发布。目前尚无后续有证据支持的发展。

Qwen 团队发布多模态智能体模型 Qwen3.7-Plus

2026年5月20日,阿里 Qwen 团队发布面向智能体时代的专有模型 Qwen3.7-Max,可通过阿里云百炼(Model Studio)调用 API。官方称其在编码智能体、通用智能体与推理基准上取得领先或接近 Opus-4.6 Max 的成绩,支持 Claude Code、OpenClaw、Qwen Code 等框架,并展示了一次约 35 小时、1158 次工具调用的自主内核优化,相对 SGLang Triton 参考实现取得 10.0x 几何平均加速。2026年6月1日,Qwen 团队发布 Qwen3.7-Plus,一款把视觉与语言统一到单一智能体底座的多模态模型,已在阿里云百炼上线,可在同一智能体循环中混合执行 GUI 与 CLI 操作,支持屏幕读取、视觉参考写代码、移动应用端到端操作,并适配 Claude Code、OpenClaw、Qwen Code 等框架。官方基准显示其在 Terminal Bench 2.0-Terminus 得 70.3、ScreenSpot Pro 得 79.0、AndroidWorld 得 81.0,同时支持 preserve_thinking

Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

2026年4月22日,Qwen Team 开源了 27B 参数的稠密多模态模型 Qwen3.6-27B。据官方博客,该模型支持思考与非思考两种模式,权重已在 Hugging Face 和 ModelScope 发布,并上线 Qwen Studio 与 API。官方称其在全部主要编码基准上超过上一代开源旗舰 Qwen3.5-397B-A17B,包括 SWE-bench Verified 77.2 对 76.2、Terminal-Bench 2.0 59.3 对 52.5、SkillsBench 48.2 对 30.0,GPQA Diamond 为 87.8。该模型可接入 OpenClaw、Claude Code 和 Qwen Code 等第三方编码助手,API 支持 preserve_thinking 以保留多轮思考内容。目前尚无后续发展事实。

MiniMax 发布通用多模态生成模型 H3

MiniMax 发布 MiniMax H3 通用多模态生成模型

查看事件：MiniMax 发布通用多模态生成模型 H3

Black Forest Labs发布FLUX 3多模态模型

Black Forest Labs 发布 FLUX 3多模态基础模型

查看事件：Black Forest Labs发布FLUX 3多模态模型

Qwen 团队发布多模态智能体模型 Qwen3.7-Plus

Qwen Team 发布 Qwen3.7-Plus 多模态智能体模型

查看事件：Qwen 团队发布多模态智能体模型 Qwen3.7-Plus

Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

Qwen Team 开源 Qwen3.6-27B

查看事件：Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

Mistral在Hugging Face发布Large 4权重

2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。

扩散智能发布扩散语言模型Clover-35B-A3B-Preview

2026年10月29日,扩散智能发布扩散语言模型Clover-35B-A3B-Preview。据量子位报道,该模型采用MoE架构,总参数350亿、每token激活约30亿,支持思考模式;在网页Agent评测WindTunnel的49个任务中,其中位执行时间1.52秒,低于Jev+Mercury 2.5组合的3.21秒,成功率分别为98.6%和95.9%;代码评测上SWE-bench Verified得73.6、Terminal-Bench 2.1得51.7。团队称后续将推出多模态版本并推进端侧适配。10月30日,IT之家·人工智能报道称,人工智能实验室DiffuSpace发布Clover系列首个模型Clover-35B-A3B-Preview,采用MoE架构并以Apache许可开源,通过多轮迭代生成结果,DiffuSpace称其在多项基准测试中性能超过同规模自回归模型Qwen3.6-35B-A3B,并保持更快生成速度,尤其擅长智能体编程与工具使用任务。

蚂蚁GuangJian团队发布视觉取证模型DefakerOne2

蚂蚁集团GuangJian团队在GitHub开源视觉取证模型DefakerOne2,并发布模型权重。该模型基于Qwen3.5-2B多模态骨干,参数量为2B,覆盖AI生成内容、DeepFake人脸、文档篡改、自然图像篡改、人脸与证件防伪以及AI生成视频检测。团队称模型在约5000万样本上训练,采用LoRA到全参数再到LoRA的三阶段Tide-Style Tuning,并用基于熵的测试时路由在视频与帧两条通路间选择。团队还称其在53项检测基准中40项达到SOTA、14项定位基准中11项达到SOTA,权重与RRVBench基准已发布于ModelScope。

Kimi K3.1 Pro在WebDev Arena排名第8

月之暗面发布Kimi K3.1 Pro,该模型在Code Arena WebDev以1692分位列第8。据Arena报道,其得分与Claude Opus-5 (Max)持平,成本低70%,较Kimi K3 (Max)的第17名提升9位。该模型定价为每百万输入/输出token 2/10美元,单任务成本中位数1.23美元,比Kimi K3低29%,并将在11月4日开放权重。Kimi官方称其为3T级开源权重模型,具备1M token上下文、2.8T总参数/104B激活参数的MoE多模态架构,幻觉率下降65%。Testing Catalog报道称,Kimi因此回到Code Arena WebDev实验室排名前4,并称开放权重发布后它将成为该榜单排名第一的开源模型。

fal上线Kling 4.0视频模型

fal于2026年10月21日上线Kling 4.0。据fal发布的信息,这是一款新一代原生多模态视频模型,提升了复杂运动的稳定性、角色与场景的参考一致性,以及对电影化叙事的控制精度。目前该模型仅通过fal UX和fal Agent提供,API访问即将开放。除这一上线事实外,暂无其他有合格事实证据的后续发展。

NVIDIA扩展Nemotron Retriever系列并发布多款开放模型

2026年10月21日,NVIDIA扩展Nemotron Retriever系列,发布多款开放模型,覆盖嵌入、重排与文档解析。此次推出的模型包括Nemotron 3.5 Embed(8B BF16、1B BF16、1B NVFP4)、Nemotron 3.5 Rerank 8B BF16,以及参数规模为6.31亿的Nemotron 3.5 Parse,面向企业智能体工作流的多模态检索与文档处理。NVIDIA称,在智能体检索流程中加入Rerank后,单次查询的token成本分别降低约14%(搭配8B嵌入模型)和13%(搭配1B模型),检索准确率同时提升。Parse在ParseBench上得分75.20,单张H100上每秒处理10.5页。开放权重、数据和训练配方已在Hugging Face发布,并可通过NVIDIA NIM及Baseten、DeepInfra、FriendliAI部署。

Perplexity Decider上线Vercel AI Gateway

2026年10月17日,Perplexity的Decider V1.2决策模型上线Vercel AI Gateway,Vercel开发者现可使用面向复杂智能体工作流的perplexity/pplx-decider-v1.2和面向超快决策的perplexity/pplx-decider-flash-v1.2,Aravind Srinivas转发了这一消息。同日稍早的报道称,Perplexity开源了pplx-decider-flash-v1.2与pplx-decider-v1.2两款决策模型:前者为4B参数、每百万token 1美分,被称为HF Decision Index上最强的4B模型;后者为27B参数、每百万token 2美分,在HF Decision Index总榜排第2。两者均已在Perplexity Decisions API上线,并在Hugging Face提供开放权重。Perplexity Developers称这一代开放权重多模态决策模型文本与视觉分数均有提升,推理速度最高快5倍,一次请求中的所有问题单次前向完成。

Meta发布开放权重模型Muse Spark Open

2026年10月15日,Meta发布开放权重模型Muse Spark Open,权重当天在Hugging Face上线,采用Muse Model License。据PyTorch Blog,该模型为816B总参数、42B激活参数、1M token上下文窗口,原生多模态并面向编码与智能体任务,在Muse Spark基础上增加安全后训练,可在SGLang和vLLM上运行。10月16日,该模型上线Amazon SageMaker JumpStart,提供BF16与NVFP4两个变体;同日进入Arena的Agent Arena实测,并上线Code Arena的WebDev等项目。10月17日,Arena公布Muse Spark Open (Max)以1511分成为Code Arena WebDev排名第一的美国开源模型,在全部开源模型中排第13。