搜索“多模态”

TypeSafe AI 发布 Jev 1.14 及预览功能

TypeSafe AI 发布 Jev 1.14,为现有 Jev 模型加入多模态能力,图像可出现在此前只能放文本的位置,并新增用于定位的边界框原语。官方称上下文长度提升到原来的 4 倍,`jev-preview` 现指向 `jev-1.14.0`,最大改进可能来自多语言支持。图像与边界框均属预览功能,官方提醒生产环境需谨慎使用。另一篇官方说明称该版本于 10 月 14 日下午 1:14 PT 发布,整体有小幅改进、多语言支持提升最明显,团队同时公开了自研的内部评测思路,并邀请开发者反馈 Jev 仍显笨拙之处。目前没有后续有证据的发展。

Apertus 1.5 支持原生图像与音频输入

2026年10月15日,Swiss AI 发布 Apertus 1.5,在 1.0 基础上加入原生图像与音频理解能力。该模型以早期融合方式把图像和音频转成离散 token,与文本在同一序列输入,架构不变,只理解多模态、仅输出文本。官方同时说明,Apertus 1.5 还加入思考模式和 262,144 tokens 上下文窗口,较 1.0 扩大 4 倍。官方称 8B 版本在指令遵循和多语言任务上优于同规模开源模型,多模态表现接近 Gemma 4 12B,并同步公开训练数据混合、偏好数据和各阶段中间检查点。目前尚无后续发展事实。

MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

2026年10月13日,面壁智能宣布 MiniCPM-V 4.7 在 Apple Silicon 上获得 Day 0 全端侧推理支持。据当日报道,该模型(1B 与 35B-A3B)通过与 Nativ 合作在 Mac 上实现全本地推理,支持图像与视频理解;在 Apple Silicon 搭配 Nativ v0.4.x 实测中,1B 版 prefill 超 24K tokens/s、decode 315 tok/s,35B-A3B 版 prefill 超 4K tokens/s、decode 90 tok/s。10月13日至14日的后续报道称,面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,为 35B-A3B 的 MoE 模型,可在手机上以仅 3GB 内存运行,能识别现实路牌、按约束做规划、解析复杂文档并对视觉数据推理,同时提供轻量 1B 版本,覆盖 iOS 与 Android。

World Labs 正式开放 Marble 世界模型

World Labs 于 2026 年 10 月 14 日宣布,其多模态世界模型 Marble 即日起向所有人开放,此前仅面向少量 beta 用户。据官方说明,Marble 支持从文本、图像、视频或粗略 3D 布局生成 3D 世界,并可交互式编辑、扩展和组合,生成结果可导出为 Gaussian splats、网格或视频;同时推出 Marble Labs 创作社区,提供案例研究、教程和文档。同一时间点的另一条官方信息显示,World Labs 曾推出 Marble 的有限访问 beta 预览,用户可在 marble.worldlabs.ai 查看和创建 3D 世界,给定图像或文本提示可生成可无限探索、无变形、无不一致的 3D 世界,相比此前结果更大、风格更多样、3D 几何更干净,并可将生成世界导出为 Gaussian splats,借助开源渲染库 Spark 集成到 Three.js 中,在桌面、笔记本、移动设备和 VR 头显上渲染。目前状态为正式开放。

World Labs 正式开放 Marble 世界模型

World Labs 正式开放 Marble 多模态世界模型

查看事件：World Labs 正式开放 Marble 世界模型

World Labs 推出全能世界模型 Atlas

2026年10月,World Labs 推出下一代世界模型 Atlas。据官方发布信息,Atlas 是一个从零预训练的多模态自回归扩散 Transformer,原生处理文本、图像、视频和 3D,所有输入被组合进共享的空间上下文。它支持像素级相机控制的图像与视频生成,可输出最长 1 分钟、1440p 的视频,并能从 1 到上百张输入图像重建真实场景,生成点云或 3D Gaussian splats。官方称其在相机控制生成和稀疏视图 3D 重建两项任务上优于专用模型。目前 Atlas 面向部分合作伙伴开放早期访问,并将用于 Marble 等后续产品。

Black Forest Labs 发布 7B 世界动作模型 FLUX 3 Action

2026年9月22日,Black Forest Labs 发布 FLUX 3 Action,一个从多模态 FLUX 3 主干衍生的 7B 开放权重世界动作模型,用于机器人控制。据其官方博客,该模型在 RoboLab-120 榜单上以不到此前最佳开源模型一半的参数量取得 38.3% ± 0.38 的成功率,速度最高提升 3.95 倍。模型在图像、视频和音频数据上预训练,其中视频占训练 token 的 95% 以上,再通过联合视频-动作训练和针对目标本体的微调适配动作空间。报告还分析了将其与 GPT 6 Astra 等推理模型组合的混合方案,称快速控制能让具身推理更省时省钱,每美元成功率最高提升 53.64%。目前尚无后续发展事实。

vLLM Semantic Router 发布 Decision 3.0 决策模型

2026年10月12日,vLLM 社区孵化的 vLLM Semantic Router 发布并开源 Decision 3.0 多模态决策模型系列。据智东西报道,该系列共 d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge 六款,参数规模覆盖 0.6B 至 27B,权重已在 Hugging Face 开源;旗舰 d3 基于 Qwen3.8-27B 打造,支持输入多张图片和视频,其余 5 款基于不同参数规模的 Qwen3.5。在 Jev Decision Index 0.3.1 榜单中,d3 文本决策指数 64.7 分、公开集 65.5 分位列文本榜第一,视觉榜得分 71.6 分同样第一。团队数据显示,单张 AMD Instinct MI325X GPU 上 d3 处理文本请求延迟中位数 55 毫秒,含图片请求 273 毫秒,10 秒视频请求 553 毫秒。早先 MarkTechPost 报道称该系列为 5 个尺寸(0.85B 到 26.09B),全部采用 Apache-2.0 许可,可读取文本、JSON 和图像并直接返回概率而非生成文本;27B 的 d

vLLM Semantic Router 发布 Decision 3.0 决策模型

vLLM Semantic Router 发布 Decision 3.0 多模态决策模型系列

查看事件：vLLM Semantic Router 发布 Decision 3.0 决策模型

月之暗面发布Kimi K3

2026年10月,月之暗面发布Kimi K3开放权重多模态模型。据官方博客,该模型为2.8T参数,采用Kimi Delta Attention与Attention Residuals,具备原生视觉能力和100万token上下文窗口,已在Kimi.com、Kimi Work、Kimi Code和Kimi API上线,默认使用max thinking effort。官方称其整体性能仍落后于Claude Fable 5和GPT 5.6 Sol,但在自建评测中持续优于其他被测模型。模型采用Stable LatentMoE,896个专家中激活16个,官方称相比Kimi K2整体扩展效率提升约2.5倍,并已向vLLM社区贡献KDA前缀缓存实现。官方表示完整权重将于2026年7月27日发布。目前尚无后续发展事实。

Kimi推出Agent Swarm

2026年10月10日,Moonshot AI(月之暗面)推出Kimi Agent Swarm,可并行调度最多100个子智能体。据官方发布信息,该功能依托开源模型Kimi K2.5,在K2基础上用约15T混合视觉与文本token继续预训练,原生多模态,主打编码与视觉能力。K2.5可自主编排最多100个子智能体、执行最多1500次工具调用,相比单智能体设置最多缩短4.5倍执行时间,且无需预定义子智能体或工作流。官方称其针对单智能体顺序执行在长任务上的上下文与时间瓶颈,适用于大规模检索、批量文档处理、多视角分析等可并行场景。模型已上线Kimi.com、Kimi App、API和Kimi Code,Kimi.com与App提供K2.5 Instant、Thinking、Agent和Agent Swarm(Beta)四种模式,Agent Swarm在Kimi.com处于beta,高层级付费用户可获免费额度。该功能目前为早期研究预览,后续将加入子智能体直接通信与并行宽度动态控制。

DeepSeek发布DeepSeek-V3开源模型及论文

2024年12月26日,DeepSeek发布DeepSeek-V3开源模型及论文。据DeepSeek API更新日志,该模型采用671B MoE参数、37B激活参数,基于14.8T高质量token训练,生成速度60 tokens/秒,比V2快3倍,API保持兼容并开源模型与论文。API定价在2月8日前与V2相同,此后调整。官方表示后续将支持多模态等功能。目前尚无进一步有证据的发展。

Liquid AI发布决策模型d1并开源端侧系列

2026年9月30日,Liquid AI发布首个决策模型d1,面向结构化选择而非文本生成:输入上下文和一组带类型的问题后,单次调用返回固定结果集上的校准概率,usage.output_tokens为0。据官方博客,d1可同时接收文本和图像,一次前向传播直接返回各选项概率,文本决策耗时200到300毫秒;官方称在六个真实应用中d1在四项上追平或超过GPT-6.1 Sol,成本比GPT-6.1 Sol和Claude Opus 5.5低19到200倍。d1已在Liquid AI API上线,按输入token计费,图像按每32×32像素块1.5 token折算,并通过Vercel和OpenRouter提供纯文本版本。10月7日至8日,Liquid AI进一步发布开放权重端侧多模态决策模型d1-3B与d1-omni-600M,已在Hugging Face上线。d1-3B在Decision Index v0.2.1公开集得48.57,单次提问在RTX 4090上8毫秒、Jetson AGX Thor上16毫秒、Jetson AGX Orin上26毫秒、Jetson Orin Nano上50毫秒;d

Mistral发布一万亿参数Mistral Large 4预览版

2026年10月6日,Mistral发布一万亿参数开放权重模型Mistral Large 4预览版。据Mistral AI官方信息,该模型为1万亿参数、490亿激活参数的原生多模态模型,权重将于本月底开放,在Mistral欧洲自有数据中心的3800块NVIDIA Grace Blackwell GPU上从零训练,训练数据覆盖160多种语言,官方称其在网络安全、金融、法律等企业负载上达到开源模型领先水平,在Artificial Analysis Cyber Index上进入全球前五,复现并修补真实漏洞的测试得分82%,Cybench解题率93%。Artificial Analysis的评测显示,该模型智能指数得分38,与GPT-6 Luna(max,38)相当,低于DeepSeek V4.1 Flash(max,39),网络防御指数得分50,CyberGym-E2E-AA得分82%,支持512k token上下文窗口,接受文本和图像输入、输出文本,API单次请求可接受100张图片,标准定价为每1M输入/输出token 1.36/4.18美元。同日,Thomas Wolf发布预告称Mist

DeepMind发布EmbeddingGemma 2

2026年10月6日,Google DeepMind发布开放权重多模态嵌入模型EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量740M。据Google Developers Blog介绍,文本权重在Google Pixel 11 Pro上仅需约191MB活跃内存,完整多模态模型约567MB,无需训练数据或微调即可作为端侧决策引擎,实现毫秒级零样本意图路由;Google AI Edge Gallery新增Instant Media Search和Video Moments Finder演示,未来数周内该模型将通过ML Kit以服务形式登陆Android并支持NPU加速。据Google DeepMind介绍,该模型采用Apache 2.0许可,在MTEB Code上从68.76提升到78.68,支持8K token上下文窗口,权重已在Hugging Face和Kaggle开放下载。10月6日,Georgi Gerganov宣布llama.cpp对EmbeddingGemma 2提供Day-0支持;10月7日,Simon Willison表示赞赏其采用

匿名模型 Ox Alpha 上线 OpenRouter

2026年8月24日,匿名模型 Ox Alpha 免费登陆 OpenRouter,支持 1M-token 上下文和多模态输入,面向编程与持续智能体任务;其 DeepSWE 子集完整测试得分为 63%,接近 Fable 5 且每项任务消耗的 Token 更少,早期线索指向智谱 AI,但开发者身份尚未揭晓。8月26日晚,智谱公布 Ox Alpha 就是旗下 GLM-5.3 Flash,已正式上线并开源,总参数 3200 亿,是 GLM-5 系列首个原生多模态模型,编程表现与 Claude Opus 4.8 持平,定价为 GLM-5.2 的十分之一;智谱同时发布 GLM-5.3-FlashX,推理速度最高 200 tokens/s,比 Flash 快 5 倍,官方称 Flash 推理服务全部由国产 AI 芯片集群承载。8月27日,有来源称 Ox Alpha 即 GLM-5.3 Flash,AA 得分为 57,价格为前沿模型的 1/100,由纯中国芯片提供算力,并在 OpenRouter 获得近 20% 的周 Token 份额,排名第一。

月之暗面发布Kimi K3

Moonshot AI 发布 Kimi K3开放权重多模态模型

查看事件：月之暗面发布Kimi K3

字节 Seed 发布原生音视频全双工大模型 SeedRealtime

字节跳动 Seed 正式发布原生音视频全双工大模型 SeedRealtime。该模型采用统一架构原生融合音频、视频和文本,支持在连续多模态流上进行实时交互。官方称其实现音视频联合理解、主动交互和自然对话节奏三项突破;端到端人工评测显示,相比级联模型,音视频对话节奏问题减少一半。目前 SeedRealtime 已全面上线,官方称这是音视频全双工技术的大规模部署。

Liquid AI发布开放d1决策模型

Liquid AI 发布 开放权重端侧多模态决策模型d1-3B与d1-omni-600M

查看事件：Liquid AI发布决策模型d1并开源端侧系列

DeepMind发布EmbeddingGemma 2

Google DeepMind 发布 740M开放多模态嵌入模型EmbeddingGemma 2

查看事件：DeepMind发布EmbeddingGemma 2