搜索“多模态”

vLLM支持多模态输出处理

vLLM 新增支持 非文本模型与IO Processor插件框架

查看事件：vLLM扩展多模态输出处理

Mistral在Hugging Face发布Large 4权重

2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。

百度健康升级文心健康管家并发布好医矩阵与健康相机

2026年10月24日,百度健康宣布升级文心健康管家,同时发布「好医矩阵」和「健康相机」。据雷锋网同日报道,百度健康AI服务月活跃用户已达5000万+。好医矩阵包含好医答、好医加号、好医说、好医榜、好医评;其中好医答入驻15万+全三甲真人医生,提供7*24小时在线服务,好医加号已覆盖80%以上公立三甲医院,每天提供超12万个加号源。健康相机支持打字、方言语音、拍照和视频上传边拍边说,基于300万多模态影像素材训练,可识别动态体征与多发症状位置关系。目前该事件尚无后续发展事实。

Kling 4.0上线fal平台

可灵 Kling 4.0 已在 fal 平台上线。官方称其为新一代原生多模态视频模型,在复杂运动稳定性、角色与场景参考一致性以及电影叙事控制精度上有所提升。目前该模型仅通过 fal UX 和 fal Agent 提供,API 访问即将开放。

Neura Robotics发布具身基础模型Neuron AI

Neura Robotics 发布了机器人基础模型 Neuron AI。据 AI Business 报道,该模型在 3D 视觉之外加入触觉与力数据、音频、机器人状态和语言,并带有记忆功能,可在物体离开视野后保留信息。Neura 计划本周晚些时候在英伟达柏林 GTC 上演示,由人形机器人 4NE1 完成一段十一分钟的衣物处理流程。公司尚未披露额外感官输入对性能的影响幅度以及训练所需的数据量;Interact Analysis 分析师质疑其机器人训练场能否收集到足够的多模态数据。目前尚无后续进展。

Google发布TPU原生vLLM与SGLang推理引擎

Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。

vLLM-Omni团队发布技术报告

vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。

TwelveLabs Pegasus 1.5上线Amazon Bedrock

TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线。据 AWS Machine Learning 发布的信息,该模型可把长视频转成带时间戳的结构化 JSON 元数据;新版本支持按用户定义的分段规则返回匹配片段、结合参考图像的多模态提示,以及无需预索引的即时处理,单次请求可分析最长 2 小时视频。模型通过 InvokeModel 和 InvokeModelWithResponseStream 调用,目前在美国西部(俄勒冈)区域提供。

Unsloth称可在笔记本本地运行训练120B+模型

2026年10月17日,Unsloth宣布适配NVIDIA RTX Spark,可在笔记本上本地运行和训练120B+参数模型。据其发布的信息,借助针对ARM平台CUDA优化的kernel和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约2.7倍,全部在本地完成,统一内存最高128GB。目前该消息仅有Unsloth一方发布,尚无其他来源的独立证据,也没有后续发展事实。

TypeSafe AI 发布 Jev 1.14 及预览功能

TypeSafe AI 发布 Jev 1.14,为现有 Jev 模型加入多模态能力,图像可出现在此前只能放文本的位置,并新增用于定位的边界框原语。官方称上下文长度提升到原来的 4 倍,`jev-preview` 现指向 `jev-1.14.0`,最大改进可能来自多语言支持。图像与边界框均属预览功能,官方提醒生产环境需谨慎使用。另一篇官方说明称该版本于 10 月 14 日下午 1:14 PT 发布,整体有小幅改进、多语言支持提升最明显,团队同时公开了自研的内部评测思路,并邀请开发者反馈 Jev 仍显笨拙之处。目前没有后续有证据的发展。

Meta发布开放权重模型Muse Spark Open

2026年10月15日,Meta发布开放权重模型Muse Spark Open,权重当天在Hugging Face上线,采用Muse Model License。据PyTorch Blog,该模型为816B总参数、42B激活参数、1M token上下文窗口,原生多模态并面向编码与智能体任务,在Muse Spark基础上增加安全后训练,可在SGLang和vLLM上运行。10月16日,该模型上线Amazon SageMaker JumpStart,提供BF16与NVFP4两个变体;同日进入Arena的Agent Arena实测,并上线Code Arena的WebDev等项目。10月17日,Arena公布Muse Spark Open (Max)以1511分成为Code Arena WebDev排名第一的美国开源模型,在全部开源模型中排第13。

World Labs 正式开放 Marble 世界模型

World Labs 于 2026 年 10 月 14 日宣布,其多模态世界模型 Marble 即日起向所有人开放,此前仅面向少量 beta 用户。据官方说明,Marble 支持从文本、图像、视频或粗略 3D 布局生成 3D 世界,并可交互式编辑、扩展和组合,生成结果可导出为 Gaussian splats、网格或视频;同时推出 Marble Labs 创作社区,提供案例研究、教程和文档。同一时间点的另一条官方信息显示,World Labs 曾推出 Marble 的有限访问 beta 预览,用户可在 marble.worldlabs.ai 查看和创建 3D 世界,给定图像或文本提示可生成可无限探索、无变形、无不一致的 3D 世界,相比此前结果更大、风格更多样、3D 几何更干净,并可将生成世界导出为 Gaussian splats,借助开源渲染库 Spark 集成到 Three.js 中,在桌面、笔记本、移动设备和 VR 头显上渲染。目前状态为正式开放。

World Labs 发布 World API

World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。

Kimi推出Agent Swarm

2026年10月10日,Moonshot AI(月之暗面)推出Kimi Agent Swarm,可并行调度最多100个子智能体。据官方发布信息,该功能依托开源模型Kimi K2.5,在K2基础上用约15T混合视觉与文本token继续预训练,原生多模态,主打编码与视觉能力。K2.5可自主编排最多100个子智能体、执行最多1500次工具调用,相比单智能体设置最多缩短4.5倍执行时间,且无需预定义子智能体或工作流。官方称其针对单智能体顺序执行在长任务上的上下文与时间瓶颈,适用于大规模检索、批量文档处理、多视角分析等可并行场景。模型已上线Kimi.com、Kimi App、API和Kimi Code,Kimi.com与App提供K2.5 Instant、Thinking、Agent和Agent Swarm(Beta)四种模式,Agent Swarm在Kimi.com处于beta,高层级付费用户可获免费额度。该功能目前为早期研究预览,后续将加入子智能体直接通信与并行宽度动态控制。

DeepMind发布EmbeddingGemma 2

2026年10月6日,Google DeepMind发布开放权重多模态嵌入模型EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量740M。据Google Developers Blog介绍,文本权重在Google Pixel 11 Pro上仅需约191MB活跃内存,完整多模态模型约567MB,无需训练数据或微调即可作为端侧决策引擎,实现毫秒级零样本意图路由;Google AI Edge Gallery新增Instant Media Search和Video Moments Finder演示,未来数周内该模型将通过ML Kit以服务形式登陆Android并支持NPU加速。据Google DeepMind介绍,该模型采用Apache 2.0许可,在MTEB Code上从68.76提升到78.68,支持8K token上下文窗口,权重已在Hugging Face和Kaggle开放下载。10月6日,Georgi Gerganov宣布llama.cpp对EmbeddingGemma 2提供Day-0支持;10月7日,Simon Willison表示赞赏其采用

Perplexity开源七项AI项目

2026年10月3日,Perplexity开源了七项模型、推理工具与安全项目。据当时报道,其中包括多模态决策模型pplx-decider-v1-27b,在11项基准上平均85.7%,领先Jev;上下文嵌入向量模型pplx-embed-v2-context-9b-preview,在ConTEB和turbopuffer context-bench上表现最佳;面向Apple silicon的本地推理引擎Lily,用Rust加自定义metal kernel实现,在M5 Max上prefill比MLX-LM快1.23倍、decode快1.35倍;以及0.6B端侧PII分类器PII-Tracer及配套PII-TRACE基准、面向深度研究智能体的WANDR基准、笔记本与工作站智能体检测响应工具Numbat、只读供应链扫描器Bumblebee。2026年10月7日,Perplexity宣布其决策模型在Hugging Face Decision Index上登顶,并称该模型为开放权重。

DeepSeek扩展V4.1-Flash部署

2026年9月10日,DeepSeek在其API上线原生多模态模型V4.1-Flash,调用时需将模型名设为deepseek-flash。与此同时,V4-Flash与V4-Flash-Vision-Exp退役,其旧模型名暂时被路由至新模型。DeepSeek还表示,自9月14日04:00 UTC起,发往deepseek-v4-pro的请求也将按V4.1-Flash费率转发至该模型,直至V4.1-Pro上线。

Unsloth 提升 GLM-5.3-Flash 本地推理速

2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

DeepMind发布EmbeddingGemma 2

Google DeepMind 发布 740M开放多模态嵌入模型EmbeddingGemma 2

查看事件：DeepMind发布EmbeddingGemma 2

OpenCode限免LongCat 2.5预览版

2026年9月26日,OpenCode宣布在其平台上线LongCat-2.5-Preview,并提供两周限时免费使用。据同一来源的报道,该预览版列出三项规格:1M上下文、多模态和零数据留存。目前没有后续发展事实,事件状态停留在该限免上线阶段。