Google 发布 Genie 4 实时多模态世界模型
Google 发布 Genie 4，新增原生音频、可移动并说话的角色、更精细的物理效果和实时提示词编辑。Genie 是实时多模态世界模型，能根据键盘操作和文本提示逐帧渲染可玩环境，目前开放候补名单，Google AI Ultra 用户优先。
匹配字段标题、摘要、正文
←搜索结果
搜索“多模态”
面壁智能 MiniCPM-V 4.7 实现 100 tok/s 端侧多模态运行，内存占用约 3 GB
面壁智能的 MiniCPM-V 4.7 可在本地以 100 tok/s 运行，内存占用约 3 GB，定位为让端侧 AI 更实用。官方提到 llama.cpp 生态让该模型更容易上手试用。
匹配字段标题
Cloudflare 的 27B 多模态决策模型 Clef 上线 Ollama
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来，采用 Apache 2.0 许可，支持文本与图像输入，兼容 Jev 和 System One API，可一次读取输入并同时为所有问题打分。官方称其在 Cloudflare Decision Index 上居首，并在多数基准上超过 Jev。
匹配字段标题、摘要
InternLM 开源多模态决策模型 Intern-Decision，4B 版本七套基准平均准确率 90.02%
InternLM 发布开源多模态决策模型 Intern-Decision，将状态、可选图像和多个带类型的问题转化为带概率的决策，支持 choice、score 和 noul（是/否）三类问题，训练时微调 Qwen3.5 的语言主干并冻结视觉塔和投影器。Intern-Decision-4B 在七套基准上平均准确率 90.02%，RTX 4090 本地平均请求延迟 44.16 ms，在 96 例校准基准上 Brier 为 0.550、ECE 为 0.089。该版本包含训练、两种推理后端、基准评分、温度校准和浏览器 demo，但训练数据、校准与验证记录、图像及模型权重未包含在内。
匹配字段标题、摘要
蚂蚁 inclusionAI 开源 LLaDA2.0-Uni 统一多模态模型
蚂蚁 inclusionAI 的 AGI Research Center 在 GitHub 开源 LLaDA2.0-Uni，一个基于 dLLM 的 MoE 统一模型，把多模态理解与生成整合进 Mask Token Prediction 范式。模型支持文生图（含 thinking 模式）、图像理解与图像编辑，采用 SigLIP-VQ 离散语义 tokenizer 和扩散解码器，经蒸馏可实现 8 步推理。仓库已放出 HuggingFace 模型权重、FP8 量化版本、ComfyUI 与 Diffusers 支持，以及 SGLang 服务支持，采用 Apache License 2.0。
匹配字段标题、摘要
智源 FlagOpen 更新 FlagEmbedding 仓库，发布 BGE-VL 多模态嵌入模型
智源 FlagOpen 在 FlagEmbedding 仓库中发布 BGE-VL 多模态嵌入模型，支持文本到图像、图像到文本、图像加提示词到图像等多种视觉检索场景，采用 MIT 许可，学术与商业用途均可免费使用。同时发布用于训练 BGE-VL 的大规模合成数据集 MegaPairs。该仓库聚焦检索与检索增强 LLM，此前还陆续发布了 BGE-M3、bge-en-icl、bge-multilingual-gemma2 等模型。
匹配字段标题、摘要
Perplexity 开源七个项目，含多模态决策模型与 Apple 芯片推理引擎
Perplexity 近期开源了七个项目。pplx-decider-v1-27b 是多模态决策模型，在 11 项基准上平均 85.7%，领先 Jev；pplx-embed-v2-context-9b-preview 为上下文嵌入向量模型，在 ConTEB 和 turbopuffer context-bench 上表现最佳。此外还有面向 Apple silicon 的本地推理引擎 Lily，用 Rust 加自定义 metal kernel 实现，在 M5 Max 上 prefill 比 MLX-LM 快 1.23 倍、decode 快 1.35 倍；0.6B 端侧 PII 分类器 PII-Tracer 及配套 PII-TRACE 基准；面向深度研究智能体的 WANDR 基准；笔记本与工作站智能体检测响应工具 Numbat；以及只读供应链扫描器 Bumblebee。
匹配字段标题、摘要
Cerebras 上线 Gemma 4 31B，多模态推理超 1800 tokens/s
Cerebras 在 Cerebras Inference Cloud 以公开预览形式上线 Gemma 4 31B，输出速度超过 1800 tokens/s，据 Artificial Analysis 测得为 1851 tokens/s，约为典型 GPU 端点的 35 倍，含推理的首个答案 token 延迟 1.5 秒。这是 Cerebras 平台首个支持图像理解的模型，也是首个上线的 Google DeepMind 模型，可处理截图、图表、UI 状态等视觉输入。该模型为 Apache 2.0 开源权重，在 Artificial Analysis 智能指数上得分 29，与 Claude Haiku 4.5 的 30 分接近，但在 Cerebras 上运行速度快 18 倍。
匹配字段标题
DeepSeek API 新增多模态支持
DeepSeek API 通过实验模型 deepseek-v4-flash-vision-exp 支持文本与图像混合输入，并兼容 Chat Completions、Messages 和 Responses。图像可通过 base64、外部 URL 或 Files API 提供，每张最多按 384 tokens 计费，采用 V4-Flash 定价。
匹配字段标题
SGLang 为 Meta 多模态模型 Muse Glimmer 提供 Day-0 支持
LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。
匹配字段标题、摘要
SGLang 与 Miles 为多模态模型 Inkling 提供 Day-0 支持
LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。
匹配字段标题、摘要
Thinking Machines 的 Inkling 上线 Modal，975B 参数多模态模型支持 Day 0 托管
Thinking Machines 发布通用多模态模型 Inkling，可接受文本、图像和音频输入并生成文本输出，Modal 以 Day 0 合作将其作为按 token 计费的托管端点上线。Inkling 是 MoE Transformer，总参数 975B、激活 41B，上下文窗口 1M token，原生支持音频与视觉。Modal 为其定制了 DFlash 推测解码器，在 8x B200 的智能体负载上实现每用户 250 tokens/s、每 GPU 2.5M TPM，交互性比模型内置推测路径快 67%。
匹配字段标题、摘要
Google 在 I/O 上重新设计搜索框，支持多模态输入并合并 AI Overviews 与 AI Mode
Google 在 I/O 开发者大会上宣布重新设计沿用 25 年的搜索框，将其从关键词输入框改为可接受文本、图片、PDF、视频和 Chrome 标签页的多模态对话入口，并立即在支持 AI Mode 的所有国家和地区上线。Google 同时把 AI Overviews 与 AI Mode 合并为一条连续搜索流程，用户可在传统结果页直接追问，无需切换界面。新体验由 Gemini 3.5 Flash 驱动，Google 称 AI Mode 上线一年月活已超 10 亿，AI Overviews 月活超 25 亿。
匹配字段标题、摘要
vLLM 推出 IO Processor 插件框架，支持地理空间与多模态输出处理
vLLM 新增 IO Processor 插件框架，使非文本模型能在同一服务实例内完成输入预处理和输出后处理，并接入 TerraTorch 地理空间模型。插件目前用于 pooling 模型，每个 vLLM 实例可加载一个插件；Prithvi 示例可接收卫星图像 URL，并返回 base64 编码的 GeoTIFF 洪水区域预测图。相关改动尚未进入当时最新的 v0.10.1.1，复现实例需安装最新代码。
匹配字段标题
Ollama 推出多模态模型新引擎，支持 Llama 4、Gemma 3、Qwen 2.5 VL 等视觉模型
Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。
匹配字段标题、摘要
百度健康升级文心健康管家，发布好医矩阵与健康相机
百度健康宣布升级文心健康管家，发布好医矩阵和健康相机，其AI服务月活跃用户已达5000万+。好医矩阵包含好医答、好医加号、好医说、好医榜、好医评，好医答入驻15万+全三甲真人医生提供7*24小时在线服务，好医加号已覆盖80%以上公立三甲医院、每天提供超12万个加号源。健康相机支持打字、方言语音、拍照和视频上传边拍边说，基于300万多模态影像素材训练，可识别动态体征与多发症状位置关系。
百度健康宣布升级文心健康管家，发布好医矩阵和健康相机，其AI服务月活跃用户已达5000万+。好医矩阵包含好医答、好医加号、好医说、好医榜、好医评，好医答入驻15万+全三甲真人医生提供7 24小时在线服务，好医加号已覆盖80%以上公立三甲医院、每天提供超12万个加号源。健康相机支持打字、方言语音、拍照和视频上传边拍边说，基于300万多模态影像素材训练，可识别动态体征与多发症状位置关系。
匹配字段摘要、正文
Google Research 用 MedGemma 等开放模型推动结核病筛查落地
Google Research 与 Google for Health 在 IDWeek 2026 上介绍了将健康 AI 研究推向临床的进展，包括开源胸部X光嵌入向量与 MedSigLIP、以及 4B 和 27B 两种参数规模的开放权重多模态模型 MedGemma，后者可离线本地运行，累计下载量已超 1000 万次。合作方 Nexus AI 基于这些算法开发的工具已获欧盟 CE MDR class IIb 认证和 ISO 13485 认证，在南非、塞拉利昂、科特迪瓦等六国的约 40 家医疗机构部署，超过 90 名临床医生已评估逾 2.5 万张胸片，将周转时间从数周缩短到 45 秒以内。印尼卫生部正用本国胸片微调 MedGemma 和 MedSigLIP，以在本地基础设施上支撑每年 5000 万人的筛查目标。
匹配字段摘要、正文
MiniMax M3.1 Flash 获 SGLang 与 Miles 首日支持
MiniMax 宣布 M3.1 Flash 从推理到 RL 均已就绪，SGLang 与 Miles 在发布首日即提供支持。据 SGLang 介绍，该模型在 SGLang 上 bs1 decode 超过 1K tok/s，支持 NVIDIA Blackwell 与 Hopper（GB300/B300/B200/H200）以及 AMD Instinct MI350X 和 MI355X，并支持 MiniMax 的 DSpark 草稿模型与 HiCache、多模态输入。
匹配字段摘要
可灵 Kling 4.0 上线 fal 平台
可灵 Kling 4.0 已在 fal 平台上线，官方称其为新一代原生多模态视频模型，在复杂运动稳定性、角色与场景参考一致性以及电影叙事控制精度上有所提升。目前仅通过 fal UX 和 fal Agent 提供，API 访问即将开放。
匹配字段摘要
Hao AI Lab 的 FastH3 OmniRef 获 ComfyUI 支持
ComfyUI 已支持 Hao AI Lab 的 FastH3 OmniRef，这是 Minimax H3 的蒸馏版本，可在本地硬件上运行，支持多模态参考视频生成，并在质量与速度之间取得平衡。ComfyUI 表示开放权重和云端入口可通过其给出的链接获取。
匹配字段摘要