Google 发布 Genie 4 实时多模态世界模型
Google 发布 Genie 4，新增原生音频、可移动并说话的角色、更精细的物理效果和实时提示词编辑。Genie 是实时多模态世界模型，能根据键盘操作和文本提示逐帧渲染可玩环境，目前开放候补名单，Google AI Ultra 用户优先。
匹配字段标题
←搜索结果
搜索“多模态”
面壁智能 MiniCPM-V 4.7 实现 100 tok/s 端侧多模态运行，内存占用约 3 GB
面壁智能的 MiniCPM-V 4.7 可在本地以 100 tok/s 运行，内存占用约 3 GB，定位为让端侧 AI 更实用。官方提到 llama.cpp 生态让该模型更容易上手试用。
匹配字段标题
Cloudflare 的 27B 多模态决策模型 Clef 上线 Ollama
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来，采用 Apache 2.0 许可，支持文本与图像输入，兼容 Jev 和 System One API，可一次读取输入并同时为所有问题打分。官方称其在 Cloudflare Decision Index 上居首，并在多数基准上超过 Jev。
匹配字段标题
Cloudflare多模态决策模型Clef上线Ollama
Clef 上线 Ollama平台
English translation is being prepared.
匹配字段标题
InternLM 开源多模态决策模型 Intern-Decision，4B 版本七套基准平均准确率 90.02%
InternLM 发布开源多模态决策模型 Intern-Decision，将状态、可选图像和多个带类型的问题转化为带概率的决策，支持 choice、score 和 noul（是/否）三类问题，训练时微调 Qwen3.5 的语言主干并冻结视觉塔和投影器。Intern-Decision-4B 在七套基准上平均准确率 90.02%，RTX 4090 本地平均请求延迟 44.16 ms，在 96 例校准基准上 Brier 为 0.550、ECE 为 0.089。该版本包含训练、两种推理后端、基准评分、温度校准和浏览器 demo，但训练数据、校准与验证记录、图像及模型权重未包含在内。
匹配字段标题
蚂蚁 inclusionAI 开源 LLaDA2.0-Uni 统一多模态模型
蚂蚁 inclusionAI 的 AGI Research Center 在 GitHub 开源 LLaDA2.0-Uni，一个基于 dLLM 的 MoE 统一模型，把多模态理解与生成整合进 Mask Token Prediction 范式。模型支持文生图（含 thinking 模式）、图像理解与图像编辑，采用 SigLIP-VQ 离散语义 tokenizer 和扩散解码器，经蒸馏可实现 8 步推理。仓库已放出 HuggingFace 模型权重、FP8 量化版本、ComfyUI 与 Diffusers 支持，以及 SGLang 服务支持，采用 Apache License 2.0。
匹配字段标题
智源 FlagOpen 更新 FlagEmbedding 仓库，发布 BGE-VL 多模态嵌入模型
智源 FlagOpen 在 FlagEmbedding 仓库中发布 BGE-VL 多模态嵌入模型，支持文本到图像、图像到文本、图像加提示词到图像等多种视觉检索场景，采用 MIT 许可，学术与商业用途均可免费使用。同时发布用于训练 BGE-VL 的大规模合成数据集 MegaPairs。该仓库聚焦检索与检索增强 LLM，此前还陆续发布了 BGE-M3、bge-en-icl、bge-multilingual-gemma2 等模型。
匹配字段标题
Perplexity 开源七个项目，含多模态决策模型与 Apple 芯片推理引擎
Perplexity 近期开源了七个项目。pplx-decider-v1-27b 是多模态决策模型，在 11 项基准上平均 85.7%，领先 Jev；pplx-embed-v2-context-9b-preview 为上下文嵌入向量模型，在 ConTEB 和 turbopuffer context-bench 上表现最佳。此外还有面向 Apple silicon 的本地推理引擎 Lily，用 Rust 加自定义 metal kernel 实现，在 M5 Max 上 prefill 比 MLX-LM 快 1.23 倍、decode 快 1.35 倍；0.6B 端侧 PII 分类器 PII-Tracer 及配套 PII-TRACE 基准；面向深度研究智能体的 WANDR 基准；笔记本与工作站智能体检测响应工具 Numbat；以及只读供应链扫描器 Bumblebee。
匹配字段标题
Cerebras 上线 Gemma 4 31B，多模态推理超 1800 tokens/s
Cerebras 在 Cerebras Inference Cloud 以公开预览形式上线 Gemma 4 31B，输出速度超过 1800 tokens/s，据 Artificial Analysis 测得为 1851 tokens/s，约为典型 GPU 端点的 35 倍，含推理的首个答案 token 延迟 1.5 秒。这是 Cerebras 平台首个支持图像理解的模型，也是首个上线的 Google DeepMind 模型，可处理截图、图表、UI 状态等视觉输入。该模型为 Apache 2.0 开源权重，在 Artificial Analysis 智能指数上得分 29，与 Claude Haiku 4.5 的 30 分接近，但在 Cerebras 上运行速度快 18 倍。
匹配字段标题
DeepSeek API 新增多模态支持
DeepSeek API 通过实验模型 deepseek-v4-flash-vision-exp 支持文本与图像混合输入，并兼容 Chat Completions、Messages 和 Responses。图像可通过 base64、外部 URL 或 Files API 提供，每张最多按 384 tokens 计费，采用 V4-Flash 定价。
匹配字段标题
SGLang 为 Meta 多模态模型 Muse Glimmer 提供 Day-0 支持
LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。
匹配字段标题
SGLang 与 Miles 为多模态模型 Inkling 提供 Day-0 支持
LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。
匹配字段标题
Thinking Machines 的 Inkling 上线 Modal，975B 参数多模态模型支持 Day 0 托管
Thinking Machines 发布通用多模态模型 Inkling，可接受文本、图像和音频输入并生成文本输出，Modal 以 Day 0 合作将其作为按 token 计费的托管端点上线。Inkling 是 MoE Transformer，总参数 975B、激活 41B，上下文窗口 1M token，原生支持音频与视觉。Modal 为其定制了 DFlash 推测解码器，在 8x B200 的智能体负载上实现每用户 250 tokens/s、每 GPU 2.5M TPM，交互性比模型内置推测路径快 67%。
匹配字段标题
Google 在 I/O 上重新设计搜索框，支持多模态输入并合并 AI Overviews 与 AI Mode
Google 在 I/O 开发者大会上宣布重新设计沿用 25 年的搜索框，将其从关键词输入框改为可接受文本、图片、PDF、视频和 Chrome 标签页的多模态对话入口，并立即在支持 AI Mode 的所有国家和地区上线。Google 同时把 AI Overviews 与 AI Mode 合并为一条连续搜索流程，用户可在传统结果页直接追问，无需切换界面。新体验由 Gemini 3.5 Flash 驱动，Google 称 AI Mode 上线一年月活已超 10 亿，AI Overviews 月活超 25 亿。
匹配字段标题
vLLM 推出 IO Processor 插件框架，支持地理空间与多模态输出处理
vLLM 新增 IO Processor 插件框架，使非文本模型能在同一服务实例内完成输入预处理和输出后处理，并接入 TerraTorch 地理空间模型。插件目前用于 pooling 模型，每个 vLLM 实例可加载一个插件；Prithvi 示例可接收卫星图像 URL，并返回 base64 编码的 GeoTIFF 洪水区域预测图。相关改动尚未进入当时最新的 v0.10.1.1，复现实例需安装最新代码。
匹配字段标题
Ollama 推出多模态模型新引擎，支持 Llama 4、Gemma 3、Qwen 2.5 VL 等视觉模型
Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。
匹配字段标题
Rohan Paul称Sunra按厂商原价转售多模态模型调用
Rohan Paul 于2026年10月29日转述称,Sunra 发布 Sunra API,用户通过一个密钥即可调用各主流图像、视频、音频和 3D 模型,并按各模型厂商自己的 API 价格计费,采用按量付费,没有订阅费,也不加价。Rohan Paul 还称,Seedance 2.5 在 Sunra 上的价格是另外两家网关的一半,这种统一入口也便于对 Google、OpenAI、ByteDance 和 Kling 的模型做 A/B 测试。目前该说法仅见于 Rohan Paul 的转述,尚无 Sunra 官方或其他来源的独立证据。
匹配字段标题
Rohan Paul称Sunra按厂商原价转售多模态模型调用
Rohan Paul 于2026年10月29日转述称,Sunra 发布 Sunra API,用户通过一个密钥即可调用各主流图像、视频、音频和 3D 模型,并按各模型厂商自己的 API 价格计费,采用按量付费,没有订阅费,也不加价。Rohan Paul 还称,Seedance 2.5 在 Sunra 上的价格是另外两家网关的一半,这种统一入口也便于对 Google、OpenAI、ByteDance 和 Kling 的模型做 A/B 测试。目前该说法仅见于 Rohan Paul 的转述,尚无 Sunra 官方或其他来源的独立证据。
匹配字段标题
Cloudflare多模态决策模型Clef上线Ollama
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。据 Ollama Blog 2026 年 10 月 19 日发布的信息,Clef 由 Qwen3.8-27B 微调而来,采用 Apache 2.0 许可,支持文本与图像输入,兼容 Jev 和 System One API,可一次读取输入并同时为所有问题打分。官方称其在 Cloudflare Decision Index 上居首,并在多数基准上超过 Jev。目前该模型已可通过 Ollama 使用,尚无后续发展事实。
匹配字段标题
InternLM 发布 Intern-Decision 多模态决策模型仓库
2026年10月14日,InternLM 发布 Intern-Decision 多模态决策模型仓库。据同一来源的报道,该模型将状态、可选图像和多个带类型的问题转化为带概率的决策,支持 choice、score 和 noul(是/否)三类问题;训练时微调 Qwen3.5 的语言主干,并冻结视觉塔和投影器。Intern-Decision-4B 在七套基准上平均准确率 90.02%,在 RTX 4090 上本地平均请求延迟 44.16 ms,在 96 例校准基准上 Brier 为 0.550、ECE 为 0.089。该版本包含训练、两种推理后端、基准评分、温度校准和浏览器 demo,但训练数据、校准与验证记录、图像及模型权重未包含在内。目前尚无后续有证据的发展。
匹配字段标题