Meta 预览了内部评测框架 WildArtifactBench,用于评估智能体在多种交付格式下的复杂真实任务,并开放其中 10 个任务。该框架采用人类与智能体偏好评判给出的胜率和 Elo 分数,而非严格的标准答案评分标准,从而扩大对实际多模态工作流的任务覆盖。同一批发布还展示了 Muse Spark 1.1 和 1.2 在 Cat Mesh、Plywood Whale 任务上生成的产物,其中 Plywood Whale 的产物以链接形式给出。目前该框架仍处于预览阶段,尚无后续发展事实。
匹配字段摘要
LG AI Research 在 CVPR 2026 展示 VinQA 论文,提出面向真实文档的多模态问答数据集与评测框架。该工作让长文本回答在对应句子前直接放置图表、表格等视觉引用,而非仅在文末附图。据官方博客介绍,数据集训练集约 13 万页、42,700 条 QA,测试集 9,373 页、1,605 条 QA,覆盖七个领域。配套评测器 M-GroSE 在 GPT-4.1、Claude 3.5 Sonnet 等前沿模型上得分最高;Qwen2.5-VL-7B 经 VinQA 微调后 M-GroSE 从约 2 提升至约 3.3,接近约 3.5-3.6 的峰值。目前尚无后续发展事实。
匹配字段摘要
2026年7月11日,Mira Murati发文回顾Thinking Machines Lab成立一年来在多模态AI、自定义模型和开放科学方面的进展。她表示,一年前团队以多模态AI、定制模型和开放科学为重点,立志赋能人类。回顾中提到,团队预览了能像人一样协作的交互模型,Tinker让任何人都能训练自己的开放权重模型,并发表了关于Connectionism的研究。目前没有更多后续发展事实。
匹配字段摘要
Mira Murati 回顾 一年来在多模态AI、自定义模型和开放科学方面的进展
English translation is being prepared.
匹配字段摘要
2026年7月3日,Sakana AI 在 ICML 2026 展示研究“Bridging Spherical Black-Box Optimizers”。据其官方博客,该研究证明参数化方法(如 ES)与非参数化方法(如 CBO)实为同一更新方程的变体,从而可定制混合优化器。团队据此开发 AdaPol 与 SchedPol,将 LLM 合并视为多模态问题,在小数据集上找到多个不同最优解,以更低算力获得泛化性更好的合并模型。目前该研究仍处于展示阶段,尚无后续发展事实。
匹配字段摘要
小米 MiMo 发布并开源终端编码助手 MiMo Code V0.1,采用 MIT 许可。据 2026 年 6 月 10 日的发布信息,该工具基于 OpenCode 构建,面向数十甚至上百步的长程自动化编程任务,围绕计算、记忆、进化三个主题设计:Max Mode 每轮并行采样 5 个候选方案并由模型评判择优,在 SWE-Bench Pro 上比单次采样提升 10–20%,代价是约 4–5 倍 token 消耗;Goal 机制在智能体尝试终止时用独立模型校验停止条件,死循环概率低于 0.5%;记忆层面通过检查点与重建让逻辑会话可无限延长,并维护会话、项目、全局、历史四层记忆。内部双盲 A/B 测试覆盖 576 名开发者、474 个私有仓库,产生 1213 组对比,执行步数超过 200 时 MiMo Code 胜率升至 65% 以上。6 月 11 日的发布信息称,该工具附带限时免费的 MiMo V2.5 多模态模型,支持百万 token 上下文窗口,提供无限上下文、Agent 与模型协同、Compose Mode、自进化系统以及基于 MiMo-V2.5-ASR 的语音输入,并兼容 Clau
匹配字段摘要
2026年8月10日,Meta发布Muse Glimmer 30B开放权重稠密模型,面向本地AI智能体工作负载。据Hugging Face介绍,该模型由2B视觉编码器和28B文本解码器组成,支持图像、无音频视频、多模态工具调用和目标检测,并获得Transformers、llama.cpp及vLLM支持。NVIDIA方面称其上下文窗口120K+,可完整放入单卡显存,覆盖GeForce RTX 5090、DGX Spark、DGX Station和Jetson平台,权重已上线Hugging Face。同日,LMSYS宣布与Meta Superintelligence Labs合作,为Muse Glimmer在SGLang上提供Day-0支持,并针对本地智能体工作流推理优化。8月13日,Unsloth宣布可免费微调该模型,其notebook同时支持GRPO RL训练。
匹配字段摘要
2026年8月13日,微软研究院推出多模态模型拓扑空间推理基准MindTopo。该基准从连通性、包围、顺序、打结等五类拓扑属性评估多模态大语言模型的空间理解能力,每类又分为静态推理与交互规划两个认知层级。测试显示,模型在静态推理上普遍强于交互规划,两者均远低于人类水平;规划错误多发生在场景已被理解之后,模型无法在连续动作中维持拓扑关系。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列时经常改变拓扑或违反任务动态。目前尚无后续发展。
匹配字段摘要
2026年7月16日,Moonshot AI(月之暗面)发布旗舰模型Kimi K3,这是一个2.8万亿参数的多模态模型,具备1M token上下文窗口和原生视觉能力,采用MoE架构,每token激活896个专家中的16个。据Recode China AI报道,K3在Frontend Code Arena获得1,679分,定价为每百万输入token 3美元、每百万输出token 15美元,开放权重计划于7月27日提供。7月27日,Kimi.ai宣布Modal与Baseten成为K3的Day 0发布合作伙伴,Modal为K3架构训练了定制DFlash推测器,将交互速度从100提升到460 tokens/s;同日SGLang与Miles宣布提供Day-0支持,前者负责推理、后者负责RL训练。7月28日,Kimi.ai宣布K3在DigitalOcean Serverless Inference上线。7月29日,Unsloth发布Kimi K3的1-bit量化版GGUF,体积从1.56TB压缩到594GB,缩减62%,精度保留约78.9%,可在配备128GB内存的Mac Studio上运行。
匹配字段摘要
2026年7月16日,阶跃星辰(StepFun)宣布其模型 Step 3.7 Flash 已在 Baseten 平台上线。据阶跃星辰发布的信息,该模型面向真实世界的智能体工作流打造,具备原生多模态理解、可靠的工具调用以及生产所需的效率。阶跃星辰同时对 Baseten 团队的合作表示感谢。目前该事件处于持续进展状态,后续是否会有更多平台接入或功能更新,尚待进一步消息。
匹配字段摘要
2026年7月9日,Google Research发布可穿戴健康基础模型SensorFM。据Google Research介绍,该模型在超一万亿分钟、来自500万人的多模态传感器数据上预训练,通过缺失感知的掩码重建学习通用生理表征,可迁移到35项健康预测任务。其中最大模型SensorFM-B相比最小版本重建损失降低31%,分类任务平均提升9% AUC,回归任务提升21% Pearson系数。研究还用LLM智能体自动构建预测头,并将其接入Personal Health Agent,临床医生盲评显示加入SensorFM预测后各维度评分显著提升。目前尚无后续发展事实。
匹配字段摘要
2026年5月20日,Google在I/O开发者大会上宣布重新设计沿用25年的搜索框,将其从关键词输入框改为可接受文本、图片、PDF、视频和Chrome标签页的多模态对话入口,并立即在支持AI Mode的所有国家和地区上线。Google同时把AI Overviews与AI Mode合并为一条连续搜索流程,用户可在传统结果页直接追问,无需切换界面。新体验由Gemini 3.5 Flash驱动。Google称AI Mode上线一年月活已超10亿,AI Overviews月活超25亿。目前尚无后续有证据的发展。
匹配字段摘要
2026年5月19日,Google DeepMind推出多模态视频生成与编辑模型Gemini Omni Flash。据Google DeepMind介绍,该模型可接收图像、音频、视频和文本输入,生成高质量视频,并支持通过多轮自然语言对话进行编辑。该模型正向Gemini app、Google Flow和YouTube Shorts推出,未来数周将通过API面向开发者和企业客户开放;初期音频输入仅支持语音参考,生成视频均含SynthID数字水印。另有报道称,Gemini Omni将Gemini的智能与Veo、Nano Banana的能力结合,支持跨场景角色一致性、文生视频编辑以及动态物理与环境表现,当天开始推送。目前该故事尚无后续发展事实。
匹配字段摘要
2026年5月6日,SpaceXAI与Anthropic签署算力合作协议,SpaceXAI将向Anthropic提供Colossus 1超级计算机的算力访问。据xAI News报道,Colossus 1配备超过220,000块NVIDIA GPU,包含H100、H200和下一代GB200加速器的密集部署,面向大语言模型、多模态系统和生成式AI的训练、微调与推理。Anthropic还表示有兴趣合作开发数吉瓦级的轨道AI算力容量。目前该合作暂无后续发展事实,状态停留在协议签署及意向表达阶段。
匹配字段摘要
Microsoft Research 推出 多模态模型拓扑空间推理基准MindTopo
English translation is being prepared.
匹配字段摘要
Thinking Machines Lab 发布 Inkling多模态混合专家模型
English translation is being prepared.
匹配字段摘要
2026年7月9日,Amazon Science 发布用 Rust 编写的代理 Turnstile。该代理位于智能体 harness 与模型后端之间,在生成时刻记录模型采样的精确 token ID、逐 token 对数概率和 loss mask,并导出与框架无关的轨迹,供现有强化学习训练栈使用。Turnstile 兼容 OpenAI Chat Completions API,harness 无需改动,后端目前为 SGLang,并计划支持 vLLM。在验证中,一个纯文本编码智能体和一个多模态计算机使用智能体在强化学习训练中持续提升。目前尚无后续发展事实。
匹配字段摘要
Google DeepMind 发布 Gemma 4 12B多模态模型
English translation is being prepared.
匹配字段摘要
Google 重新设计并升级 支持多模态输入且融合AI Overviews与AI Mode的搜索框
English translation is being prepared.
匹配字段摘要
Google DeepMind 推出 多模态视频生成与编辑模型Gemini Omni Flash
English translation is being prepared.
匹配字段摘要