搜索“多模态”

月之暗面发布PerceptionBench

Moonshot AI 发布并开源 多模态模型视觉感知基准PerceptionBench

查看事件：月之暗面发布PerceptionBench

月之暗面发布WorldVQA基准

Moonshot AI 发布并开源 多模态视觉知识评测基准WorldVQA及其数据集和评测脚本

查看事件：月之暗面发布WorldVQA基准

月之暗面发布Kimi K3

Moonshot AI 发布 Kimi K3开放权重多模态模型

查看事件：月之暗面发布Kimi K3

字节 Seed 发布原生音视频全双工大模型 SeedRealtime

字节跳动 Seed 正式发布原生音视频全双工大模型 SeedRealtime。该模型采用统一架构原生融合音频、视频和文本,支持在连续多模态流上进行实时交互。官方称其实现音视频联合理解、主动交互和自然对话节奏三项突破;端到端人工评测显示,相比级联模型,音视频对话节奏问题减少一半。目前 SeedRealtime 已全面上线,官方称这是音视频全双工技术的大规模部署。

Cerebras 发布软件工程 Agent 数据集基础设施

2025年11月24日,Cerebras 发布面向软件工程 AI Agent 的数据集基础设施。据其官方博客介绍,该平台通过仓库沙箱生成器构建数据整理流水线,为软件工程 AI 智能体打造大规模高质量数据集。平台从 PyPI 关联项目、高影响力 GitHub 仓库和多模态代码库三条流水线采集代码,并自动完成 Docker 环境构建、差分测试与 FAIL_TO_PASS/PASS_TO_PASS 分类。目前该事实仅有这一条同一发生来源,尚无后续发展事实。

OpenCode限免LongCat 2.5预览版

2026年9月26日,OpenCode宣布在其平台上线LongCat-2.5-Preview,并提供两周限时免费使用。据同一来源的报道,该预览版列出三项规格:1M上下文、多模态和零数据留存。目前没有后续发展事实,事件状态停留在该限免上线阶段。

杭州国家人工智能应用中试基地发布首批具身智能“揭榜挂帅”课题

2026年9月25日,国家人工智能应用中试基地(具身智能)发布首批“揭榜挂帅”课题,攻关方向为高质量多模态数据集建设。据人民日报同日报道,杭州正通过创新策源、生态培育与场景开放协同推进,加速打通人工智能生产力转化通道。报道还提到,2025年杭州具身智能机器人与其他智能终端产业集群规上工业产值突破1000亿元;杭州计划今年支持“魔搭社区”汇聚全球开发者超3000万人,力争全年人工智能核心产业营收规模超5500亿元。目前该课题发布尚无后续进展披露。

月之暗面发布Kimi K3

2026年10月,月之暗面发布Kimi K3开放权重多模态模型。据官方博客,该模型为2.8T参数,采用Kimi Delta Attention与Attention Residuals,具备原生视觉能力和100万token上下文窗口,已在Kimi.com、Kimi Work、Kimi Code和Kimi API上线,默认使用max thinking effort。官方称其整体性能仍落后于Claude Fable 5和GPT 5.6 Sol,但在自建评测中持续优于其他被测模型。模型采用Stable LatentMoE,896个专家中激活16个,官方称相比Kimi K2整体扩展效率提升约2.5倍,并已向vLLM社区贡献KDA前缀缓存实现。官方表示完整权重将于2026年7月27日发布。目前尚无后续发展事实。

Kimi推出Agent Swarm

2026年10月10日,Moonshot AI(月之暗面)推出Kimi Agent Swarm,可并行调度最多100个子智能体。据官方发布信息,该功能依托开源模型Kimi K2.5,在K2基础上用约15T混合视觉与文本token继续预训练,原生多模态,主打编码与视觉能力。K2.5可自主编排最多100个子智能体、执行最多1500次工具调用,相比单智能体设置最多缩短4.5倍执行时间,且无需预定义子智能体或工作流。官方称其针对单智能体顺序执行在长任务上的上下文与时间瓶颈,适用于大规模检索、批量文档处理、多视角分析等可并行场景。模型已上线Kimi.com、Kimi App、API和Kimi Code,Kimi.com与App提供K2.5 Instant、Thinking、Agent和Agent Swarm(Beta)四种模式,Agent Swarm在Kimi.com处于beta,高层级付费用户可获免费额度。该功能目前为早期研究预览,后续将加入子智能体直接通信与并行宽度动态控制。

DeepSeek发布DeepSeek-V3开源模型及论文

2024年12月26日,DeepSeek发布DeepSeek-V3开源模型及论文。据DeepSeek API更新日志,该模型采用671B MoE参数、37B激活参数,基于14.8T高质量token训练,生成速度60 tokens/秒,比V2快3倍,API保持兼容并开源模型与论文。API定价在2月8日前与V2相同,此后调整。官方表示后续将支持多模态等功能。目前尚无进一步有证据的发展。

MiniCPM5-2B在iPhone Air上运行达37 tok/s

2026年10月9日,面壁智能 OpenBMB 发布信息称,MiniCPM5-2B 在 iPhone Air 上运行,速度达到 37 tok/s。该信息指出,这一表现意味着无需云端 GPU 即可在移动端获得多模态智能,并称 MiniCPM5-2B 在移动端流畅运行。目前该故事仅有这一条事实证据,尚无后续发展事实。

Arena公布Mistral Large 4排名

2026年10月9日,Arena.ai公布Mistral Large 4在Agent Arena的评测结果。据Arena报道,Mistral Large 4预览版在5000+真实智能体会话中录得-6.6%净提升分,总排名第43,比上一版Mistral Medium 3.5的-12.60%高11位。该模型为1T参数、原生多模态、49B激活,开放权重预计10月底发布,按当前分数在开放模型中可排第13。MistralAI也是Agent Arena前15实验室中唯一的欧洲实验室。目前尚无后续发展事实。

OpenCode限时免费开放Step 5 Preview

2026年10月8日,阶跃星辰宣布其旗舰模型 Step 5 Preview 在 OpenCode 平台限时免费开放一周。据阶跃星辰发布的信息,该模型面向智能体与专业工作场景,用户可保留原有工作流并切换模型使用。OpenCode 同日发布的信息显示,Step 5 Preview 具备 1M 上下文、多模态与零数据保留等特性。目前该限免活动仍在进行中,尚无后续发展事实。

Liquid AI发布决策模型d1并开源端侧系列

2026年9月30日,Liquid AI发布首个决策模型d1,面向结构化选择而非文本生成:输入上下文和一组带类型的问题后,单次调用返回固定结果集上的校准概率,usage.output_tokens为0。据官方博客,d1可同时接收文本和图像,一次前向传播直接返回各选项概率,文本决策耗时200到300毫秒;官方称在六个真实应用中d1在四项上追平或超过GPT-6.1 Sol,成本比GPT-6.1 Sol和Claude Opus 5.5低19到200倍。d1已在Liquid AI API上线,按输入token计费,图像按每32×32像素块1.5 token折算,并通过Vercel和OpenRouter提供纯文本版本。10月7日至8日,Liquid AI进一步发布开放权重端侧多模态决策模型d1-3B与d1-omni-600M,已在Hugging Face上线。d1-3B在Decision Index v0.2.1公开集得48.57,单次提问在RTX 4090上8毫秒、Jetson AGX Thor上16毫秒、Jetson AGX Orin上26毫秒、Jetson Orin Nano上50毫秒;d

Mistral发布一万亿参数Mistral Large 4预览版

2026年10月6日,Mistral发布一万亿参数开放权重模型Mistral Large 4预览版。据Mistral AI官方信息,该模型为1万亿参数、490亿激活参数的原生多模态模型,权重将于本月底开放,在Mistral欧洲自有数据中心的3800块NVIDIA Grace Blackwell GPU上从零训练,训练数据覆盖160多种语言,官方称其在网络安全、金融、法律等企业负载上达到开源模型领先水平,在Artificial Analysis Cyber Index上进入全球前五,复现并修补真实漏洞的测试得分82%,Cybench解题率93%。Artificial Analysis的评测显示,该模型智能指数得分38,与GPT-6 Luna(max,38)相当,低于DeepSeek V4.1 Flash(max,39),网络防御指数得分50,CyberGym-E2E-AA得分82%,支持512k token上下文窗口,接受文本和图像输入、输出文本,API单次请求可接受100张图片,标准定价为每1M输入/输出token 1.36/4.18美元。同日,Thomas Wolf发布预告称Mist

DeepMind发布EmbeddingGemma 2

2026年10月6日,Google DeepMind发布开放权重多模态嵌入模型EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量740M。据Google Developers Blog介绍,文本权重在Google Pixel 11 Pro上仅需约191MB活跃内存,完整多模态模型约567MB,无需训练数据或微调即可作为端侧决策引擎,实现毫秒级零样本意图路由;Google AI Edge Gallery新增Instant Media Search和Video Moments Finder演示,未来数周内该模型将通过ML Kit以服务形式登陆Android并支持NPU加速。据Google DeepMind介绍,该模型采用Apache 2.0许可,在MTEB Code上从68.76提升到78.68,支持8K token上下文窗口,权重已在Hugging Face和Kaggle开放下载。10月6日,Georgi Gerganov宣布llama.cpp对EmbeddingGemma 2提供Day-0支持;10月7日,Simon Willison表示赞赏其采用

Perplexity开源七项AI项目

2026年10月3日,Perplexity开源了七项模型、推理工具与安全项目。据当时报道,其中包括多模态决策模型pplx-decider-v1-27b,在11项基准上平均85.7%,领先Jev;上下文嵌入向量模型pplx-embed-v2-context-9b-preview,在ConTEB和turbopuffer context-bench上表现最佳;面向Apple silicon的本地推理引擎Lily,用Rust加自定义metal kernel实现,在M5 Max上prefill比MLX-LM快1.23倍、decode快1.35倍;以及0.6B端侧PII分类器PII-Tracer及配套PII-TRACE基准、面向深度研究智能体的WANDR基准、笔记本与工作站智能体检测响应工具Numbat、只读供应链扫描器Bumblebee。2026年10月7日,Perplexity宣布其决策模型在Hugging Face Decision Index上登顶,并称该模型为开放权重。

构建Cosmos3-DROID学习管线

2026年10月6日,MarkTechPost发布教程,介绍如何构建基于NVIDIA Cosmos3-DROID的流式机器人学习管线。教程演示无需下载其707 GB仓库,而是通过HTTP byte-range与PyArrow按行组、列读取Parquet,并用基于seek的PyAV/FFmpeg只解码所需的AV1视频窗口。随后将episode转为状态-动作轨迹,用数据集统计量归一化,构建ACT风格分块PyTorch数据集并训练多模态行为克隆策略。最后以开环rollout和时间集成评估,报告逐关节MSE与R^2并保存策略checkpoint。目前该故事尚无后续发展事实。

Liquid AI发布开放d1决策模型

Liquid AI 发布 开放权重端侧多模态决策模型d1-3B与d1-omni-600M

查看事件：Liquid AI发布决策模型d1并开源端侧系列

DeepMind发布EmbeddingGemma 2

Google DeepMind 发布 740M开放多模态嵌入模型EmbeddingGemma 2

查看事件：DeepMind发布EmbeddingGemma 2