Google 发布 EmbeddingGemma 2 论文，这是一个 Apache 2.0 许可的端侧多模态嵌入模型，把文本、代码、图像、音频和视频映射到同一向量空间。模型基于 Gemma 4 构建，通过向更大的 Gemini Embedding 2 学习并用对比训练调优，744M 参数规模在多项任务上超过大 2 至 12 倍的模型。在 Pixel 11 Pro 上，量化后的文本权重占用约 191MB 活跃内存，完整多模态模型约 567MB，上下文窗口扩大 4 倍至 8K tokens，可容纳约 5.5 分钟音频、29 张图像或 58 帧视频；直接嵌入语音在 MSEB 口语查询检索基准上得分 69.54，高于先转写再检索的 57.59，代码检索在 MTEB Code 上从 EmbeddingGemma 1 的 68.76 提升到 78.68。
匹配字段标题
何恺明团队提出多模态视觉原生 Harness 框架 VISTA，让现有多模态模型直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练。搭配 VISTA，Claude Opus 5.0 完成 ARC-AGI-3 全部 25 个公开游戏，相对人类动作效率得分满分 100，所用动作数比首次游玩的人类基线少 57.4%；GPT-5.6 Sol 同样全部通关，得分 99。使用同一 GPT-5.6 Sol 模型，VISTA 在 GameWorld 的 170 项任务中把成功率从 40.0% 提高到 63.3%，在 AI GameStore 的 10 个游戏中综合得分从 47.3 升至 140.3，在 BabyVision 的 39 道迷宫与连线题上准确率从 41.0% 提高到 63.2%。
匹配字段标题
2026年10月11日,何恺明团队发布多模态视觉原生Harness框架VISTA。该框架让现有多模态模型直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节,无需从头训练。据量子位报道,搭配VISTA,Claude Opus 5.0完成ARC-AGI-3全部25个公开游戏,相对人类动作效率得分满分100,所用动作数比首次游玩的人类基线少57.4%;GPT-5.6 Sol同样全部通关,得分99。使用同一GPT-5.6 Sol模型,VISTA在GameWorld的170项任务中把成功率从40.0%提高到63.3%,在AI GameStore的10个游戏中综合得分从47.3升至140.3,在BabyVision的39道迷宫与连线题上准确率从41.0%提高到63.2%。目前尚无后续发展事实。
匹配字段标题
何恺明团队 发布 多模态Harness框架VISTA
English translation is being prepared.
匹配字段标题