Meta Muse Wonder 熔岩灯测试失败,雷锋网解析 Agent 跑分争议
Meta 发布的 Muse Wonder 在开发者 BridgeMind 的 3D 熔岩灯测试中只生成了一个红色圆柱体,被质疑存在针对 Benchmark 优化的 Benchmaxxing;马斯克在相关帖子下回复 Hmm,Meta 首席 AI 官 Alexandr Wang 回应称团队未针对 3D 演示做显式训练。雷锋网指出,熔岩灯测试用的是普通版 Muse Wonder,而官方 57.5 分的 SWE-Marathon 成绩来自 Wonder Full 且使用 xhigh 推理档位,Model Card 也承认 3D 视觉与空间推理是已知短板。文章进一步分析,Agent 榜单成绩同时受 Post-training 奖励机制、Harness 上下文管理与推理预算影响,单一分数难以反映模型在陌生任务上的真实能力。
依然让人好奇:当前大模型的训练方法究竟在强化哪些能力,Agent Benchmark 又能在多大程度上反映模型的实际水平? 01 奖励机制, 决定模型擅长解决什么问题 Muse Wonder 的表现,与当前大模型越来越依赖 Post-training 提升任务能力的技术路线有关。在 Pre-training 阶段,模型通过大规模数据学习语言、代码、空间关系和其他通用知识。进入 Post-training 后,训练会进一步塑造模型的行为策略,尤其是通过强化学习,让它在特定任务环境中形成更稳定的执行能力。Coding Agent 很适合这类训练。例如,给模型一个存在 Bug 的代码仓库,要求它定位问题、修改文件并运行测试。整个过程可以通过编译结果、单元测试和功能检查获得相对明确的反馈。强化学习系统据此判断哪些操作有效,持续强化能够提高任务成功率的行为。训练规模扩大后,模型逐渐学会一套复杂的软件工程策略,包括如何缩小搜索范围、选择工具、处理报错,以及在多轮修改中维护任务状态。Meta 在官方技术文章中提到,Muse Wonder 接受了多样化长任务训练,并引入 Active Focus,使模
匹配字段正文