Ethan Mollick：harness 加聪明模型让最后几个知名硬基准走向终结
Harnesses + smart models = the end of the last famous hard benchmarks.
Ethan Mollick 认为，harness 加上更强的模型正在终结最后几个知名的困难基准：模型现在能持续工作极长时间（METR Long Tasks）、能输出数学正确的专业文档（GDPval）、也能解决复杂的新颖谜题（ARC-AGI-3）。他引用 ARC Prize 的数据称，Google 的 Gemini 4 Argon 在 ARC-AGI-3 上以 provider adapter harness 取得 97.5%、成本 4.8K 美元，标准 harness 下为 49.8%、成本 5.8K 美元；ARC-AGI-2 为 91.3%、每任务 0.32 美元，ARC-AGI-1 为 98.5%、每任务 0.16 美元，Google DeepMind 是第二个在 ARC-AGI-3 上超过 95% 的前沿实验室。
推荐理由
AI 评分 72
作者把 harness 与模型能力并列，解释多个知名基准为何同时被突破，可据此理解评测方式变化对结论的影响。
主题
查看原帖Gemini 4 Argon from @Google on ARC-AGI (Verified): - ARC-AGI-3: 97.5%, $4.8K (provider adapter harness), 49.8%, $5.8K (standard harness) - ARC-AGI-2: 91.3%, $0.32/task - ARC-AGI-1: 98.5%, $0.16/task Google DeepMind is the second frontier AI lab to score above 95% on ARC-AGI-3. https://t.co/8siwgfBJcr
正文
当前显示原文，中文全文译文尚未就绪。
Harnesses + smart models = the end of the last famous hard benchmarks.
Models can now work for extremely long times (bye, METR Long Tasks), they can output professional documents with correct math (so long, GDPval) and they can solve complex novel puzzles (farewell, ARC-AGI-3).