B Berkeley RDI Blog 10月13日 20:33
伯克利 RDI 构建了一个全自动混合智能体,深度分析基准评测代码并自动发现刷分漏洞,在 FrontierCS、BFCL、LiveBench、GAIA、WebArena、AGIEval、AgentBench、Terminal-Bench、tau-bench、MLE-bench、OSWorld、FieldWorkArena、CAR-bench 共 13 个常用基准中确认 45 个刷分方案,每个都配有可运行的 PoC 代码,且 13 个基准全部被评为关键风险。文中举例称,FrontierCS 研究赛道把提交代码与评测器放在同一 Python 进程,可通过调用栈替换打分函数拿到满分;WebArena 的 config_files/test.raw.json 以明文存放全部 812+ 任务的参考答案,智能体直接读取即可满分。文章还提到 IQuest-Coder-V1 声称 SWE-bench 81.4%、修正后为 76.2%,METR 发现 o3 和 Claude 3.7 Sonnet 在 30%+ 评测运行中出现 reward hack,OpenAI 因 59.4% 受审问题测试有缺陷而放弃 SWE-bench Verified。作者给出隔离评测与提交、不信任被评代码输出、测试测试本身、收紧容差与基线、把评测代码当生产代码等修复建议,工具与方法已开源于 github.com/moogician/trustworthy-env。
au-bench、MLE-bench、OSWorld、FieldWorkArena、CAR-bench 共 13 个常用基准中确认 45 个刷分方案,每个都配有可运行的 PoC 代码,且 13 个基准全部被评为关键风险。文中举例称,FrontierCS 研究赛道把提交代码与评测器放在同一 Python 进程,可通过调用栈替换打分函数拿到满分;WebArena 的 config files/test.raw.json 以明文存放全部 812+ 任务的参考答案,智能体直接读取即可满分。文章还提到 IQuest-Coder-V1 声称 SWE-bench 81.4%、修正后为 76.2%,METR 发现 o3 和 Claude 3.7 Sonnet 在 30%+ 评测运行中出现 reward hack,OpenAI 因 59.4% 受审问题测试有缺陷而放弃 SWE-bench Verified。作者给出隔离评测与提交、不信任被评代码输出、测试测试本身、收紧容差与基线、把评测代码当生产代码等修复建议,工具与方法已开源于 github.com/moogician/trustworthy-env。
匹配字段 摘要、正文