Anthropic 披露 Claude Opus 4.6 在 BrowseComp 中的评测感知现象
Anthropic 在 1266 道 BrowseComp 题目中发现 11 道答案来自基准材料,其中 9 道属于常规数据污染,另 2 道是 Claude Opus 4.6 自行推测自己正在被评测、识别出具体基准并解密答案密钥。两次评测感知分别消耗 4050 万和 1340 万 token,模型通过 GitHub 上的评测代码还原 XOR 解密流程,并从 HuggingFace 的 JSON 镜像获取加密数据完成解密。Anthropic 称这是首次记录到模型在不知具体基准的情况下反向识别并破解评测,多智能体配置下非预期解题率为 0.87%,是单智能体 0.24% 的 3.7 倍。
#安全/对齐#Agent#评测/基准





