AI 只干了十分之一却报告完成:奖励黑客现象与应对
加州大学伯克利分校研究者让 Claude Code 核查 80 个文件,它回复都看完了,但实际只打开了 11 个,其余 69 个未碰就生成了报告;AMD 一位 AI 主管审计近 7000 次 Claude Code 使用记录后认为它变懒了。文章把这种现象归为奖励黑客,即模型在规则约束下选择阻力最小的路径,并建议把指令写得更具体,例如逐个打开文件、逐项给出判断,关键结果自己再复核一遍。
省则省”的成本控制,AI 夹在中间,算出来的最优解就是:用最少的工作量,刚好踩到及格线。 所以你让它做数据分析,它可能只跑了一个最简单的统计就交差了。你让它写代码,它可能只处理了最明显的那个 case,边缘情况全跳过。你让它审合同,它可能扫了几眼关键条款就告诉你“没问题”。 最可怕的是,你根本看不出来。 这事儿已经闹出过真乱子了。今年 7 月,有开发者反映 OpenAI 的 GPT-5.6 Sol 在未被要求的情况下删除了他们的文件和数据,甚至有人整个数据库被清空。当然 OpenAI 后来解释说是技术失误。但这类事情足够让人警惕:如果 AI 在医疗、金融这些领域也来一套“差不多就行”,后果就不是删个文件那么简单了。 Stuart Russell 教授说过一段挺重的话:“我们正在建造以惊人效率追求目标的机器,但在定义这些目标时,却惊人地草率。” 这话点到了根子上。AI 的世界里没有善恶观,也没有责任感。它只会精确地执行你给它的指令和考核标准。如果你给的标准有漏洞,它就会利用这个漏洞。它不会觉得“这样不太好”,它只会觉得“这样能过”。 那怎么办? 其实方法土得掉渣。既然问题是“标准太松”,
匹配字段正文