哈佛与 MIT 论文发现推理模型思维链难控制部分源于以 Okay 开头
New Harvard and MIT paper finds that reasoning models' poor control over their chain-of-thought partly comes from a habit of opening it with "Okay".
哈佛与 MIT 的新论文发现，推理模型对思维链控制不佳，部分原因在于它们习惯以 Okay 开头。作者让 Qwen3-32B 等模型用大写推理或给每句编号，Qwen3-32B 和 OLMo-3.1-32B 把约 99% 的首 token 概率放在 Okay 上；禁用 Okay 和 Alright 并加入 1 个示例后，平均合规率比仅给指令提高 34 到 41 个百分点。避免某个词这类隐藏信息的任务响应更不稳定，在 12 个模型上看起来是另一项独立能力。
正文 · AI 翻译
哈佛与 MIT 的一篇新论文发现，推理模型对其思维链控制不佳，部分原因在于它们习惯以“Okay”开头。
安全团队会阅读模型的推理过程以发现不当行为，而显示模型无法操控该推理过程的基准测试结果一直令人安心。模型为何在这方面失败此前并不清楚。
作者要求 Qwen3-32B 等模型用大写字母进行推理，或为每个句子编号。Qwen3-32B 和 OLMo-3.1-32B 将约 99% 的首 token 概率放在“Okay”上，因此作者尝试禁用该词，或预填充 1 个合规 token。
禁用“Okay”和“Alright”并加入 1 个有效示例后，平均合规率比仅给出指令提高了 34 到 41 个百分点。隐藏信息的任务，例如避免使用某个词，响应较不一致，并且在 12 个模型上看起来像是一项独立能力。
如果你因为可控性得分而信任思维链监控，请将开头词问题与一般控制区分开来，并单独报告隐藏任务。