纽约大学与得州大学研究归纳出六种让 AI 文本难读的语言模式
Researchers find six patterns that make AI text so exhausting to read
纽约大学和得克萨斯大学奥斯汀分校的研究让 Claude、GPT-5.6、GLM-5、Kimi K2.5 及 Llama、Olmo 等 14 个模型在闲聊、编码和议论文场景生成文本,共分析 120 段对话、45 次编码会话和 980 篇议论文,并与电影字幕、StackExchange 和学生作文等人类文本对比。研究归纳出六类让输出更难读的模式,包括罕见词组搭配、句子成分相隔过远、省略连接词、名词堆叠、名词动用和给无生命主语搭配生命体动词。Llama 和 Olmo 基础模型最接近人类文本,Olmo 系列从基础模型到 instruct 再到 Olmo Think 得分逐步上升,研究者据此认为后训练是主要原因,并指出从 RLHF 转向 RLVR 让模型形成偏重信息压缩的“方言”。
推荐理由
AI 评分 66
研究用多模型、多场景语料对比人类文本,归纳出六类让 AI 文本难读的语言模式,并指向训练目标的变化。
主题
正文 · AI 翻译
纽约大学与得克萨斯大学奥斯汀分校的一项研究表明,前沿语言模型会系统性地过度使用某些语言模式,使其输出更难阅读。
任何经常使用 ChatGPT、Claude 或其他语言模型的人都熟悉这种感觉。答案往往在事实上是正确的,但读起来却很费劲,满是嵌套的句子、古怪的词语搭配,以及人类绝不会使用的隐喻。
纽约大学和得克萨斯大学奥斯汀分校的研究人员的一项研究用数据支持了这一点。研究团队让14个语言模型在闲聊、编码会话和议论文中生成文本。阵容包括 Claude、GPT-5.6、GLM-5、Kimi K2.5,以及 Llama 和 Olmo 等较小的开源模型。研究人员总共分析了120段对话、45次编码会话和980篇议论文,然后将它们与来自电影字幕、StackExchange 和学生作文的人类撰写文本进行了比较。
让 AI 文本读起来费劲的六种模式
AI 模型会过度使用在人类写作中很少出现的不寻常词语组合,比如“读者耐心预算”,并且它们会把句子中相关的成分放得相隔很远,从而加重工作记忆的负担。Claude Opus 5 生成了“A cat who can always get up and away is a much calmer cat”,其中主语和主要谓语被一个长从句隔开。
省略连接词的缩略指代也很常见。模型不写“the book that the professor wrote”,而是写“the book the professor wrote”,省了一个词,却让人一时搞不清各部分如何组合。像“horror movie soundtrack generator”这样的名词堆叠,迫使读者自己去判断哪个词修饰哪个词。
模型会把人类不会动词化的名词用作动词。Claude Fable 5 写出了“calendar it”,而人类会说“put it in the calendar”。它们还会给无生命的主语搭配有生命的动词。Claude Opus 5 生成了“The whole conversation is eating its own tail”,尽管对话既没有尾巴也不会吃东西。读者能明白意思,但需要多花一拍才能反应过来。
较小的模型写得更像人类
Llama 和 Olmo 基础模型最接近人类文本。在 Olmo 系列中,得分从基础模型到 instruct 变体再到推理模型 Olmo Think 稳步上升,后者达到了前沿水平的数据,这表明后训练很可能是原因所在。Claude Opus 5.5 在 21 项比较中的 19 项里胜过其前代 Opus 5,说明有针对性的微调可以改善可读性。
训练奖励信息密度而非清晰度
研究人员表示,人类语言在生产便捷性与理解便捷性之间取得平衡,但现代语言模型越来越多地接受数学、代码和逻辑推理等任务的训练,在这些任务中,正确性会得到奖励,而清晰度则不会。
研究人员认为,从 RLHF(基于人类反馈的强化学习)转向 RLVR(基于可验证奖励的强化学习)使人类完全退出了反馈回路,模型由此形成了一种“方言”,这种方言非常适用于压缩信息和解决复杂问题,但对人类读者来说却很不友好。
作为概念验证,研究人员训练了一个较小的语言模型,并加入惩罚项来奖励更短的答案。在某些训练条件下,该模型几乎无一例外地偏好更短的措辞,不论上下文如何,甚至将这种偏好泛化到训练中从未见过的句式。相比之下,人类会根据情境在较短和较长的变体之间做出选择。
业内也给出了类似的解释。Anthropic 员工 Jackson Kernion 负责 Claude 的微调工作,他最近解释了为什么 Opus 4.6 是 Anthropic 最后一个优秀的“写作模型”。为了数学、代码以及面向其他 AI 模型的技术解释而优化较新的模型,使 Claude 偏向了一种对 AI 有效、但读起来对人类来说过于密集和不自然的风格。Kernion 称这是对“LLM 心理”的适应。在 Opus 5.5 中,Anthropic 首次做出调整,着手解决句子清晰度和信息块过载的问题,而正如这项研究所显示的,这一调整取得了成功。