研究：AI 生成文本为何比你想的更难懂

AI模型可能正变得越来越难以理解，因为它们的训练越来越奖励高效地解决问题，而不是向人类清晰地解释事物。

上面这句未经编辑的句子是ChatGPT应要求为一篇科学论文撰写一句ELI5（向五岁小孩解释）式摘要时写下的；它至少体现了那项新研究中解释的几种语言扭曲特征*。这项新研究得出结论，该问题影响所有前沿模型以及近前沿模型，也影响一些同样接受了测试的开放权重模型。

例如，“their training increasingly rewards solving problems efficiently”（它们的训练越来越奖励高效地解决问题）这一片段的前半部分，就体现了论文的观点：AI模型有时会把人类的行为赋予非生命事物（因为在上述例子中，“训练”被描述为主动奖励某物）。

这会妨碍人们快速解析该短语，因为我们必须在内心承认这种拟人化归属只是一种说明性手法，而不能按字面理解（按字面理解要简单得多）。

后半部分“increasingly rewards solving problems efficiently”还把多个概念挤压在一起，迫使读者去弄清被奖励的是什么、被解决的是什么，以及什么正变得更高效。

论文指出†：

“[读者]在解析过程中会把生命性作为线索，而在缺乏额外上下文的情况下，这种不匹配可能引发与重新分析相关的P600反应††。

“然而，改写这些句子以避免无生命主语，可能会需要加长句子：例如，用‘bites’一词来代替‘causes an issue’。

“我们推测，在训练过程中，模型可能已经趋同于使用这类结构，将其作为一种高效但非标准的表达方式，用来表达否则会占用更多token的含义。”

你说什么？

这就是论文的核心——由于ChatGPT、Claude和Gemini等现代AI模型是针对多种类型的问题求解而非专门针对沟通进行优化的，它们倾向于以高度压缩、需要一定解码的载荷形式来输出语言。

这让我感到意外，因为我一直在试图说服ChatGPT及其同类少啰嗦一些、更压缩一些——这个问题在文献中已被认识并得到处理。

相反，论文把冗长呈现为一种“压缩炸弹”，即使在一个并不很长的句子中也会妨碍轻松理解。因此，把默认回复长度过长这一孪生问题与论文关于过度压缩的观察结合起来，我们可以想象，前沿AI默认回复风格的典型模式相当独特（而且，想必这种相当简洁的风格在一定程度上被用作检测器判定AI生成文本的依据，尽管论文并未涉及这一点）。

The authors also examine stacked noun compounds, exemplified in the problematic phrase Squad Helps Dog Bite†:

“在英语中，名词可以自由地以形容词的方式修饰其他名词：在coffee shop（咖啡店）这一短语中，coffee修饰shop，尽管coffee通常作为名词出现。这一特征使得多个名词可以堆叠成丰富的复合词，表达高度具体的含义。

然而，这种堆叠可能引入括号歧义，如标题Squad Helps Dog Bite Victim（小队帮助狗咬受害者）所示，并干扰阅读。”

那么，如果LLM是通过压缩来实现冗长的，它们是否因为针对查询产出大量压缩文本而变得双重冗长？这意味着，不仅针对你的查询有大量文本需要通读，而且文本本身可能含有大量需要解码的“隐含”含义。

2023年的一篇论文提出，LLM可能因为训练期间使用AI评判器而变得不必要地冗长，因为这些评判器往往奖励更长的回答——即使在该研究的测试中人类更偏好较短的回答。

新研究的作者将前沿模型的部分压缩倾向（见前文引述）归因于一种节省token的架构倾向，这在如今算是一种善意的想法。

让我们来看看作者为这项研究运行的方法、数据和测试。

数据与方法

研究考察了不寻常的词组合（通过n-gram，即词序列来衡量）的不可预测性，罕见的组合与更大的阅读难度相关。

依存距离（语法上相连的词之间的距离）也被测量，因为更长的距离对工作记忆提出更高要求——尤其是当主语和其动词之间隔着几个词时。

研究考察了宾语关系从句（如“the house the contractors built”这类结构），尤其是省略可选词的情况（如“the house that the contractors built”中省略“that”）。

前述的堆叠名词复合词（三个或更多名词连在一起，如“horror movie soundtrack generator”）也得到考察，因为其组成词之间的关系可能含糊不清。

研究还考察了名词动用（把名词用作动词，如用“fork it”代替“put it on the fork”），以及无生命主语与通常与生物关联的动词搭配的情况（如前所述）。这两种结构都能把含义压缩进更少的词中，但读者可能需要额外的解读。

参赛者

研究人员从14个模型中收集了AI生成的对话：Kimi K2.5；GLM 5；Claude Sonnet 5、Opus 5、Opus 5.5和Fable 5；GPT-5.6 Luna、Terra和Sol；Olmo Base、Instruct和Think；以及Llama Base和Instruct。

测试包含十个用于一般对话的起始提示词，以及五个用于编程的起始提示词，每项任务都要求模型克隆一个真实的公开GitHub仓库，在沙盒中查找漏洞并修复它们。

对话被限制为12轮交流，编程会话被限制为11轮，之后是一条固定的结束消息。在另一项独立测试中，每个模型被要求根据PERSUADE 2.0数据集中的作业题目撰写七篇文章。

为便于比较，人类撰写的文本取自与三类AI输出尽可能匹配的来源：一般对话使用OpenSubtitles（一个影视字幕合集，与开源字幕平台subs无关）；编程讨论使用StackExchange（问答论坛在线网络）；写作任务则使用前述PERSUADE 2.0数据集中的学生文章。维基百科也被用作额外的比较来源。

在可获得合适人类数据的情况下，研究对人工文本和AI生成文本测量了相同的语言特征，这些参考语料库也被用于评估词语组合的出现频率。

往返翻译（英语译成日语再译回英语，使用NLLB-200模型）被用来区分风格偏好与语言必要性。含义基本得以保留，而句子结构发生改变，从而可以识别出不必要的复杂措辞。

结果

实验1

如下所示，若干困难结构在原始AI生成文本中出现得更频繁，尤其是在前沿模型中。这被解读为偏好不必要复杂措辞的证据：

原始AI生成文本与译成日语再译回英语的版本的比较。绿点表示在原始文本中使用更频繁的语言模式；粉点表示在翻译后使用更频繁的模式。GPT和Claude模型的差异总体上更大。来源

研究在三种场景（聊天、编程和文章写作）下比较了14个AI模型的六项语言特征。聊天场景测试了12个模型，编程场景测试了9个，文章写作场景测试了全部14个：

AI模型在聊天、编程和文章写作中六项语言特征的比较。每个菱形代表一个模型的汇总结果；水平条表示95%置信区间。垂直虚线表示来自OpenSubtitles（聊天）、StackExchange（编程）和PERSUADE 2.0学生文章（文章写作）的人类撰写基线。点线表示维基百科比较。数值越高通常表示所测结构的使用越频繁，或语言复杂度越高。请参阅来源论文以获取更高分辨率。

原始AI生成文本还与其重译版本进行了比较，从而可以测量句子结构上的差异：

原始AI生成文本（实心菱形）与使用NLLB-200译成日语再译回英语的版本（空心圆）的比较。粉线表示翻译后使用更频繁的特征；绿线表示原始文本中使用更频繁的特征。星号表示统计显著性（一个、两个或三个星号代表越来越强的统计证据）。大多数与阅读难度相关的结构在翻译后有所减少，尤其是在前沿模型中。请参阅来源论文以获取更高分辨率。

研究发现，前沿和近前沿模型过度使用不寻常的词语组合、名词动用、无生命主语以及省略可选词的宾语关系从句（见上图）。这些倾向在Llama和Olmo Base中总体上较弱，但在Olmo Think中更为明显。

文章写作中观察到的差异小于聊天或编程，这被归因于文章写作的单提示词性质，而长时间的来回对话可能促使语言被进一步压缩。

作者指出：

“在往返翻译下，PERSUADE文章在若干类别（n-gram指标、依存距离、堆叠名词、名词动用）上相对于聊天和[编程]显示出更小的变化。

“我们假设这是因为它们只涉及单个提示词，不像聊天和编程那样有许多轮迭代交流。我们推测，某些模式可能在长时间的来回对话中出现（这种对话可能要求更高的信息压缩）。”

翻译后变化最小的是 Llama 和 Olmo Base 与 Instruct，它们在词语组合和动词用法上也最接近学生作文。相比之下，Olmo Think 被发现表现得更像前沿模型。在 21 项比较中有 19 项观察到 Claude Opus 5.5 使用的难懂结构少于 Opus 5，其中八项的 95% 置信区间不重叠。

实验 2

第二个实验旨在检验一种潜在压力——即产出更短、信息密度更高的回答——是否可能促使模型偏好人类更难理解的语言结构。

在此，Qwen2.5-1.5B-Instruct 使用组相对策略优化（GRPO）进行了微调，该模型的任务是将结构化、JSON 格式的事件描述转换为英语句子。

训练中调整的两个方面是：模型被允许在多大程度上改变其惯常用词（β）；以及模型因产出更长回答而受到惩罚的强度（λ）。每个事件都可以用两种语法上有效的方式表达，且两者的 token 数量差异已知。

例如，“He sent us a photo”需要六个 token，而“He sent a photo to us”需要七个。还使用了一项单独的测试，其中两种表达同一意思的方式需要相同数量的 token，以检验差异是否由句子长度引起。

该效应在先前未见过的句子上进行了测试，使用了训练中遇到的四种结构；两种未训练的结构，涉及可选词“that”；以及涉及所有格、量词、被动语态和目的状语从句的不相关结构。

这些测试旨在确定对更短措辞的偏好是否会被习得，并迁移到训练中从未遇到的结构中：

训练期间惩罚更长回答的效果。A 中展示了更短和更长措辞的示例。B 中测量了对更短结构的偏好，C 和 D 中展示了对先前未训练结构的测试。橙色表示训练时不对原始模型的改变加以限制；蓝色表示训练时施加该限制。虚线表示原始模型的偏好。更强的惩罚通常会产生对更短措辞的更大偏好，即使在训练中未出现的结构中也是如此。请参阅来源论文以获取更高分辨率。

随着对更长回答的惩罚增加，更短的措辞被更频繁地选择（如上图所示）。在没有 KL 惩罚（限制模型偏离其原始词语预测的程度）的情况下，这种转变很迅速；有 KL 惩罚时，同样的效应则更为渐进地被观察到。在两种惩罚都没有的情况下，偏好在不同训练运行之间差异很大，但即使很小的长度惩罚也产生了对更短选项的一致偏好。

这种偏好也在先前未见过的、涉及可选词“that”的句子结构中观察到。向更远距离语法结构的迁移要弱得多，仅在缺少 KL 惩罚时对所有格发现效应。

作者总结道：

“我们将这些结果视为概念验证，表明在 GRPO 强化学习期间使用的长度惩罚可以直接影响语法特征。

“我们注意到，模型并未被直接指示使用压缩或密集的语言，也未直接获得关于句法交替可用性的信息。

“相反，该惩罚导致了对句法交替中更短成员的一种涌现偏好。”

结论

一段时间以来，我一直对刻画 AI 生成文本的锚点——无论是有意还是无意的——感兴趣。因此，这一新发现为 LLM 众所周知的冗长与其如今同样被注意到的压缩信息倾向之间的明显冲突提供了一些启示，后者似乎“易于阅读”，仅仅因为使用的词不多——但这显然是对该线索的错误解读。

在 LLM 中，文本输出的简洁可能标志着复杂性而非本质性的提炼，仿佛 AI 递给我们的是一个谜题，而不是词语背后的直接概念。显然，这一切都是为了让单个模型既能编码又能写作。

* 题为“Why is AI-generated language so hard to understand?”，由来自纽约大学和德克萨斯大学奥斯汀分校的两位作者撰写。

† 我将作者的行内引用转换为超链接。

首次发布于 2026 年 10 月 26 日星期一