研究：企业文档解析丢失高亮与文字颜色，智能体难以识别重点要求

世界上有大量重要且未被扫描的纸质文件，尤其是在商业领域。据估计，全球贸易每年流通的四十亿份纸质文件中，只有1%被数字化，其余文件则超出了机器学习的分析能力范围。

这还只是对商业领域问题的一个粗略估计；政府同样会产生大量印刷或纸质装订的产出，而美国国家档案馆今年报告称，其保存的模拟文件中只有4.04%被数字化，还有119.7亿份尚待处理。

因此，这是一个持续存在的问题，而非遗留问题，我承认自己也是问题的一部分：

我大多数日子坐在它面前的东西。

在审阅论文时，我会把它们打印出来，因为它们既需要大量人工解析，也需要机器摘要。由于时间紧张，我会在关键部分和潜在引文上潦草地画上大大的强调标记，这样到了写作时，数据的轮廓就会跃然眼前。由于我还没那么强迫症，懒得去用荧光笔，所以额外的强调是通过各种符号、更大的字号以及其他非常个性化的重要性信号来表示的。

但很多人，包括很多撰写重要内容的重要人物，确实会使用彩色荧光笔和交替的文字颜色来表示强调。

温斯顿·丘吉尔用不同颜色的笔来表示不同类型的强调。在这里，即他为“最光辉的时刻”演讲所做的准备中，他似乎用红色作为更正代码。来源

根据前面照片中展示的那份文件（放在黑色讲台上的那份），可能有多达数亿份文件包含这样一层强调，而Docling等文档摄取系统目前无法识别这些强调。

这些人工强调意义重大，它们以语言结构本身未必能体现的方式赋予文本以分量。因此，通过OCR（或更先进的方法，如VLM）将这样一份高亮页面的内容简化为纯文本，并不能传达作者的全部意图，甚至可能歪曲文档的目的和意图。

只看高亮部分

这篇新论文*发现，广泛使用的文档转换器通常会丢弃高亮和文字颜色，导致AI智能体仍然无法辨别重要指令。在该研究的测试所检查的6,462份政策文档中，近三分之一包含红色文字或高亮，约十分之一使用这些标记来引起对重要要求的注意。

关于企业文档摄取智能体，作者†指出††：

“成熟的转换器能忠实还原文本、表格和结构，因此整个流程看起来是健康的。

‘我们表明，所有这些转换器都丢失了一层信息——作者通过文字外观所编码的含义——而这种丢失使智能体自信地出错，而不是明显地不完整，后者在部署中是更难检测的失败。’

在作者的测试中，当要求AI模型识别真实政策文档中的重要要求时，在保留原始高亮和文字颜色的情况下，模型的表现要好得多——这一发现在六个模型中得到了证实，包括GPT-5.6 Terra、Claude Opus 5和Claude Sonnet 5。

实际上，从高亮中可以提取两种信号：a) 有任何内容被高亮这一事实，以及 b) 高亮所用的颜色。在使用了多种颜色进行人工高亮的情况下，一个合乎逻辑的评分规则会将红色编码为某种负面含义（正如我们之前看到的，温斯顿·丘吉尔对自己演讲的更正）：

在作者第一阶段解析器的这个JSON输出底部，我们看到流程已经发现并编码了红色高亮，而且从逻辑上讲，我们可以看到这些词语与该编码的强度级别相符。然而，当强调被添加到本身并不会大幅提升语气的词语上、因而高亮补充了缺失的强调时，这种方法更为有用。来源

作者建议，现有流程可以通过在文档转换过程中保留原始高亮和文字颜色，并添加解释其含义的标签，相当简单地解决这个问题。虽然这不需要额外的AI处理，但它确实使表示每份文档所需的token数量大约翻倍：

“恢复这些线索是确定性的、仅靠代码实现的，且不产生任何LLM调用成本；这里报告的全部效果仅来自解析。它确实消耗token——大约是纯文本的两倍——因此这是用上下文预算换取事实性的有意权衡，而非免费的胜利。”

粗体的漠然

这项研究一个有趣的方面是，在键入的数字文档中，现有的强调手段显然因过度使用而无效††：

“整个效果[即新流程的效果]由高亮[和][颜色]承载。粗体、斜体、等宽字体和删除线没有贡献任何[可测量的]效果，置信区间跨越零。

‘这并不是因为这些线索不存在：一份文档就带有一千多个粗体标记。而是因为它们太常见，无法提供有效信息。

‘一个把每个标题和定义术语都加粗的作者，并没有因此突出任何东西；而给某项要求上色或高亮则是一种刻意、克制的行为。线索类型化只有在这些线索足够稀有、足以表明意图时才值得付出代价。’

任务与测试

为建立该系统，作者扫描了来自一个未指明公共语料库的6,462份真实政策文档（.docx格式），检查文档中的红色文字和高亮，而不根据措辞做任何猜测。随后要求模型挑出被标记为特别重要的要求，并忽略未标记的要求，核心提示词为：

‘列出本文档中作者特别关注或赋予更高优先级的每一项要求。’

在主测试中，选取了84份文档，包含332条标记要求和4,192条未标记要求（即没有红色文字或彩色高亮的要求）。每份文档必须至少包含一条标记要求和三条未标记要求，这样AI就无法简单地列出所有内容。

基准真值直接根据文档的格式确定，而非通过人工判断或另一个AI模型。性能使用精确率、召回率和F1分数来衡量，同时考虑正确识别的要求和误报，即未标记要求被错误纳入的情况。

评分以程序化方式进行，不涉及LLM评判。要计为匹配，答案必须包含原始要求中至少四个连续的内容词，这有助于防止相似但不同的要求被计为正确。

消融高亮

还进行了一项进一步测试，以考察能否仅凭措辞、而不借助高亮或颜色来识别重要要求。在示例上训练的纯文本分类器取得了0.664的ROC AUC分数（其中0.5代表随机猜测）。

更简单的方法并不比随机猜测更好：当以暗示紧迫性的词语作为线索时，得分为0.508；而句子长度产生的得分为0.492。这些结果表明，仅凭措辞几乎无法了解手持高亮笔的作者意图为何。

这是合理的：想必如果语言本身已经足够有力，作者就不会觉得有必要再做任何事后强调了。

竞争者

所比较的方法包括作者自己的解析器OURS；带显著性角色的OURS；带无类型标记的OURS；docx2python；Docling；以及纯文本转换。

每种方法都使用相同的文档和问题，只改变文档的转换方式。主要比较涵盖76份文档，每项测试重复三次：

比较六种识别Word文档中标记为“重要”的要求的方法的测试结果。上半部分显示来自76份文档、测试三次的结果。下半部分显示使用79份文档、六次重复的单独确认测试。F1分数越高表示性能越好；误报率越低表示被错误选中的未标记要求越少。统计显著差异以粗体显示。

如上所示，作者的系统取得了最佳总体F1分数0.690，相比之下docx2python为0.586；Docling为0.150；纯文本仅为0.075（F1将精确率和召回率合并为单一的准确度指标，其中1.0代表完美分数）。

保留格式的重要性还通过误报结果得到了证明：使用Docling时，未标记要求被错误选中的比率几乎是作者系统记录比率的四倍（4.3%对1.1%）。

一项单独测试用于考察AI模型是否能从被告知格式含义（而非仅仅看到原始颜色和高亮）中获益，结果发现当提供这些额外标签时，有微小但统计显著的改善。然而，大部分收益已经通过保留格式本身获得了。

外部压力

研究人员使用微软的Office理解基准（OCB）进行了额外评估，该基准衡量从Office文档中恢复信息的准确程度。

从59份Word文档中提取了326个问题，涵盖格式、表格、超链接、批注和脚注。问题和评分标准均由微软提供，独立于本研究：

在微软Office理解基准上比较五种文档转换方法的结果，涵盖59份Word文档中的326个问题。分数范围为0到1，分数越高表示性能越好，每个类别中的最佳分数以粗体显示。底部各行总结总体性能和统计显著性。在此，作者的系统取得了最高的总体分数，不过docx2python在高亮方面表现更好。

如上所示，作者的系统取得了0.959的优异总体得分，相比之下docx2python为良好的0.810，Docling为中等水平的0.720，而纯文本则相对较差，仅为0.634。

新系统在元数据、批注和脚注方面均获得满分，而所有竞争方法在这些方面均为零分——不过这些改进并非仅仅源于保留了高亮和文字颜色；作者的系统在从表格、文档布局、字体和超链接中恢复信息方面也表现更佳。

结论

就本文而言，作者的胜利在于识别出了一个在转换过程中被丢失的重要强调指示符。然而，其解决方案所需的token消耗翻倍绝非小事，尤其是在OCR和文档摄取层需要运行的规模下。因此，我认为这里的价值在于识别出了问题所在。

* 论文标题为《作者写了什么，智能体读到了什么：企业文档摄取中的静默线索丢失》。

† 均来自亚马逊。

†† 强调为作者所加，非我所加，不过我确实经常将作者的文内引用转换为超链接。

首次发布于2026年10月30日星期五