斯坦福大学研究人员使用一项基于有记录的 AI 幻觉案例构建的新型基准,对检测器进行校准,并追踪生成式 AI 在美国四个州法院中的兴起。

自 ChatGPT 发布以来,AI 生成的文本一直在渗入我们的社会:新闻报道、政治演讲,甚至联合国新闻稿中都已出现其典型痕迹。许多观察人士一直指出,法院是一个显而易见且脆弱的机构:事实上,过去三年来,虚假引文不断出现在法庭文书中——其提交者包括 律师, 地区检察官,甚至包括 法官。大量由 AI 生成的法院案件可能会 令法院不堪重负, 浪费法院的时间和资源,并最终剥夺弱势群体诉诸司法的机会,或使其延迟获得司法救济。 

但在法院中,AI 辅助究竟有多普遍 ? 我们又如何严谨地检测法庭文书中的 AI?斯坦福以人为本人工智能研究所和监管、评估与治理实验室(RegLab)的研究人员通过收集和分析县法院的诉状来研究这一问题。我们发现,在接受调查的 Santa Clara 诉状中,AI 辅助起草的迹象从 2022 年的接近于零上升到 2026 年的三分之一以上。我们还展示了同一检测器在不同设置下如何得出截然不同的估计结果。  

为何 AI 检测如此困难

AI 检测技术远非完美,在法律领域尤其如此。在我们的新论文《检测异议:记录、校准与检测美国州法院中 AI 辅助文本的兴起》中, 《检测异议:记录、校准与检测美国州法院中 AI 辅助文本的兴起》,我们揭示了其中独特的挑战。  

AI 检测器通过寻找 AI 的典型特征(例如“破折号过多”)来工作:在语言使用方式不同的各个领域,这些特征的表现形式可能也不尽相同。事实上,法律写作独具特点:法律使用的词汇范围比日常语言更窄,而且包含反复出现的样板化表达,因此留给 AI 检测器的信号更少。商业检测器的训练数据也可能并未包含法律文本。 

综合所有这些因素,我们发现,检测率(1)在专业领域尤其低下;(2)可能对建模选择极为敏感。例如,我们发现,根据所用设置的不同,同一批 2026 年 Santa Clara 诉状中,被某款 AI 检测器标记为 AI 撰写的比例从 10% 到 98% 不等。这为不同细分领域中的所有 AI 检测工作敲响了警钟。 

构建真实基准

当我们考察 AI 违规行为特别恶劣的一个领域时,取得了突破:幻觉和捏造的案例检索结果。这些案例让我们 知道 其中必然使用了 AI,因为这些错误实在太离谱了。事实上,这已经是一个受到密切关注的领域: Charlotin AI 幻觉案例数据库 于 2025 年 4 月由法律研究员 Damien Charlotin 专门建立,用于追踪法官指控或告诫当事人使用虚构引文的案例。

我们注意到,这些案例充斥着各种新颖的典型迹象。现有的 AI 检测器,例如 Pangram 或 EditLens 都无法自动检测出 AI 的使用,或者需要大量调试才能发挥作用。我们将 Charlotin 的数据库与一组精心设计的对照数据结合起来,构建了一个新的法院 AI 检测基准,名为 PhantomDocket。 

此外,我们还开发了一种名为 ScoreMix 的方法,用于校准 AI 检测器的输出,并报告更类似于含有幻觉内容的法院文书、而非 ChatGPT 出现前所撰写文书的文件占比。这些方法共同为我们提供了经过校准、稳健且保守的 法院文书 AI 使用率估计。

主要发现:三分之一的案件

利用这些技术,我们得以详细描绘生成式 AI 如何进入四个州法院。 

  1. 截至 2026 年,Santa Clara 县和 San Francisco 县(California)非债务催收案件中的 AI 使用率已分别升至 38% 和 36%。 

  2. 不同法院的使用率各不相同。在同类案件中,Tulsa 县和 Oklahoma 县(Oklahoma)的 AI 使用率明显较低,分别为 17% 和 16%。 

  3. 自行诉讼当事人,即在法庭上代表自己的人,采用 AI 的比例更高。在 Santa Clara,显露 AI 使用迹象的自行提交诉状占比从 2024 年的 19% 升至 2026 年的 72%。相比之下,由律师提交的诉状占比从 5% 升至 34%。

  4. AI 使用率因案件类型而异。California 的就业和商业诉状使用率最高,但债务催收诉状中几乎没有使用 AI;这类诉状采用模板,在一些法院的文书中占比接近一半。 

  5. AI 的使用情况也因法院文书的不同部分而异,更常见于事实陈述和诉讼请求部分。 

数据能告诉我们什么,又不能告诉我们什么

AI 辅助文本正逐渐进入法院,自行诉讼当事人的使用率更高,不同司法辖区的使用率也有所不同。

根据我们的论文,我们提醒,AI 检测最适合用于估算总体普及率,而非确定哪些具体文书使用了 AI。我们在基准数据集中表明,即使是最优秀的检测器,假阳性率和假阴性率仍不可忽视;在语言用法独特的专业领域,使用现成的检测器存在风险。

我们的研究也提出了一些切实的问题:AI 究竟是在帮助无力聘请律师的诉讼当事人,还是在让法院充斥着质量低劣的法律代理工作。迄今, 已有记录显示,超过 1,500 起美国案件包含法律幻觉。这些证据凸显出司法部门有必要认真应对 AI 在法律行业中的兴起。我们主张各法院制定更完善的披露政策,以便未来更好地追究责任并衡量生成式 AI 的辅助使用情况。 

Javokhir Arifov 是 Stanford RegLab 的研究员。 

Alexander Spangher 是 Stanford University 的博士后学者,隶属于 RegLab、Stanford Artificial Intelligence Laboratory(SAIL)和 Stanford HAI。 

Jonathan Hennessy 是 Stanford RegLab 的高级研究经理。 

Diya Karan 是 Stanford RegLab 的研究助理,也是 Stanford University 的学生。 

Emaan Hariri 曾任 Stanford RegLab 法学院学生研究员,并获得 Stanford Law School 的法学博士(J.D.)学位。 

Daniel E. Ho 是 William Benjamin Scott 和 Luna M. Scott 法学教授、政治学教授及计算机科学兼任教授,同时担任 Stanford HAI 高级研究员兼副主任、Stanford Institute for Economic Policy Research(SIEPR)高级研究员,以及 Stanford Regulation, Evaluation, and Governance Lab(RegLab)主任。

本研究部分得到了 Stanford HAI 和 Stanford Impact Labs 的支持。作者感谢 Damien Charlotin 维护 AI Hallucination Cases Database,并感谢 Pangram Labs 提供其模型的研究使用权限。Pangram Labs 未参与研究设计、分析或本研究的其他工作。