n8n 博客：AI 智能体工作流中的模型幻觉检测方法

Hero：布局和类与首页 hero 相同（main.css）

文章内容

AI 智能体的幻觉很难被发现，因为它们通常看起来就像正常的回答。智能体可能凭空捏造事实、误读检索到的上下文，或者自相矛盾，却不发出任何出错的信号。一旦该输出触发下一个工作流步骤，这个错误就可能迅速演变成生产环境中的问题。

有效的幻觉检测方法并不依赖单一评分。它们需要像所检测的幻觉一样多维度。在本指南中，我们将剖析这些方法的工作原理、每种方法的不足之处，以及如何将它们分层组合进更易于检查和控制的 AI 工作流中。

AI 幻觉的类型

并非所有 AI 幻觉都以相同方式出错。模型可能凭空捏造事实、偏离所给定的上下文、用听起来合理的细节填补知识空白，或者与它先前所说的内容相矛盾。

四种常见 LLM 幻觉类型的示意图：事实性、上下文性、虚构和自相矛盾

了解你面对的是哪种失败模式很重要，因为每种类型都需要不同的检测方法。以下是需要留意的四种主要幻觉类型：

事实性幻觉：模型提出的主张与可验证的事实相冲突，例如捏造统计数据、人物或事件。

上下文性幻觉：回答得不到提供给模型的上下文支持。这在 RAG 系统中尤为重要，因为回答可能听起来合理，却歪曲或超出了检索到的材料。

虚构：模型用未提供或未确立的细节填补空白，在证据不足的情况下给出连贯的回答。

自相矛盾：模型提出的主张与其自身回答的其他部分或先前提供的信息相冲突。

这些区分说明了为什么不存在通用的幻觉检测器。例如，接地性检查可以识别偏离检索上下文的说法，但它未必能告诉你源材料本身在事实上是否正确。在生产系统中，可靠的检测意味着让检查与失败模式相匹配——而且往往要将多项检查分层组合。

在生产环境中有效的检测方法

LLM 幻觉检测作为分层系统效果最好。没有任何单一检查能捕捉所有失败模式：有些方法将回答与其上下文进行比较，另一些则寻找不一致的输出或不确定性，还有一些会将可疑结果升级交由人工处理。将这些信号组合起来，比把单一评分当作决定性的通过或失败能提供更大的覆盖范围。

忠实度与接地性检查

忠实度检查询问模型的主张是否确实得到其所接收上下文的支持。例如，在 RAG 工作流中，你可以将回答拆分为单独的主张，并将每一条与检索到的文档进行比较，根据回答中有多少内容可以追溯到该上下文来生成评分。

DeepEval 等工具可以自动化这一过程，使忠实度评分可用于跨测试集、评估数据集和实时输出的自动化幻觉检测。

自一致性检查

通过自一致性检查，你多次向模型提出同一个问题，然后比较这些回答。如果独立生成的回答收敛到相同的主张，你就得到了一个有用的一致性信号；如果它们存在实质性分歧，该输出就值得进一步审查。由于该方法是将模型与其自身输出进行比较，因此不需要外部知识库。

不过，这一局限很重要：不同的推理运行可能收敛到相同的错误信息。因此，请把一致性视为一种信号，而非准确性的证明。

语义熵与不确定性估计

语义熵不只看生成的回答是否使用相同的词语，而是询问它们是否表达相同的底层含义。针对同一提示生成多个回答，将语义等价的回答分组，然后估计概率在这些含义簇之间如何分布。

高语义熵表明模型对答案应该是什么并不确定，因此它有助于识别需要进一步验证步骤的输出。然而，与自一致性一样，不确定性估计告诉你的是答案有多稳定，而不是它在事实上是否正确。

查看 n8n 的 AI 智能体架构实际运行情况。

探索模板库

来源与检索核验

忠实度追问的是回答是否反映了模型所接收的上下文；来源核验追问的是其主张能否经得起权威外部来源的检验。这一区分对于因检索质量差而导致的 RAG 幻觉至关重要：如果检索到的文档已过时、不相关或不正确，即使回答完全忠实，也可能是错误的。生产工作流可以针对数据库、API 和文档等权威存储库核验重要主张，因此当存在明确的真相来源时，这种方法尤其有用。

置信度阈值与人工介入

并非每一个可疑输出都需要相同的处理方式。你可以定义置信度阈值，将高置信度的结果自动放行，让模糊的输出经过额外检查，并在智能体采取外部操作之前，将高风险案例交由人工介入处理。阈值应反映出错的后果：内部摘要可以容忍更多不确定性，而准备修改客户记录或触发业务流程的智能体则不能。这种分层方法让团队在需要判断的地方保持人工控制，同时无需对每一次执行都进行人工审批。💡除了人工介入（Human-in-the-loop），还有一种人工监督（Human-on-the-loop）方法，可在工作流执行后控制 LLM 输出质量。

使用开源工具实现检测

在实践中，幻觉检测通常意味着将 LLM 评估框架与工作流逻辑相结合，由后者决定检查失败时会发生什么。像 DeepEval 这样的代码优先框架可以计算忠实度评分等指标，而护栏库可以为模型输出增加验证。

在 n8n 这一源码可用的 AI 原生自动化平台中，你可以在可视化画布上为 LLM 添加检查，并利用结果决定输出是继续、重试还是路由到其他地方。这样可将评估逻辑保留在生成答案的同一工作流内，而不是将检测分散到不同系统中。

这种工作流上下文对于 AI 智能体可观测性也很重要。AI Agent 节点将模型和工具活动保留在可检查的执行路径中，让团队能够追踪智能体接收了什么、生成了什么。

如果工作流失败，Error Trigger 节点可以启动单独的错误处理工作流，而执行历史让你可以使用上一次运行的数据调试执行过程。最终形成的是一个分层设置：评估和护栏衡量模型输出，工作流逻辑根据置信度评分采取行动并将输出路由到相应分支。最后，执行记录为你提供调查失败的上下文。

为什么仅靠检测还不够

幻觉检测可以降低风险，但无法保证每一个错误输出都能被捕获。评分取决于上下文和评估方法的质量，阈值可能产生误报或漏掉细微错误，而且即使是有充分依据的回答，如果其来源不可靠，也可能是错误的。

检测最好与预防、清晰的升级路径和 LLM 可观测性配合使用。当确实有错误漏过时，对模型输入、检索到的上下文、输出和下游操作的可见性可以帮助你追踪失败并改进工作流，而不仅仅是标记结果。

将幻觉检查构建到生产工作流中

在生产环境中，每种检测方法覆盖不同的失败模式，因此最稳健的工作流会叠加多项检查：

忠实度检查测试主张是否与提供的上下文相符。

来源核验将其与权威信息进行比对。

一致性或不确定性度量有助于识别值得进一步审查的答案。

对于风险更高的决策，置信度阈值可以将输出路由到人工审核。

重要的是检测到问题之后会发生什么。在生产环境中，被标记的响应需要有去处：另一个验证步骤、一次重试、一个错误工作流，或者一个能做出最终决定的人。将这些路径构建到工作流中，可使幻觉检测成为 AI 系统运行方式的一部分，而不是在出错之后才运行的测试。

n8n 工作流示例：在智能体输出后进行第二次 LLM 处理，以检查电子邮件文本中的幻觉。可疑文本不会被自动丢弃，而是发送给人工审批

厌倦了从零开始构建可观测性？

了解 n8n 的执行历史如何运作。

了解更多

使用 n8n 将幻觉检测付诸实践

n8n 为你提供一个统一的地方，将那些防护措施与你的 AI 智能体一起编排，以提高 AI 智能体的可靠性。你可以添加自定义评估逻辑、将标记的响应路由以供审批、检查执行数据，并定义检查失败后的后续操作。

常见问题

如何确保我的 AI 智能体不会产生幻觉？

你无法完全防止 AI 幻觉，但可以通过分层检查捕获更多不可靠的输出。测试响应的忠实度，对照可信来源核验重要主张，标记不确定的答案，并在错误操作风险较高时要求人工审核。

幻觉检测工具是否支持图像和音频等多模态输出？

有些支持，但支持情况取决于检测工具和模型。多模态评估可以检查图像和音频等输出，而纯文本方法可能要求你先提取转录文本或描述。

幻觉检测能否在用户看到之前拦截不良答案？

可以，在响应到达用户之前运行检测，然后使用阈值确定接下来会发生什么。被标记的输出可以被停止、重新生成、经过另一次验证检查，或保留以供人工审批，而不是自动返回。

与我们分享

其他入门指南

有志者，工作流已成