AI News

语言模型该在哪里止步:为薪酬、招生等容错率低的领域设计 AI

Unite.AI更新于 11月16日 19:10

Where the Language Model Should Stop: Designing AI for Payroll, Admissions, and Other Domains That Punish Mistakes

AI 导读

在薪酬合规与大学招生等容错率低的场景中,应让确定性规则掌管金额与法律后果,语言模型只负责检索、解释和引用,不得创建或修改规则。作者指出,RAG 仍可能出错,斯坦福 RegLab 测试的商业法律检索工具幻觉率为 17% 至 33%;系统需记录所用规则版本并追踪每次模型与工具调用,在不确定或信息冲突时转交人工审核。

正文 · AI 翻译

过去几年,我一直致力于将 AI 融入那些一旦出错就要付出代价的产品中:一个面向澳大利亚市场的 AI 薪酬合规平台,在这里,一个错误就会落到某人的银行账户里;还有一个大学招生产品,在这里,一次糟糕的匹配可能影响一个学生接下来的四年。决定架构的问题在两者身上是相同的:在某个确定性机制接管之前,应该允许语言模型走多远?

美国每五份薪酬单中就有一份存在错误,在诉讼介入之前,平均每份的成本为 291 美元。欧盟《人工智能法案》将用于招生决策和雇佣管理的 AI 归入高风险类别。

让规则掌管数字

凡是涉及金额或法律后果的事项,都由确定性规则掌管;模型围绕这些规则进行解读和解释,仅此而已。

在薪酬平台上,我们的目标是在薪酬规则与 AI 之间划出清晰的边界。薪酬专家首先以结构化格式定义薪酬规则。随后,系统处理这些规则,并生成由这些规则可能产生的所有情景。这整套完整的情景成为模型的唯一事实来源。模型不能创建新规则、更改现有规则,也不能决定使用哪些来源。它只能检索相关的规则集、查询费率表,并引用它所使用的情景。规则创建、情景生成和来源选择完全留在 AI 层之外。

招生产品遵循同样的逻辑:地点要求、预算限制、院校资质和资格门槛都作为规则先行应用,之后模型才能影响排名。如果一名学生表示必须在加利福尼亚州上大学,那么一所外州学校不能因为模型认为它本来很匹配就推翻这一要求。模型处理较软的偏好和解释,而在“大致正确”不可接受的地方,确定性逻辑就是护栏。

检索为模型提供依据,但仅在一定程度上

检索增强生成让答案与组织自身的政策挂钩,而不是与模型在训练中吸收的任何内容挂钩。它也被过度吹捧了。当斯坦福大学的 RegLab 测试基于 RAG 构建的商业法律研究工具时,它们仍然有 17% 到 33% 的时间出现幻觉。检索缩小了模型能说的范围,但模型仍然可能出错。

我直接体会到了这一点。在薪酬平台上,系统曾为一个案例找到了正确的雇佣裁定,但模型仍然错误地解读了加班规则。正确的来源已被检索到,答案却仍然是错的,因此在那之后,我们对模型能自行决定什么变得严格得多。重要的薪酬规则被移入显式的业务逻辑,每个答案都必须有源材料支持,我们还围绕那个出错的案例增加了测试。只有当你同时控制模型如何使用信息时,获取正确的信息才有帮助。

让每个答案都可追溯

在生成回答之前,系统会准确记录使用了哪本规则手册及其版本,以及模型和其他请求细节。说某个 AI 回答基于公司政策,很难核实。说它是使用某份特定协议的第 7 版生成的,而该版本已被保留并可与其他版本比较,则是强得多的证据。我们还会追踪每一次模型和工具调用:用户问了什么、检索了什么、运行了哪些工具、模型返回了什么,以及过程中的任何错误。当支持问题出现时,我们能确切看到错误答案来自哪里。2024 年加拿大航空案的裁决——法庭裁定该航空公司必须履行其聊天机器人编造的折扣——展示了另一种做法的代价。

NIST 的《生成式 AI 概况》将系统独自做什么与需要人做什么之间的界线视为一项治理决策。当系统不确定、信息冲突,或决策可能对用户产生实质性影响时,我们会将案例转交人工。在招生中,不寻常的学生档案,或不能明确满足学生硬性要求的推荐,会被标记出来交由辅导员审核。这一步已经捕捉到了一些表面上看似合理、却遗漏了学生档案中某项约束的推荐,而每一个这样的案例都反馈回了系统。两个产品都不会自行敲定任何事情。在依赖推荐之前,必须要有辅导员的输入;薪酬系统生成的每一份工资单在发出前都会被标记以待批准。人工审核并非针对每一个请求。目标是自信地自动化常规案例,并在系统有充分理由不确定时让人参与进来。

对于任何工作流程,我都会应用一个实用的测试。如果错误的输出能在到达某人之前被捕获并撤销,那么模型可以掌管这一步。如果答案可以对照规则进行核查,那么规则掌管它,模型负责解释。如果错误的输出会在任何人看到之前就到达工资单或申请决定,那么这一步就还没准备好。

语言模型是我们放在规则手册面前的最好的解读器。在惩罚错误的领域里,解读正是它们应该止步的地方。

来源

Unite.AI