敏捷审议：AI 如何帮助人类界定灰色地带
2026年11月4日
Otilia Stretcu，研究科学家；Leijie Wang，学生研究员，Google Research
敏捷审议通过引导用户完成交互式审议工作流——从界定子类别到解决边缘案例——来应对构建主观类别 AI 图像分类器的挑战，并利用 LLM 驱动的优化循环自动构建准确且对齐的分类器。
快速链接
机器学习模型通过人类标注的示例来学习识别周围的世界。这一过程背后的假设是：标注者在开始之前，心中对该类别已有清晰且稳定的定义。当用客观类别（如停车标志或金毛寻回犬）训练模型时，这一假设成立良好，因为这些类别的边界清晰且被普遍认可。然而在实践中，现实世界的应用往往需要视觉系统去应对人类经验中主观的“灰色地带”。例如，考虑训练一个视觉分类器来识别“健康食品”、策划“鼓舞人心的艺术作品”，或协助内容审核。在这些领域中，类别边界可能并非普遍或静态的，因为它们会随文化背景、个人理念或不断演变的运营政策而变化。 此外，人们很少一开始就对主观概念有完整的定义，即使是在自己的头脑中也是如此。相反，他们从对概念的直觉性理解出发，只有在遇到现实世界的例子时，才会发现概念真正的边界、例外和细微差别。传统的训练工作流程并未考虑到这一点。 概念演变，迫使用户即便在自己的心智模型仍在变化时，也要向 AI 系统提供僵化的标签。
为了弥合这一差距，我们引入了 敏捷审议这一框架将主观 AI 分类器的创建视为一场迭代式对话。Agile Deliberation 不要求人类充当静态的数据标注员，而是把 AI 系统变成协作伙伴，帮助用户“审议”并厘清自己的定义。通过先解决人类的模糊性，该框架系统地构建出更有效、更稳健且更对齐的 AI 系统。为支持更广泛的研究社区，我们还在以下地址开源了底层代码与算法： GitHub.
这项工作的一大关键区别在于它聚焦于真实用户体验。由于标准的静态 AI 基准测试无法捕捉主观概念，我们绕过了模拟测试，在 18 场、每场 1.5 小时的真人参与会话中评估了 Agile Deliberation。这使我们能够直接观察并测量当一个人与智能系统配对时，其意图是如何动态演变的。我们发现，Agile Deliberation 通过对边界图像的直接反馈取代了手动提示词工程，从而大幅减少了用户的疲劳和焦虑，最终产出了更一致、性能更高的 AI 模型，其表现优于标准基线。
工作原理：审议的两个阶段
敏捷审议将定义主观概念这一复杂任务拆分为两个结构化阶段： 概念范围界定 与 概念迭代这两个阶段共同将模糊的想法转化为面向 AI 模型的高度精确的指令蓝图。
敏捷审议工作流。该框架将宽泛的目标概念分解为范围内定义（即分类器应识别并标记为符合用户意图的正例）和范围外定义（即用户希望分类器不要标记的明确负向边界或“误报”），检索边界图像以暴露边缘案例，并将人工反馈引导至自动提示词优化循环，从而生成可直接使用的图像分类器。
阶段 1：概念范围界定
当面对像“健康食品”这样宽泛的主题时，人类的直觉自然会难以事先列出所有规则。在概念范围界定阶段，系统引导用户将其总体概念拆解为结构化的子概念层级和明确的排除项。
例如，用户不必只使用一个宽泛的标签，而是可以将“健康食品”拆解为“沙拉”“谷物碗”和“瘦肉蛋白”等正向子类别。同时，他们还可以定义明确的排除项，例如“加工食品”或“生的、未加工的食材”。这就创建了一个初始的结构化基线，为模型的理解奠定基础。
阶段 2：概念迭代
在初始结构建立之后，该框架便从静态规划转向主动测试。传统机器学习假定人类标注者是一个“神谕”，其心中早已有一套完整且完全定义的规则。敏捷审议颠覆了这一前提，转而聚焦于协作式细化。
这一阶段灵感来自 主动学习，这种方法传统上用于检索信息量大的数据点，以最大化机器的训练效率。然而，Agile Deliberation 并非像主动学习那样纯粹为了最小化机器不确定性而选择示例，而是使用 视觉语言模型 （VLM）主动挖掘并呈现语义边界图像，以挑战当前基于文本的定义。
例如，系统可能会展示一张水果冰沙的图片来挑战“健康饮食”概念，迫使用户做出判断： 这算健康饮品，因为它含有原果成分；还是算应排除的加工食品，因为含糖量高？
面对这些模糊的边缘案例，促使用户反思自身隐含的假设、厘清真实意图，并相应更新策略规则。随后，这些人工反馈被直接送入自动提示词优化循环，确保 VLM 的分类边界随用户细化的定义同步调整。
实验
评估主观视觉分类器面临一个根本性挑战：不存在静态、客观的真值可以用来衡量性能，因此，在 预标注数据集 无法衡量在审议过程中，随着个人对某一概念的心智模型发生变化，该框架的适应效果如何。
为了捕捉这一动态过程，我们构建了一个可运行的原型，并通过一项实时用户研究对其进行了评估。我们开展了18场实时用户会话，每场持续1.5小时，参与者以随机顺序与我们的系统及替代基线进行交互，以防止学习偏差。
我们选择了两个复杂且高度主观的领域，以检验这些系统的极限：
- 健康食品: 一个领域，在这里，个人健康理念、饮食限制和文化背景可能产生高度多样、主观的观点。
- 付费参与: 一个真实世界的内容审核挑战，需要捕捉专家级的细微差别和具体语境。这涉及识别在线娱乐或游戏中的标题党图片，这些图片承诺具有误导性的金钱或数字奖励。
我们将 Agile Deliberation 与三种常见且各不相同的范式进行了对比评估：
- 零样本分类器：标准的“一次性”方法。用户编写初始提示词，但无法看到边缘案例，也无法在模型误解边界时进行调整。
- 建模合作者：一种自顶向下的自动化方法，由 AI 智能体尝试自行拆解概念。虽然它能自动生成标准，却将用户排除在流程之外，使用户无法引导或纠正其逻辑。
- 人工审议：这种繁琐的暴力现状流程，用户要在电子表格中检查数据、猜测搜索查询以发现异常，并手动重写原始提示词。
结果
实时用户会话表明，Agile Deliberation 能产出性能更高的分类器模型，同时大幅改善用户体验。
提升一致性与性能
我们发现，参与结构化审议流程的研究参与者在随时间推移中表现出显著更高的一致性标注水平。通过尽早解决边界模糊问题，他们构建的分类器大幅优于所有标准基线。这些性能提升在最具挑战性的主观图像上最为显著——而这正是传统分类器通常失败的领域，因为它们依赖默认的、通用的 AI 假设，而非用户明确而细致的意图。
消除盲点
专家参与者报告称，该系统是一个有效的诊断工具。通过有意提供令人困惑的边界图像，AI系统帮助他们发现了初始定义中的“盲点”——揭示了在遇到模糊的真实世界示例之前他们未曾预料到的场景。
分类器在各任务上的性能提升. 在“付费参与”和“健康食品”两个评估组中，Agile Deliberation 框架相较零样本基线均能带来一致的性能提升，而人工审议方法往往无法提升分类器准确率，甚至会导致其下降。
缓解认知疲劳
我们实时研究的一项关键发现是手动提示词工程带来的认知负担。我们的研究表明，当用户试图预测哪些搜索词可能揭示边缘案例时，他们在手动概念审议过程中会经历明显的认知疲劳。此外，他们还报告称，持续感到焦虑，担心手动调整文本提示词以修复一个错误，可能会无意中降低分类器其他已经修复部分的性能。
用户体验与认知负荷指标. 与传统的人工提示词工程相比，使用 Agile Deliberation 的参与者报告称，所需投入的精力与承受的压力在统计上显著降低，同时心理负担更低，对成功率的感知和易用性更高。
Agile Deliberation 通过承担繁重的计算工作来解决这一摩擦。用户无需成为提示词工程师；他们只需查看精心挑选的边界图像画廊，并提供自然反馈。系统会无缝吸收他们的意图，并自动更新底层模型。
因此，使用 Agile Deliberation 的参与者报告称，他们感到压力显著更小、挫败感更少、精神上也更不易疲惫，并且每位参与者都表示相较于手动方法更偏好 Agile Deliberation。
结论
最终，Agile Deliberation 将人在回路机器学习范式从单向通道——即 AI 系统仅从人类标签中学习——转变为双向协作，由人类与 AI 共同完善概念。
随着机器学习系统越来越多地被部署来处理复杂的现实社会任务，确保其边界能够反映细致入微的主观概念至关重要。无论是赋能信任与安全团队构建更安全的内容审核过滤器，帮助策展人塑造数字馆藏，还是协助科学家对复杂的视觉数据进行分类，Agile Deliberation 都为人类与 AI 的对齐提供了基础。
论文，并在 GitHub 上查看开源实现。 论文 ，并在 GitHub 上查看开源实现。 GitHub。要开始使用，请参阅我们的交互式 Colab/Jupyter 演示 来体验本文中展示的“健康食品”示例。在此基础上，你可以将其调整应用到任何你作为领域专家的场景（例如标记误导性的标题党内容），或用它围绕你自己的主观品味和标准构建个性化分类器（例如策展“鼓舞人心的艺术作品”）。
致谢
我们要感谢我们的合作者——Wei Qiao、Thomas Denby、Krishnamurthy Viswanathan、Enming Luo、Chun-Ta Lu、Tushar Dogra、Ranjay Krishna 和 Ariel Fuxman——感谢他们为本项工作及配套论文提供的宝贵见解与贡献。本研究得益于 Google Research 与 Google Ads 之间的紧密合作。