Google Research 提出 Agile Deliberation，用人工审议构建主观图像分类器

Google Research 于 2026 年 11 月 4 日发布了 Agile Deliberation，这是一个围绕主观类别构建图像分类器的交互式框架，并附带了开源代码和 notebook 演示。在一项包含 18 次会话的用户研究中，研究人员报告称，与手动优化提示词相比，该框架取得了更强的分类器结果，且所需投入更低。

该框架针对的是边界取决于个人判断、文化背景或运营政策的类别：健康食品、鼓舞人心的艺术作品，以及承诺误导性回报的标题党图片。其核心前提是，用户往往在审视困难样本的过程中发现自己的决策边界。传统的标注流程在标注开始前就将这些边界视为固定不变，导致意图的变化只能以不一致的标签或随意的模型决策形式显现出来。

Agile Deliberation 将不断演变的定义同时转化为人类可读的规范和驱动视觉语言模型分类器的提示词。该设计借鉴了对五位内容审核专家的访谈，以及对取自其专业工作流程的 20 个定义的定性分析，这些分析表明，专家们会先界定概念范围，然后通过边界图像对其进行细化。

概念审议的两个阶段

概念界定将初始想法划分为候选的正向和负向子概念。例如，构建健康食品分类器的用户可以将沙拉和谷物碗纳入其中，同时排除加工食品或生的、未经处理的食材。代表性图像为每个选择提供支持，而无法描述有意义的视觉模式的子概念可以在创建第一个分类器之前被舍弃。

随后，概念迭代会搜索语义上的边界图像，而不是简单地选择模型置信度接近 0.5 的案例。研究人员认为，视觉语言模型的置信度可能无法很好地校准人类的模糊性：模型可能对一个人认为困难的图像很有把握。检索到的示例会经过去重和聚类，并采用多臂老虎机规则，优先选择此前纠正过错误或产生过有用反馈的聚类。

模糊性挖掘步骤围绕一个可解释的问题（例如奶油酱汁、糖含量或份量大小）组织一批图像，并为每张图像的模糊性生成简短说明。用户标记图像是否在范围内，并可添加自然语言理由。系统会生成替代定义，用迄今收集的所有标签对其进行测试，选择 F1 分数最佳的候选定义，并允许手动编辑。

该原型使用 Gemini 2.5 Pro 进行分解，使用 Gemini 2.5 Flash 进行分类、边界查询生成和模糊性挖掘。这些模型未经额外训练或微调即被使用，界面通过交互式 Colab notebook 运行。

实际研究发现了什么

九名没有专业内容审核经验的参与者每人完成了两次约 90 分钟的会话，一次使用 Agile Deliberation，一次使用手动审议，系统顺序随机。两个测试概念分别是健康食品和付费参与（pay-to-play）标题党审核。每次会话包括约 45 分钟的定义工作、对 200 张留出测试图像的标注、一份调查问卷以及一次 15 分钟的访谈。比较还涵盖了零样本分类和 Modeling Collaborator 这一自动分解基线；手动审议的参与者可以查阅该系统的详细提示词。

论文报告称，在付费参与场景中，Agile Deliberation 的 F1 比其零样本基线提高了 11%，而手动审议比其自身基线提高了 8%。在健康食品场景中，Agile Deliberation 提高了 10%，手动审议则下降了 3%。这些提升主要反映在精确率的改善上，同时召回率有较小幅度的下降。研究未使用准确率，因为参与者个性化的定义导致测试标签分布不均衡。

所有参与者都更偏好 Agile Deliberation 而非手动审议。参与者报告 Agile Deliberation 的平均投入度为 3.11，而手动工作为 4.67；感到不安、有压力或烦躁的平均评分分别为 1.67 和 3.00。这两项差异在 p<.05 水平上均具有统计学显著性。访谈提供了实际的解释：手动用户不得不自行构思反例搜索，而且一些人担心修复一个错误的提示词编辑会损害其他方面的行为。

研究局限与代码可用性

评估也存在明确的局限。作者提醒说，九名参与者限制了统计功效和可推广性，而且每个人在不同概念上使用这两个系统，以避免将已确立的定义带入第二次会话。因此，主观体验可以在参与者内部进行比较，但分类器性能只能在参与者组之间比较。该研究没有单独隔离各个组件，也没有在其他生成模型上评估完整流程。

开源仓库包含配套代码库和数据集，以及用于 Jupyter 或 Google Colab 的分步 Demo.ipynb notebook。其演示在 LAION400M 上构建最近邻检索索引。默认设置会下载两个分片，总计约 260 MB，以验证流程；文档中记录的 100 分片设置总计约 13 GB。检索、外部图像下载和模型调用可能需要数秒到数分钟，单个 API 密钥可能会受到速率限制，并且多个阶段支持磁盘缓存。该仓库的免责声明称，这不是 Google 官方支持的产品。

Agile Deliberation 的实际贡献在于将主观意图变为分类器开发中明确且可修订的一部分。用户可以检查正向和负向规则，查看暴露缺口的边缘案例，并为修订提供理由。对于审核和策展团队来说，这使得类别定义以及塑造它的人类判断成为分类器可检查开发过程的一部分。