内容警告:本模型卡讨论儿童性虐待和性剥削,并描述严重虐待的类别。读者可能会对这些话题感到不适。

OpenAI CSAM 图像分类器免费提供给获批组织使用。如果您希望获得访问权限,请填写以下表单: https://openai.com/form/csam-classifier-intake https://openai.com/form/csam-classifier-intake 。

OpenAI CSAM 图像分类器可识别可能构成儿童性虐待材料(CSAM)的图像,包括仅靠已知内容哈希匹配可能遗漏的潜在新型或 AI 生成材料。该分类器提供风险分数,可帮助平台将图像分流或优先安排给受过训练的人员审核,并支持其他安全措施。它是对哈希匹配、上下文滥用检测、受过训练的人员审核以及法律报告流程的补充。仅凭分类器分数并不能确认图像是 CSAM、确定其法律状态,或判定是否必须上报。

OpenAI CSAM 图像分类器是在以下机构的协助下构建的: 美国国家失踪与受虐儿童中心(NCMEC).

OpenAI CSAM 图像分类器将内部 CLIP 图像编码器与三层多层感知机(MLP)相结合。 CLIP 从图像–文本对中学习通用视觉表示。其图像编码器将图像转换为摘要嵌入,即图像视觉内容的数值表示。MLP 将该表示映射为下文所述各类别的独立分数。

该设计复用了预训练的视觉表示,同时训练任务特定的分类器。我们在 CSAM 数据上训练了 MLP,并对编码器的部分层进行了微调,使其表示适应此任务。我们的内部编码器在模型深度、隐藏层宽度和预训练数据方面与 公开的 CLIP 实现 不同。

我们评估了在单项基准上表现更好的替代分类器架构。然而,在我们的内部评估中,CLIP+MLP 对未见数据的泛化能力更好,且推理吞吐量更高。我们选择它,是为了在泛化能力和计算效率之间取得平衡。

  • 儿童性虐待材料(CSAM): 为训练此分类器,我们将 CSAM 定义为涉及儿童的性露骨行为的视觉描绘。OpenAI 选择这一定义,是因为它涵盖了美国联邦法律所定义的 CSAM 以及其他司法管辖区所涵盖的更广泛定义。它并非针对特定司法管辖区的法律分类器;适用定义和报告要求因地区而异,应独立确认。被标记为 CSAM 的数据还可能带有一个或多个子类别标签:

    • AI 生成 (GAI):由生成式人工智能技术创建或修改的 CSAM。

    • 兽交 (BES):涉及儿童与动物之间性行为的 CSAM。

    • 施虐 (SAD):涉及暴力、酷刑、束缚,或故意施加痛苦或极端羞辱的 CSAM。

    • 幼儿 (TOD):涉及处于婴儿或幼儿发育阶段儿童的 CSAM。

  • 非 CSAM 内容: 未描绘涉及儿童的性露骨行为的视觉内容。此类内容并非以将儿童性化、性剥削或以其他方式虐待儿童为目的而制作。非 CSAM 内容的示例包括:

    • 医学图像:在医学实践培训或教学背景下对儿童生殖器的视觉呈现,例如医学检查中儿童生殖器用于说明疾病、损伤或障碍的图像。

    • 教育图像:在性教育或发育背景下呈现儿童的照片或示意图,例如培训手册或指南中的图像。

    • 纪实图像:记录各种人类文化或历史呈现的图像,例如战区或宗教仪式中的儿童裸体。

    • 家庭图像:在私人家庭环境中拍摄的照片,其中可能存在儿童裸体的情况,例如婴儿的第一次洗澡。

我们使用在符合美国法律的前提下、为预防儿童性剥削而汇编的访问受控、人工标注图像数据集来训练和评估该分类器。敏感材料在受控环境中存储和处理,访问受到限制。法律、隐私、安全和审核人员身心健康方面的管控措施同时约束训练和数据处理。

训练和评估数据包括真实图像、经过篡改的真实图像和 AI 生成图像中的 CSAM 与非 CSAM 内容。下表提供了唯一图像数量的估计值。

表 1:训练和评估数据集的规模

表 1. 训练和评估数据集的规模
数据集正样本负样本
训练(likely-csam) 505K 913K
离线评估 7K 40K

我们还额外使用了来自 Re-LAION-5B-research 数据集的约 125 万张图像进行假阳性评估,该数据集是从开放网络收集的广泛图像集合,包含成人性内容和其他 NSFW 内容。我们选择它,是因为它是少数经过过滤以移除 CSAM 的大规模数据集之一。该过滤并不保证剩余每张图像都是非 CSAM。

由于有关训练和评估语料的详细信息可能暴露敏感材料、损害隐私或便于规避,我们不披露底层图像、精确的数据集构成、标注说明或其他安全敏感的实施细节。

CSAM 经常被编辑和重新分享,这带来了重复或近似重复图像同时出现在训练集和评估集中的风险。由于对直接目视检查的限制,这种重叠更难识别。我们使用 PDQ 等感知去重技术来降低这一风险。

这些技术并不能解决所有形式的重叠。某些 CSAM 系列可能包含同一儿童在多年间的不同图像。我们目前缺乏防止训练集和评估集之间出现这种形式重叠所需的数据。评估结果应在存在这一残余数据泄漏风险的前提下加以解读。

训练过程既强调检测潜在的 CSAM,也强调减少对视觉上相似但并非 CSAM 内容的误报。经确认的其他错误模式可能会被纳入后续的训练和评估周期。但是,提交至分类器 API 的图像在处理后不会被保留,也不会用于训练或评估。

该 API 提供两个分数。1这两个分数并不互斥:一张包含 AI 生成 CSAM 的图像可能在这两个分数上都很高。likely-csam/gen-ai 分数并不验证图像的来源。这些分数是对应类别的风险信号,而非事实性或法律性判定。

  • likely-csam:疑似 CSAM。

  • likely-csam/gen-ai:疑似 AI 生成的 CSAM。

我们分别对这些类别评分,因为它们在流行程度、可用的评估数据、错误模式和审核紧迫性方面各不相同。在能够进一步验证其性能之前,我们尚未对外发布这些信号。

  • likely-csam/bestiality:疑似包含兽交的 CSAM。

  • likely-csam/bondage-sadism:疑似包含施虐受虐的 CSAM。

  • likely-csam/infant-toddler:疑似 CSAM,包含处于婴儿或幼儿发育阶段的儿童。

我们在留出的标注图像、一个独立的开放网络数据集以及抽样的 ChatGPT 流量上评估了该分类器。我们还邀请 alpha 合作伙伴在其自有流量上进行测试。

为 CSAM 分类和检测系统建立一个共享、独立的基准测试流程,将有助于比较其有效性、识别盲点,并评估漏检的虐待内容和误报。通过采用商定的定义和具有代表性的测试数据,这可以支持更明智的采用决策,推动全行业的改进,并增强人们对这些系统在保护儿童的同时尽量减少错误分类所造成伤害的信心。

我们选择了默认阈值,以在在线评估集中平衡召回率和精确率,并观察到这在离线评估集中更有利于精确率。下文使用的默认阈值为:likely-csam 为 0.996324,likely-csam/gen-ai 为 0.90。

离线评估集包含约 46,849 张受访问控制的图像,其中包括:

  • 已确认的正例,包括取自 OpenAI 运营安全工作流程的示例

  • 多样化的负例,包括此前观察到的误报,以及非 CSAM 医学影像等边界案例

评估集与模型的训练数据相互分离,对评估数据的访问遵循 数据处理 上文所述的程序。

由于部署流量高度不平衡,且 CSAM 的流行率很低,仅凭总体准确率不足以衡量性能。我们在确定的运行阈值下报告精确率和召回率,并说明评估集的构成和局限性。

我们发现 CSAM 图像语料库中存在许多重复或近似重复的样本。我们随机划分数据,并在划分内部及跨划分使用 基于 PDQ 的去重 ,以将训练样本排除在评估集之外,并防止少数图像的重复副本主导指标。CSAM-GenAI 集中的正样本是 CSAM 集中正样本的子集。CSAM 集中非 AI 生成的正样本在 CSAM-GenAI 集中被视为负样本。

表 2:留出评估集中的标签

类别

我们绘制受试者工作特征(ROC)曲线和精确率-召回率曲线(PRC),以可视化不同阈值对性能的影响。我们测量两条曲线下的面积以了解性能,并观察到在去重后的留出集上,ROC 曲线下面积(AUROC)和精确率-召回率曲线下面积(AUPRC)均接近饱和。

表 3:分类器在默认阈值下于留出评估集上的性能

类别

图 1

Figure 1. ROC and precision–recall on the held-out evalset
图 1. 留出评估集上的 ROC 与精确率–召回率曲线

为评估留出分布之外的标记行为,我们还在 Re-LAION-5B-research 上评估了该分类器,这是一个未用于训练的开放网络数据集。经过基于 PDQ 的去重后,我们的样本包含来自其英语、多语言和无语言子集约 125 万张图像。我们将这一经过筛选的数据集用作负例的代理,同时认识到筛选并不能验证每张剩余图像均为非 CSAM。

该图表结合了两个数据集:x 轴显示 Re-LAION 上的标记率,y 轴显示留出评估集上的召回率。它展示了留出召回率与开放网络标记率之间的权衡;它并非在单一标注人群上测量的传统 ROC 曲线。

表 4:开放网络标记率与留出召回率

表 4. 开放网络标记率与留出召回率
信号阈值留出召回率Re-LAION 标记率
可能为 CSAM 0.996324 0.802 (5,490/6,849) 0.000004 (5/1,248,985)
可能为 CSAM/生成式 AI 0.90 0.864 (1,966/2,275) 0 (0/1,248,985)

图 2

Figure 2. Recall at given Re-LAION flag rate
图 2. 在给定 Re-LAION 标记率下的召回率

我们使用 LLM 标注器为留出评估集中所描绘的人物分配年龄、种族和性别标签。一张图像可能获得多个标签(例如,一个年龄标签、一个种族标签、一个性别标签),并且标注器在缺乏信心时会省略标签。部分图像包含多个人物,或未清晰显示人口统计特征。请将这些结果视为方向性参考,并在解读小群体的估计值时考虑正负样本数量;需要更多工作来理解 CSAM 训练和评估集之间潜在的人口统计局限性。

下表报告了各信号在默认阈值下的性能。由于默认阈值偏向精确率,观察到的差异主要体现在召回率上。这些比较描述的是本评估集及其未经核实的 LLM 分配标签;它们并不确立人口统计特征或性能差异的原因。

  • 年龄:对于两个信号,召回率在标记为青春期前的组中最高,在标记为婴儿的组中最低。标记为幼儿和青春期的组之间的排序因信号而异。对于 likely-csam/gen-ai,标记为婴儿的组仅包含五个正例,其中两个被检测到(召回率 40%)。

  • 种族:对于 likely-csam,标记为黑人的示例召回率为 61.27%,而其他报告的种族标签为 84.48%–90.32%。对于 likely-csam/gen-ai,报告的估计值范围为 86.36% 至 90.91%,但若干组的正例很少。

  • 性别:在本评估集中,对于两个信号,标记为女性的示例召回率均高于标记为男性的示例。

表 5:likely-csam 在默认阈值 0.996324 下的人口统计性能

表 5. likely-csam 在默认阈值 0.996324 下的人口统计性能
类别标签正例负例精确率召回率F1
年龄 婴儿 1,107 3,563 0.995 0.493 0.659
幼儿 928 1,469 0.986 0.745 0.848
青春期前 3,983 1,396 0.996 0.930 0.961
青春期 179 614 0.967 0.827 0.892
种族 亚裔 496 396 0.986 0.845 0.910
黑人 142 492 0.978 0.613 0.753
白人 4,768 2,984 0.997 0.875 0.932
西班牙裔 31 32 1.000 0.903 0.949
性别 男性 1,159 3,213 0.956 0.603 0.740
女性 4,527 1,759 0.999 0.893 0.943
总体 6,849 40,000 0.991 0.802 0.886

表 6:likely-csam/gen-ai 在默认阈值 0.90 下的人口统计性能

表 6. likely-csam/gen-ai 在默认阈值 0.90 下的人口统计性能
类别类别正例负例精确率召回率F1
年龄 婴儿 5 4,665 1.000 0.400 0.571
幼儿 141 2,256 1.000 0.816 0.898
青春期前 1,915 3,464 1.000 0.894 0.944
青春期 77 716 1.000 0.727 0.842
种族 亚裔 207 685 1.000 0.899 0.947
黑人 22 612 1.000 0.864 0.927
白人 1,844 5,908 1.000 0.875 0.934
西班牙裔 11 52 1.000 0.909 0.952
性别 男性 120 4,252 1.000 0.733 0.846
女性 2,019 4,267 1.000 0.886 0.940
总体 2,275 44,574 1.000 0.864 0.927

当在生产规模上运行 OpenAI CSAM 图像分类器时,标记率的微小上升就可能导致数千或数万张图像被转交人工审核。虽然观察到的离线性能令人鼓舞,但结果取决于留出集中来源的构成,而该构成可能与生产流量的分布不同。

因此,我们依据 OpenAI 的隐私政策 ,对来自 ChatGPT 的代表性流量样本评估了该分类器,并遵循 数据处理 上述流程。我们在分数分布高端比较了各阈值下的精确率、相对召回率和相对标记量。根据我们日志中的分数,我们收集了 likely-csam 高于 0.99 以及 likely-csam/gen-ai 高于 0.80 的样本。相对召回率比较的是各测试阈值下估计的预计真阳性数量,我们并未测量全部流量上的绝对召回率。

正如预期,较低的阈值往往会提高标记率并获得更高的相对召回率,同时牺牲精确率;而较高的阈值往往会限制标记率并获得更高的精确率,同时牺牲召回率。

图 3

Figure 3. likely-csam: precision and relative recall by flagging volume
图 3. likely-csam:按标记量划分的精确率与相对召回率

图 4

Figure 4. likely-csam/gen-ai: precision and relative recall by flagging
volume
图 4. likely-csam/gen-ai:按标记量划分的精确率与相对召回率

表 7:默认阈值的评估精确率

类别

在相同阈值下,在线评估集的精确率显著低于离线留出评估集。精确率是指被标记图像中真阳性的比例,而留出集中 CSAM 的比例远高于我们在在线评估集中观察到的比例。当 CSAM 较为罕见时,即使只有一小部分非 CSAM 图像被错误标记,其数量也可能超过真实检出数。这些假阳性增加了标记总数,却没有增加真阳性数量,从而降低了精确率。

在线估计能更好地反映人工审核员在 ChatGPT 上会看到的标记构成。在多轮训练中,我们使用此前在线评估中经过审核的样本来改进对已识别错误类型的表现。每一轮还暴露出新的假阳性模式,凸显了审核当前分类器标记的价值。

我们与合作伙伴合作,通过早期访问 alpha 版本在其流量上测试 OpenAI CSAM 图像分类器。该测试的结果可在 公告 博客.

我们使用精确率在抽样的 ChatGPT 流量上比较各候选发布版本。由于我们的审核流程仅覆盖该流量的一部分,我们还比较了各候选版本在 Re-LAION-5B-research 中标记图像的频率。其标记率是假阳性的代理指标,而非实测的假阳性率。来自 alpha 合作伙伴的反馈帮助我们评估这些权衡在其他审核流程中的表现。在选择发布候选版本时,我们权衡了全部三个来源。

儿童性虐待材料仍然是在线服务面临的关键问题1, 而由生成式 AI 系统创建或修改以描绘 CSAM 的图像能够且确实会造成真实伤害2 即使它描绘的并非真实儿童。生成式 AI 还可能增加在网上创建和分享的新型 CSAM 的数量。因此,平台需要多种检测系统来应对这一风险。我们构建了 OpenAI CSAM 图像分类器,以补充现有的防护措施和工具。

我们建议结合多种 CSAM 防护措施来降低风险,正如我们在 面向开发者的 CSAM 指南中所解释的那样。哈希匹配系统应用于识别此前已确认的 CSAM,而分类器则应用于检测新创建的、经过变换的或由 AI 生成的 CSAM 内容。账户层面和行为层面的滥用检测可以提供额外的信号。

这种分层方法与 OpenAI 现有的儿童安全系统一致,后者结合了哈希匹配、内容分类器、滥用监控和经过培训的专家审核。

OpenAI CSAM 图像分类器面向经过适当授权的机构的人员——包括信任与安全团队、专注于预防儿童性虐待和性剥削的非政府组织以及执法部门。这些机构可以用它来:

  • 检测与已知内容哈希不匹配的潜在新型CSAM。

  • 检测可能由AI生成或经数字篡改的CSAM。

  • 将内容优先提交给经过培训的人员审核。

  • 支持内容屏蔽、账户处置、调查、分类以及法律要求的报告工作流。

  • 为现有的多层儿童安全系统增加一个补充信号。

  • 监控系统整体性能和新兴的滥用模式。

该分类器可用于上传的图像、生成的图像或其他图像处理流程,但须遵守适用的政策和法律要求。不同的使用场景可能需要不同的阈值;例如,对于自动屏蔽内容,选择偏向精确率的阈值可能更好,而在标记以供人工审核时,选择兼顾精确率和召回率的阈值可能更好。

请勿将已确认属于CSAM的图像提交给本服务。请通过贵组织既定的响应和报告流程处理这些图像。

OpenAI CSAM 图像分类器应作为更广泛的儿童安全系统的一个组成部分。由于各平台的系统、流程、政策和内容分发方式各不相同,我们建议:

  1. 从基准测试开始。 使用来自您平台或服务的代表性数据评估 OpenAI CSAM 图像分类器。我们建议进行两类评估,以了解其性能并为不同类型的操作选择阈值:

    1. 评估增量检测。对当前系统未检测到的图像运行该分类器。审查超过特定阈值的被标记图像,以查看该分类器是否检测到额外的真阳性。

    2. 评估对人工审核量的影响。对当前被转交人工审核者的图像运行该分类器。查看使用该分类器是否能在仍标记真阳性的同时,减少对假阳性的人工审核。

  2. 集成到您的系统中。 将分类器与已知CSAM哈希匹配系统配合使用。对于确认匹配的内容,请通过贵组织既定的响应和报告流程处理;不要将这些图像提交给本服务。将分类器作为尚未确认属于CSAM的图像的另一项信号。预先过滤已知的假阳性类别(如医疗、教育、纪录片或家庭图像)可能有助于减少发送给分类器的图像数量。

  3. 在向NCMEC或热线报告时,继续依赖人工审核。 对于基于分类器的报告工作流,在提交报告之前,应使用经过培训且获得适当授权的人工审核来评估被标记的图像。分类器分数本身不应被视为可报告内容的确认。虽然OpenAI CSAM图像分类器不应取代人工审核,但它可以帮助将图像路由或优先排序以供人工审核。持续的人工审核也有助于识别分类器的缺口或流量分布的变化,从而需要更新标记阈值。任何没有人工审核的部署(例如预防性屏蔽)都需要对其法律、合同和运营要求进行单独评估。

分类器可能产生假阳性和假阴性错误。以下局限性应作为解读结果和部署分类器方式的参考。

数据

  • 超出OpenAI流量的泛化能力。 我们的在线评估使用了ChatGPT流量的样本。在其他平台上,由于内容分布、滥用模式和CSAM的普遍程度可能不同,性能和合适的操作阈值也可能有所差异。OpenAI流量上的结果不应被视为在其他服务上性能的保证。部署方应使用来自其自身服务的适当代表性流量进行基准测试,并为其用例选择阈值。

  • 数据集之间的残余重叠。 感知去重可减少重复或近重复图像带来的重叠,但并不能解决所有相关材料的问题。CSAM可能包含同一儿童跨越多年的不同图像,而我们目前缺乏必要的数据来防止训练集与评估集之间出现这种形式的重叠。因此,在解读评估结果时,应考虑到这种仍然存在的数据泄漏风险。

  • 评估数据可用性有限。 有意义的假阳性评估应包含不属于CSAM的成人性内容,因为这类内容在视觉上可能与CSAM相似。然而,目前用于分类器构建的、包含成人性内容的学术或基准数据集并不多。此外,对数据集进行过滤以移除CSAM,也并不能确立剩余每张图像均为非CSAM。

内容类别

  • 未发布的子类别信号。 该API目前公开likely-csam和likely-csam/gen-ai两个信号。涉及兽交(BES)、施虐(SAD)以及婴幼儿(TOD)的CSAM的单独信号仍处于内部状态,有待对其性能做进一步验证。该API不提供这些子类别的单独分数,聚合的分类器结果不应被解读为在其各自类别上具有同等性能的证据。

  • 视频。 我们尚未在视频帧上测试该分类器。静态图像的结果不能确立其在视频上的性能,包括对跨帧采样并合并分数的系统也是如此。此类系统中的性能需要单独评估。

使用

  • 更大系统中的一个组成部分。 分类器在更广泛的儿童安全系统中提供额外的风险信号。它应与已知CSAM哈希匹配、上下文与行为滥用检测以及经过培训的人工审核配合使用。请勿将已确认为CSAM的图像提交至本服务;请通过既定的响应与报告流程处理这些图像。

  • 人工审核。 对于基于分类器的NCMEC或热线报告,经过培训且获得适当授权的人工审核仍然必要。仅凭分类器分数并不能确认图像属于CSAM、确定其在特定司法管辖区内的违法性,或确定报告义务。

以下第三方工具或服务的列表均不构成OpenAI的背书。

实施指南

组织与举报资源

工具与技术资源

  • Thorn Safer ——关于Thorn儿童安全工具的信息,包括审核工具。

  • ROOST ——关于ROOST在线安全工具与资源的信息,包括其审核工具COOP。

  • Google Protecting Children ——关于Google儿童安全技术与举措的信息。

  • Cinder ——关于Cinder平台支持信任与安全审核的信息。

← 返回所有更新