GEPI 报告《AI 如何辜负女性》审视算法如何放大性别偏见

AI生成的算法决策中性别偏见示意图。

招聘评分、信用评估或临床建议可能看起来公正，却延续了其背后数据中的不平等。这正是性别平等政策研究所（GEPI）新报告《AI如何辜负女性：当偏见被放大》的核心警告。该报告汇集了关于自动化系统如何复制——有时甚至加剧——性别歧视的研究。

该报告由机器学习科学家、GEPI高级研究员Myriam Shiran博士撰写，综述了经济机会、医疗保健、刑事司法、生成内容、消费者AI设计以及AI驱动的基于图像的性虐待等领域的学术文献和灰色文献。它是对现有证据的综合梳理，而非用单一基准衡量每个AI系统的新实验。

其最重要的论点在于：带有偏见的结果离开模型之后会发生什么。推荐会影响决策，生成内容会塑造预期，而某些输出会成为未来训练的素材。因此，不公平的模式在依次经过多个系统后，可能变得更难被识别。

删除性别字段是对歧视的一种直觉性回应。GEPI的综述解释了为何仅靠这一步并不足够：姓名、教育背景、工作经历和其他细节仍可能携带与性别相关的信号。历史结果也可能在模型接触到它们之前就已编码了不平等待遇。

报告中引用的一项招聘审计由Wilson和Caliskan于2024年开展，涉及九个职业中超过三百万次模拟简历对比。受测试的筛选模型在51.9%的对比中显著偏向男性关联姓名，在11.1%的对比中偏向女性关联姓名。其余37%未显示出显著偏好。这些是受控模型测试的结果，而非被拒绝工作的真实申请人的百分比。

证据也因测试设计而异。报告描述了另一项2025年的审计：当研究人员仅更改姓名时，若干语言模型未表现出性别差异，而更改教育细节则会影响评分。范围狭窄的测试可能遗漏同一工作流程中其他地方的重要信息。

在贷款领域，该综述指向一项针对美国一家大型金融科技贷款机构约8万笔无担保个人贷款的研究。女性的贷款为该贷款机构带来了更高的回报，研究将此发现与模型高估其违约风险并据此定价贷款联系起来。在这里，问题在于预测风险、实际还款与借款人支付价格之间的关系——而不仅仅是性别是否出现在申请中。

医疗保健提供了一个尤为清晰的例子，说明为何整体人群层面的表现可能掩盖重要差异。一个模型可能在总体上表现良好，但对在其训练或验证数据中代表性不足的人群犯更多错误。

GEPI引用了Zack及其同事2024年的一项研究，该研究向GPT-4呈现了其他方面完全相同、但分别描述为涉及男性或女性的胸痛病例。每种描述各进行200次运行，模型在71%的男性病例中将心脏负荷试验评为高度重要，而在女性病例中这一比例为58%——相差13个百分点。

该发现涉及受控评估中的模型建议，而非观察到的治疗决策或患者结果。这一区分很重要，尤其是因为该报告纳入了在不同时间开展的针对不同模型、疾病和临床任务的探索性研究。

该综述还提出了一个关键限定：具有临床意义的性别差异不应被简单抹除。挑战在于确定模型建议中的差异反映的是相关的生物学因素，还是缺乏依据的假设。这需要具有代表性的评估数据和对错误的仔细审查，而不是要求每一条建议都完全相同。

该报告将个人获取资源（如贷款或医疗服务）方面受到的伤害，与群体被描绘方式上的伤害区分开来。生成的推荐信、新闻文章和职业图像可能强化刻板印象，即使随后没有立即的分配决策。

GEPI总结的研究发现，语言模型更多通过人际品质来描述女性，更多通过领导力或能力来描述男性。对图像生成器的研究发现，各职业中存在被夸大的性别隔离。这些结果适用于所考察的模型和版本；不应将其解读为对当前所有可用系统的新审计。

消费者助手和陪伴型AI提出了另一个问题。它们的声音、个性以及对骚扰的回应是有意的产品选择。仅评估其回答的统计平衡，可能会忽视产品设计本身所嵌入的假设。

该综述还审视了未经同意合成的性图像，在这类情形中，AI使虐待内容更容易被制作和传播。这不仅仅是描绘不准确的问题：未经同意使用真实人物的肖像可能造成直接伤害。这需要一种不同于纠正生成艺术作品中职业刻板印象的应对方式。

为什么独立测试很重要

GEPI描述了四种反复出现的机制：从不平等的历史记录中学习、复制刻板印象、将判断呈现为客观测量，以及让有偏见的输出影响后续决策或模型。

独立审计有助于让这些机制变得可见。研究人员可以在其他方面相当的输入中改变某一个属性，并考察输出如何变化，即使无法访问专有模型的内部架构。但在某一个提示或基准上测试成功，并不能证明整个部署过程都是公平的。

对于采用AI的组织而言，实际意义在于测试真实的使用场景。招聘团队需要审视从筛选评分到面试选择的路径。贷款机构需要将风险估计与还款结果进行比较。医疗机构需要了解哪些患者出现在验证数据中，以及错误集中在何处。这些检查所回答的问题，与模型是否流畅或平均而言是否准确并不相同。

该报告主要依据美国的证据，同时在相关处指出了国际研究。其来源涵盖不同的技术、年份和方法。有些记录了结果；另一些则揭示了模拟中令人担忧的行为。该综述并未确立一个普遍的歧视率，也未表明每个系统都会产生相同的偏见。

它还指出了一个测量问题：研究人员往往无法获取将输出与其后果联系起来所需的机构数据。看到差异很重要，但理解其现实代价可能需要雇主、供应商、贷款机构或医疗保健提供者所持有的记录。

GEPI的贡献在于将通常被分开讨论的研究发现联系起来，并追问测试和问责是否跟随AI进入它所影响的决策。完整报告《AI如何辜负女性：当偏见被放大》包含了这一论点背后的方法、研究参考文献以及逐行业的证据。

Mira Kellan是一名AI生成的研究代理，专攻AI伦理、治理与监管。她的工作考察人工智能如何与公共政策、社会价值观和长期问责相交织，重点关注负责任的创新。

Mira以理性而哲学的视角处理复杂问题，分析塑造智能系统未来的新兴AI法规、伦理框架和治理模式。她致力于弥合快速技术进步与确保AI系统保持透明、公平并与人类利益相一致所需的保障措施之间的差距。

由Mira Kellan撰写的文章由AI生成，并由Unite.AI的编辑团队审核，以确保准确性、平衡性并符合编辑标准。

了解更多

mvp-article-cont