人工智能

Standard Bank Group 如何自动化生成式 AI 风险评估

本文由 AWS 的 Tala Qraitem 和 Standard Bank Group 的 Duncan Macdonald 共同撰写

制定 AI 政策是一回事,逐个用例证明 AI 系统遵守该政策则是另一回事。每新增一个生成式 AI 应用,就多了一个需要验证的系统。如今,团队可以在几天内构建一个应用,但每个应用仍需获得风险委员会批准,才能面向客户或员工开放。如果审批依赖审核人员阅读文档并手动测试系统,治理就会成为整个流程中最慢的环节。

Standard Bank Group 决定将这种验证自动化。该银行与 AWS Professional Services 合作,部署了一套自动评估系统,依据国际 AI 标准和自身政策为每个生成式 AI 用例评分。评估会生成报告和仪表板,显示哪些措施已经落实、哪些运行良好,以及哪些方面仍需缓解风险。本文将介绍这套评估如何在 AWS 上运行,以及 Standard Bank Group 从首批评估中获得了哪些经验。

使用现有框架治理 AI

Standard Bank Group 并不需要新的 AI 政策。与大多数大型银行一样,它已经建立了成熟的模型风险管理实践,涵盖可解释性和公平性等问题;同时还设有变更风险流程,根据每个新用例的风险等级,在其上线前进行评估。

生成式 AI 增加了复杂性,因为模型和工具每三到六个月就会发生变化,但每个用例仍须达到同样严格的安全与合规标准。

“在 Standard Bank,这项评估体现了我们如何与 AWS 合作,将智能化、自动化的风险管理融入 AI 发展历程,使我们既能加速创造切实的业务价值,又能维持银行业所要求的信任与管控。我们认为,负责任的 AI 并不是要减缓创新,而是让创新能够有信心地构建并规模化发展。”

——Standard Bank Group 集团首席信息与 AI 官 Jorg Fischer

目标是将证据收集和测试自动化,再把结果输入 Standard Bank Group 已在运行的审批关卡。审核和批准仍由风险委员会负责,但委员会现在会依据以统一方式跨用例收集的一致证据作出每项决定。

评估的工作原理

图 1 展示了评估系统中的各个组件如何在 Standard Bank Group 的 AWS 账户中协同工作,涵盖从接收到评估再到报告的全过程。

Architecture diagram of the automated AI risk assessment running in Standard Bank Group’s AWS account

图 1:Standard Bank Group AWS 账户中的评估管道,涵盖从接收到评估再到报告的全过程

评估完全在 Standard Bank Group 自己的 AWS 账户中运行。文档、代码和测试结果均保存在该账户内的 Amazon Simple Storage Service(Amazon S3)存储桶中。AWS Well-Architected Tool 负责接收信息,AWS Step Functions 负责协调管道,而 Amazon Bedrock 上的基础模型则负责评估证据。该流程采用一种名为 LLM-as-a-judge 的技术,由大型语言模型依据既定标准核查证据。

借助 Amazon Bedrock,Standard Bank Group 可以在不脱离其现有 AWS 管控体系的情况下使用基础模型。与其他 AWS 工作负载一样,该银行通过 AWS Identity and Access Management(IAM)控制模型访问权限。Amazon Bedrock 不会与模型提供商共享该银行的提示词或模型输出,也不会使用这些内容训练模型。由于 Amazon Bedrock 通过一个 API 提供多种基础模型,团队只需更改一项配置设置,即可切换到更新的评判模型,而无须重新构建管道。

每项评估分四个步骤进行。前两个步骤中,预评估智能体收集有关用例的证据,随后管道检查这些证据并直接测试应用。第三步依据控制措施评估证据。第四步以标准的预定义格式汇总结果,并将其发送给负责采取行动的人员。

步骤 1:预评估智能体收集证据

Well-Architected Tool 中的自定义透镜包含约 40 个问题,每个问题涵盖一种风险事件,例如技术文档不完整或人工监督不足。交付团队不再需要从头填写这些问题。在 AWS Fargate 上运行的预评估智能体会扫描用例的代码存储库和文档。它将相关文件映射至各个问题,并使用答案和证据链接预先填充该透镜。随后,交付团队会审核这些答案、纠正错误,并补充智能体未能找到的证据。

步骤 2:管道检查工件并测试应用

管道使用四类证据。

  • 系统文档,用于说明应用是如何设计、构建和评估的。
  • 政策文档,用于规定角色、职责以及事件处理等程序。
  • 源代码和系统提示词,用于展示控制措施的实施方式。
  • 对应用的实时调用,用于展示其实际运行表现。

对于文档和代码,管道会检查每项工件是否包含其所映射控制措施要求的内容。每项控制措施都源自国际 AI 标准或框架,或 Standard Bank Group 自身的政策。例如,事件处理程序需要说明如何报告事件。

对于实时测试,管道通过应用的 AWS Lambda 函数或 API 调用应用。交付团队提供典型用户会提出的问题。管道会加入一组内置的越狱尝试和偏离主题的问题,应用应拒绝回答。它还会以原始措辞和改写措辞多次发送同一提示词,并使用 Amazon Bedrock 上的嵌入模型检查答案在含义上是否保持一致。如果团队提供了预期答案,管道会衡量响应与这些答案的匹配程度。每项响应都会存储在 Amazon S3 中,以便审核人员准确查看应用生成的内容。

步骤 3:依据标准进行 LLM-as-a-judge 评估

在此步骤中,Amazon Bedrock 上的一个基础模型充当评判模型。评估直接使用原始模型,不进行任何微调或定制。(模型可用性因 AWS 区域而异,因此部署前请查看 按区域划分的支持模型 。)对于每个问题,模型会检查工件和应用响应中是否存在特定证据,并返回“是”或“否”。

每项检查都映射到 AI 管理、AI 风险或 AI 安全领域某项国际标准或框架中的一项控制措施。Standard Bank Group 还使用依据其自身标准构建的评判问题定制了该透镜,使问题总数超过 300 个。这些检查涵盖下表所列的八个 AWS 负责任 AI 维度:

维度 评估检查的内容
真实性和稳健性 即使面对意外或对抗性输入,也能输出正确结果
隐私和安全 以适当方式收集、使用和保护数据及模型
透明度 帮助利益相关者就如何使用 AI 系统作出知情选择的信息
公平性 考虑对不同利益相关者群体的影响
安全性 防止有害输出和滥用
可控性 监控和引导系统行为的机制
治理 贯穿 AI 供应链的最佳实践,包括提供商和部署方
可解释性 理解和评估系统输出的方法

每项风险都会获得一个可能性分数、模型未能找到的必要证据占比,以及一个可由银行风险团队调整的固定严重程度级别。这些指标共同得出从“极低”到“严重”的评级。每项缺失的证据都映射到具体的缓解措施,以及其所源自的标准或政策条款。这样,风险管理人员在向监管机构解释决策时,便可将任何发现追溯至其来源。图 2 展示了一项缺失证据在此流程中的完整路径,从证据请求一直到建议的修复措施。

A single missing piece of evidence traced to a scored finding and a recommended fix

图 2:如何将一项发现从证据追溯到修复措施

Standard Bank Group 通过两种方式保护并检查评估输出。每次与 AI 模型的交互都受到 Amazon Bedrock Guardrails 的保护,以确保符合该银行既定的安全和负责任 AI 标准。评估中的模型调用会经过该银行针对 AWS 账户中 AI 工作负载统一实施的相同防护措施。这些防护机制会筛查有害内容以及试图操纵模型的行为。该评估的设计也确保其输出可供核查。管道不会要求模型给出开放式意见,而是提出范围明确的“是”或“否”问题,每个问题的措辞都与一项具体控制措施相对应。风险团队可检查的固定公式会将这些答案转换为分数。每项评估都会多次运行,以衡量答案的一致性;任何不一致的发现都会在审核界面中标记出来。每项判断及其背后的证据都会一并存储,以便审核人员和审计人员追溯其得出过程。

步骤 4:面向不同受众的报告

管道以标准格式汇总结果,并将其交付为高管演示文稿、缓解措施检查清单、详细技术报告,以及一个用于持续跟踪各用例评分变化的 Amazon CloudWatch 控制面板。在作出关卡决策前,审核人员会通过支持单点登录的自定义审核界面确认相关发现。他们可以在该界面中添加用例、审核问题、依据业务理由修改答案,并改写输出。

该评估会生成与控制措施对应的证据。它并不证明符合任何法规,Standard Bank Group 仍须自行负责作出监管合规判定。

依据 Standard Bank Group 自身规则进行测试

国际标准为每个用例提供了统一基准,但该银行的风险委员会依据自身政策审批用例。问题工厂通过从内部文档生成额外的评判问题来解决这一需求。Standard Bank Group 的风险团队利用它将内部政策转化为针对每个用例运行的检查。

由于这些检查直接源自政策文本,政策变更也会相应转化为测试变更。此后的每次评估都会自动应用更新后的规则,而风险团队只需进行极少的人工返工。

“大多数组织把政策视为供人阅读的内容。Standard Bank Group 则把它视为可以运行的内容。当每条规则都转化为针对实时系统运行的检查时,政策更新就不再是一份备忘录,而会成为一项测试。这从根本上改变了银行负责任地规模化应用 AI 的速度。”

——Sri Elaprolu,AWS 前沿 AI 科学与工程总监

融入用例生命周期

该评估贯穿用例生命周期的三个阶段。在概念验证阶段,评估为可选项,可让团队尽早了解潜在差距。进入构建阶段后,评估成为必选项,审批关卡会将其结果作为正式证据。目前,该评估在 Standard Bank Group 的生产环境中运行,在用例上线前对其进行评估。实时工作负载接入后,评估将按计划重新运行,或在代码或配置发生变化时重新运行,从而确保相关证据在上线后仍长期保持最新。该银行的团队已经可以通过一个中央系统自行触发评估,用例在该系统的单一工作流中完成从受理到评估的全过程。

这对金融机构意味着什么

在 Standard Bank Group,该评估将传统上需要两周的人工审核缩短为约两小时即可生成一份全面的风险报告,这一成果已在六次评估中得到验证。整改后,用例风险评分也提高了 14%。这加强了负责任的 AI 治理,减少了合规瓶颈,并缩短了从评估到投产的路径。

这种方法可以使参与审批 AI 用例的三类群体受益:

  • 风险与合规负责人可针对每个用例获得格式一致的证据,并可追溯至已发布的标准或内部政策条款。可像 Standard Bank Group 利用其现有风险流程和审批关卡那样,从贵机构已经采用的框架入手。
  • 交付团队可以在变更成本最低的概念验证阶段了解需要修正的问题,而不必等到审批关卡才遭到拒绝。
  • 高管可以扩大 AI 项目组合,而无须让审核工作量以同样的速度增长。

“在整个企业范围内规模化采用 AI,需要赢得内部人员和客户的信任。事实证明,这项评估是一个关键助力,使我们的所有产品团队都能证明,他们正在构建符合我们自身及行业最佳实践的企业级解决方案。”

——Duncan Macdonald,Standard Bank Group 首席技术官

从审批关卡到持续保障

银行的审批关卡原本是为每年仅变更数次的系统设计的。生成式 AI 应用则会随着每次提示词更新、模型版本迭代和新数据源接入而发生变化。随着它们承担更多自主任务,需要证据支持的决策数量不断增加。单纯增加审核人员无法跟上这种变化速度。

Standard Bank Group 的做法指向了一种不同的运营模式。当政策转化为测试、证据实现自动收集后,治理便不再只是交付末期的一个检查关卡,而是融入系统本身。项目组合中的每个 AI 应用都可以保有一份最新且可审计的记录,说明其如何符合银行标准,并在代码或配置发生变化时刷新。风险团队可以把时间用于需要专业判断的事项和政策设计,银行也可以向监管机构出示其自身决策所依据的同一套证据。

同一基础还可以进一步扩展。持续重新评估能确保上线后的证据始终与不断变化的代码库保持一致。新法规可以一次性编码为检查项,并应用于所有用例。汇总评分可让董事会全面了解整个企业的 AI 风险,而不再只能查看一系列彼此独立的审核结果。

对于任何正在规模化应用 AI 的机构,都值得思考一个问题:其政策中有多少曾经针对实际运行的系统接受过测试?若要了解 AWS Professional Services 如何帮助贵组织实现 AI 风险评估自动化,请联系您的 AWS 客户团队。若要进一步了解如何在 AWS 上负责任地构建 AI,请访问 AWS 上的负责任 AI.


关于作者