Article · AI translation
本文由 AWS 的 Tala Qraitem 和 Standard Bank Group 的 Duncan Macdonald 合著。制定 AI 政策是一回事;逐个用例证明 AI 系统遵守政策是另一回事。每增加一个生成式 AI 应用,就多了一个需要证明符合政策的系统。如今团队可以在几天内构建一个应用,但每个应用在面向客户或员工之前,仍须获得风险委员会批准。如果批准依赖审查人员阅读文件并手动测试系统,治理就会成为流程中最慢的环节。Standard Bank Group 选择将这一证明过程自动化。该银行与 AWS Professional Services 合作,部署了一套自动化评估方案,依据国际 AI 标准及自身政策对每个生成式 AI 用例评分。评估生成报告和仪表板,展示已采取的措施、哪些措施运作良好,以及哪些方面仍需缓解风险。本文介绍这项评估如何在 AWS 上运行,以及 Standard Bank Group 从最初几次运行中学到了什么。
利用现有框架治理 AI
Standard Bank Group 不需要制定新的 AI 政策。与大多数大型银行一样,它已有成熟的模型风险管理实践,涵盖可解释性和公平性等问题,也有变更风险流程,在每个新用例上线前按其风险级别进行评估。生成式 AI 增加了复杂性,因为模型和工具每 3 至 6 个月就会变化,但每个用例仍须达到同样严格的安全与合规标准。
“在 Standard Bank,这项评估表明我们如何与 AWS 合作,将智能化、自动化的风险管理融入我们的 AI 发展进程,使我们能够加快创造切实的业务价值,同时维持银行业所要求的信任和管控。我们认为,负责任的 AI 并非要放慢创新,而是让创新能够有信心地推进和扩大规模。”——Standard Bank Group 集团首席信息与 AI 官 Jorg Fischer
目标是自动收集证据并开展测试,再将结果送入 Standard Bank Group 现有的审批关口。审查和批准仍由风险委员会负责,但委员会现在依据以相同方式跨用例收集的一致证据作出每项决定。
评估如何运作
图 1 展示了评估方案的各个组件如何在 Standard Bank Group 的 AWS 账户中协同工作,涵盖从受理、评估到报告的全过程。
图 1:Standard Bank Group 的 AWS 账户中的评估流程,从受理到评估再到报告
评估完全在 Standard Bank Group 自己的 AWS 账户中运行。文档、代码和测试结果都保存在该账户中的 Amazon Simple Storage Service(Amazon S3)存储桶里。AWS Well-Architected Tool 负责受理,AWS Step Functions 编排流程,Amazon Bedrock 上的基础模型评估证据。它采用一种称为“LLM 作为评判者”的技术,即由大语言模型依照既定标准检查证据。借助 Amazon Bedrock,Standard Bank Group 可以在不脱离其现有 AWS 管控措施的情况下使用基础模型。该银行通过 AWS Identity and Access Management(IAM)控制模型访问权限,方式与管理其他 AWS 工作负载相同。Amazon Bedrock 不会与模型提供商共享该银行的提示词或模型输出,也不会用它们训练模型。由于 Amazon Bedrock 通过一个 API 提供多种基础模型,团队只需更改一项配置设置,就能换用更新的评判模型,而无须重建流程。
每次评估都经过 4 个步骤。前 2 步中,预评估代理收集有关用例的证据,随后流程检查这些证据并直接测试应用。第 3 步依照控制要求评估证据。第 4 步以标准的预定义格式汇总结果,并将其交付给负责采取行动的人员。
步骤 1:预评估代理收集证据
Well-Architected Tool 中的自定义透镜包含约 40 个问题,每个问题对应一个风险事件,例如技术文档不完整或人工监督不足。交付团队不再需要从头填写。运行在 AWS Fargate 上的预评估代理扫描用例的代码仓库和文档,将相关文件对应到各个问题,并预先填入答案及证据链接。随后,交付团队审查这些答案、纠正错误,并补充代理未能找到的证据。
步骤 2:流程检查材料并测试应用
流程使用 4 类证据。系统文档描述应用如何设计、构建和评估。政策文件规定角色、职责以及事件处理等程序。源代码和系统提示词展示控制措施如何实现。对应用发起的实时调用展示其实际行为。
对于文档和代码,流程检查每份材料是否包含其对应控制要求的内容。每项控制要求都来自国际 AI 标准或框架,或 Standard Bank Group 自身的政策。例如,事件处理程序需要说明如何报告事件。
在实时测试中,流程通过应用的 AWS Lambda 函数或 API 调用应用。交付团队提供典型用户会提出的问题。流程还会加入一组内置的越狱尝试和偏离主题的问题,预期应用会拒绝这些请求。它还会以原始措辞和改写措辞多次发送同一提示词,并使用 Amazon Bedrock 上的嵌入模型检查答案在含义上是否保持一致。如果团队提供了预期答案,流程就会衡量响应与预期答案的接近程度。每条响应都会存储在 Amazon S3 中,供审查人员查看应用究竟生成了什么。
步骤 3:依据标准进行“LLM 作为评判者”评估
在这一步,Amazon Bedrock 上的基础模型担任评判者。评估直接使用该模型,不进行微调或定制。(可用模型因 AWS 区域而异,因此部署前请查看各区域支持的模型。)对于每个问题,模型检查特定证据是否出现在材料和应用响应中,并回答“是”或“否”。每项检查都对应国际 AI 管理、AI 风险或 AI 安全标准或框架中的一项控制要求。Standard Bank Group 还根据自身标准编制评判问题,定制了该透镜,使问题总数超过 300 个。
这些检查涵盖下表所列的 AWS 负责任 AI 的 8 个维度:
维度|评估寻找的内容 真实性与稳健性|即使面对意外或对抗性输入,也能给出正确输出 隐私与安全|恰当地收集、使用和保护数据及模型 透明度|帮助利益相关方就如何使用 AI 系统作出知情选择的信息 公平性|考虑对不同利益相关方群体的影响 安全性|防止有害输出和滥用 可控性|监测和引导系统行为的机制 治理|覆盖 AI 供应链(包括提供商和部署方)的最佳实践 可解释性|理解和评估系统输出的方法
每项风险都有一个可能性分数,即模型未能找到的所需证据所占比例;另有一个固定的严重程度等级,银行风险团队可以调整。两者共同形成从“极低”到“严重”的评级。每项缺失的证据都对应一项具体缓解措施,以及其所依据的标准或政策条款。风险主管在向监管机构解释决定时,可以据此将任何发现追溯到来源。图 2 展示一项缺失证据如何经过这一流程,从证据请求到建议的修复措施。
图 2:如何将一项发现从证据追溯到修复措施
Standard Bank Group 通过两种方式保护和核查评估输出。每次 AI 模型交互都受到 Amazon Bedrock Guardrails 保护,确保符合该银行既有的安全和负责任 AI 标准。评估中的模型调用会经过银行对其 AWS 账户中的 AI 工作负载统一实施的相同防护措施。这些防护机制会筛查有害内容和操纵模型的企图。
评估的设计也使其输出可供核查。流程不要求模型给出开放式意见,而是提出范围明确的“是”或“否”问题,每个问题的措辞都与一项具体控制要求对应。风险团队可以检查的一套固定公式将这些答案转化为分数。每项评估都会运行多次,以衡量答案的一致性;任何不一致的发现都会在审查界面中标记出来。每项判断都与其依据的证据一并存储,供审查人员和审计人员追溯判断是如何作出的。
步骤 4:面向不同受众的报告
流程以标准格式汇总结果,并交付高管演示文稿、缓解措施清单、详细技术报告,以及跟踪各用例分数随时间变化的 Amazon CloudWatch 仪表板。在作出审批关口决定之前,审查人员会在支持单点登录的自定义审查界面中确认发现。他们可以在那里添加用例、审查问题、附上业务理由修改答案,并改写输出内容。评估提供与控制要求相对应的证据。它不对是否符合任何法规提供认证,Standard Bank Group 仍负责自行作出监管合规判断。
依据 Standard Bank Group 自身规则进行测试
国际标准为每个用例提供共同基线,但银行的风险委员会依据自身政策批准用例。一个“问题工厂”通过从内部文档生成额外的评判问题来解决这一点。Standard Bank Group 的风险团队用它将内部政策转化为针对每个用例运行的检查。由于这些检查直接源自政策措辞,政策变更也就成为测试变更。此后的每次评估都会自动应用更新后的规则,风险团队只需进行极少的手动返工。
“大多数组织将政策视为供人阅读的内容。Standard Bank Group 则将其视为可以运行的内容。当每条规则都成为针对运行中的系统执行的一项检查时,政策更新就不再只是一份备忘录,而成为一项测试。这从根本上改变了银行负责任地扩大 AI 应用规模的速度。”——AWS Frontier AI Science & Engineering 总监 Sri Elaprolu
融入用例生命周期
评估融入用例生命周期的 3 个阶段。在概念验证阶段,评估是可选的,帮助团队及早发现潜在缺口。在构建阶段,评估成为强制要求,审批关口将其结果用作正式证据。目前,该评估在 Standard Bank Group 的生产环境中运行,在用例上线前进行评估。实时工作负载接入后,评估将按计划定期重新运行,或在代码或配置变化时重新运行,使证据在上线后长期保持最新。该银行的团队已经可以通过一个中央系统自行触发评估;在该系统中,用例通过单一工作流程从受理进入评估。
这对金融机构意味着什么
在 Standard Bank Group,这项评估将传统上需要手动开展、耗时 2 周的审查缩短为约 2 小时即可生成一份全面的风险报告,这一成果已在 6 次评估中得到验证。整改后,用例风险评分也提高了 14%。这加强了负责任 AI 治理,减少了合规瓶颈,并缩短了从评估到投入生产的路径。
这种方法可以让参与批准 AI 用例的 3 类群体受益:风险与合规负责人针对每个用例获得格式一致的证据,并能将其追溯至已发布的标准或内部政策条款。可以像 Standard Bank Group 一样,从现有框架、风险流程和审批关口入手。交付团队在概念验证阶段就能知道需要修复什么,此时修改成本最低,而不必等到审批关口遭到否决。高管可以扩大 AI 应用组合的规模,而无须让审查工作量以同样速度增长。
“在整个企业大规模采用 AI,需要赢得内部以及客户的信任。这项评估正被证明是关键,它让我们所有产品团队都能够表明,他们正在构建符合我们自身及行业最佳实践的企业级解决方案。”——Standard Bank Group 首席技术官 Duncan Macdonald
从审批关口走向持续保障
银行设计审批关口时,系统每年只变化几次。生成式 AI 应用则会随着每次提示词更新、模型版本变化和新数据源的加入而变化。随着这些应用承担更多自主任务,需要证据支持的决定也不断增加。增加审查人员无法跟上这样的变化速度。
Standard Bank Group 的做法指向另一种运营模式。当政策变为测试、证据得到自动收集时,治理便从交付末端的一个检查点进入系统本身。应用组合中的每个 AI 应用都可以保有一份当前有效、可审计的记录,说明其如何满足银行标准,并在代码或配置发生变化时更新。风险团队将时间用于需要判断的决策和政策设计,银行也可以向监管机构出示与内部决策所依据的相同证据。
同一基础还可以进一步扩展。持续重新评估能使证据在上线后与不断变化的代码库保持一致。新法规可以一次性编制成检查,并应用于每个用例。汇总分数让董事会从企业整体层面了解 AI 风险,而非只看到一组单独的审查结果。对于任何正在扩大 AI 应用规模的机构,一个值得提出的问题是:它的政策中有多少曾针对运行中的系统接受过测试。
如需了解 AWS Professional Services 如何帮助贵组织实现 AI 风险评估自动化,请联系您的 AWS 客户团队。如需进一步了解如何在 AWS 上负责任地构建 AI,请访问 Responsible AI on AWS。
关于作者
Tala Qraitem
Tala 是 AWS Professional Services 的高级安全顾问。他们通过将法规和内部政策转化为风险团队可测试的控制要求,帮助金融机构安全地将 AI 系统投入生产。Tala 领导了与 Standard Bank Group 合作的负责任 AI 工作,并担任本文所述评估能力的安全负责人。他们与该银行的风险和交付团队合作,将评估融入银行批准新 AI 用例的流程。
Duncan Macdonald
Duncan 是 Standard Bank Group 的集团首席技术官,领导该银行的技术赋能与创新。在过去 4 年领导该组织大规模采用云技术之后,他如今推动全行采用生成式 AI,为应用团队提供平台、治理框架和运营防护措施,使其能够有信心且负责任地创新。Duncan 认为,只有让团队具备为自身成果负责的能力,而不是等待别人指示什么可以安全地构建,才会发生有意义的变革。