aifollow.news
Back AWS 机器学习博客
AWS 机器学习博客· · Original publication time AI score34

Amazon Bedrock Guardrails publishes guide to writing Denied TopicsMachine translation

Amazon Bedrock Guardrails 发布拒绝主题编写指南

AI-assisted summary

The Amazon Bedrock Guardrails guide outlines eight practices for defining Denied Topics around user intent and specific actions, testing boundary cases for unintended blocks, and retesting after topic changes. It cautions that results for borderline inputs can vary even with the same configuration.

Article · AI translation

借助 Amazon Bedrock Guardrails 中的“拒绝主题”(Denied Topics),你可以用自然语言描述一个内容类别并将其屏蔽;防护规则会根据语义而非关键词,将该描述应用于每个请求。但同一机制也可能匹配超出你预期的内容。一个名为“Finance”(金融)的主题本意是避免助手提供投资建议,却也会拦截“我的工资直接存款什么时候到账?”。与主题含义相近的输入也可能被拦截,而不只是你原本想拦截的请求。当“拒绝主题”拦截得过多或过少时,原因通常是以下 4 种主题编写模式之一:拦截合法查询的主题。如果主题围绕某个领域(金融、法律、薪酬)而非用户意图来定义,就可能匹配语义上接近该领域的查询。这是一种常见的失效方式。漏掉原本要拦截的请求的主题。由关键词列表构成的定义(“诸如投资、投资组合、股票等词”)会漏掉使用其他词汇的表述,也会因无关输入碰巧包含这些词而触发。传递错误界限的示例。同一种想法的 5 种改写无法覆盖主题的边界;点名特定国家、产品或公司的示例,还会将这些实体纳入主题的语境。相互干扰的主题。重叠的定义会争相匹配同一输入,报告匹配结果时可能不一致,并且可能共同拦截任何一个主题单独存在时都不会拦截的输入。本文其余部分将提供避免这些模式的实用指南,介绍 8 项最佳实践,帮助你足够精确地描述主题,使防护规则拦截你想拦截的内容,并放行你不想拦截的内容。场景:AnyCompany Bank 的客户助手。为了让以下实践有一个具体背景,本文始终使用同一个示例:一家名为 AnyCompany Bank 的虚构银行。距离推出首个面向客户的 AI 助手还有 2 周,而 AnyCompany Bank 的第一版“拒绝主题”策略正在拦截不该拦截的内容。应用场景:AnyCompany Bank 的聊天机器人嵌入在 AnyCompany Bank 的移动应用和网页应用中,回答有关账户、对账单、转账、银行卡和抵押贷款的问题。对于账户变更、争议申诉以及超出其职责范围的问题,它会转交人工处理。必须拦截的清单(来自法律与合规团队):个性化投资建议(这是一条监管界限,因为 AnyCompany Bank 未通过这一渠道注册为投资顾问)。针对与 AnyCompany Bank 的争议提供法律咨询或诉讼指导。内幕交易建议(金融建议中的一个特定类别,有其自身的监管分量)。关于如何制造武器的说明(普遍适用的安全要求,并非特定领域要求)。提示词注入或越狱尝试(这是另一类信号,因为请求试图覆盖助手自身的指令)。在 AnyCompany Bank 的输出中重复提及具名的竞争对手产品。必须放行的清单(助手的职责所在):有关账户余额和对账单的问题。转账操作说明、贷款结清金额报价、托管账户相关问题。银行卡管理、欺诈报告(转交人工处理)、遗失银行卡补办。抵押贷款服务事项,例如贷款条款修改、暂缓还款和还款计划。一般性的金融知识问题(“什么是存款证?”),以知识普及而非个性化建议的方式提出。根据这一目标,AnyCompany Bank 团队最初拟定了 4 个主题,而它们目前都在拦截合法查询:Finance(金 融)→ 拦截“我的工资直接存款什么时候到账?”;Legal(法律)→ 拦截“你能帮我修改抵押贷款条款吗?”;Fraud(欺诈)→ 拦截“我的银行卡在加油站被盗刷了,我该怎么办?”;Competitors(竞争对手)→ 拦截任何提及竞争对手产品的内容,包括客户比较不同选项的问题。这些主题无一例外都以助手工作所涉及的领域命名,而不是以银行需要拒绝的意图命名。本文其余部分讨论的就是如何解决这个问题。 接下来的8个小节逐一介绍这些实践,其中大多数以“回到 AnyCompany Bank”小节结尾,展示如何将修正方法应用于这一场景。文章最后说明,无论你多么严格地遵循这些实践,都需要预先考虑一个局限:结果并非完全确定。注意:Standard 层级中 Denied Topic 的结构。一个主题由3部分组成:名称、定义和最多5个示例;防护栏会将这3部分作为一个整体进行评估,而非只评估定义。名称最多可包含100个字符。定义最多可包含1,000个字符,实际使用中以100–300个字符为宜。每个示例最多可包含100个字符,一个防护栏最多可包含30个主题。最佳实践1:围绕用户意图而非主题领域来界定主题。这项实践确立了总体框架。最佳实践2至4依次将其应用于主题的各个部分:名称、定义和示例。主题误拦截合理查询的一个常见原因是,它描述的是某个领域,而不是用户希望通过对话获得什么。同一领域中的两个查询可能具有不同的意图。“我的工资直接存款什么时候到账?”和“L5 工程师的收入是多少?”都与薪酬有关,但只有后者是在比较薪资。按领域界定的主题会抹平这些区别,可能拦截语义上接近该领域的查询。围绕用户意图界定的主题则只匹配具有该意图的查询。意图是界定主题的视角。要将其落实到具体做法,应根据表面上体现该意图的特定行为或内容类型为主题命名,例如请求、主张或生成的内容。意图告诉你要识别什么,行为则为防护栏提供可评估的具体形式。防护栏会同时评估主题名称和定义。只要其中一个部分以领域命名,主题的匹配范围就会过宽。如果两者都指向体现特定意图的行为,主题就会更精准。指导原则:识别意图。用自己的话简要说明你想拒绝用户从助手那里获得什么,例如个性化建议、法律意见、私人联系方式或党派背书。这是诊断步骤,其措辞不会原样出现在主题中。根据表达该意图的行为为主题命名。使用描述特定行为的短语,而非宽泛的主题领域。这个短语可以是由行为衍生的名词(投资建议、薪资比较)、描述特定行为的名词短语(同事争执、护照和签证续期),或动词的 -ing 形式(起诉索赔)。详见最佳实践2。如果主题名称是类别名词(银行业务、薪酬、安全、法律、金融),那么该主题就是按领域界定的。应根据你真正想拦截的意图所对应的行为重新命名。改写定义,使其以行为开头。“询问 X”“请求 Y”“描述 Z 的陈述”或“生成 W”等开头都通过具体行为表达意图。避免使用“与 X 相关”“关于 Y 的内容”或“任何提及 Z 的内容”等按主题领域表述的开头。接下来的几项最佳实践将通过具体示例,把这一思路应用于 AnyCompany Bank 自己的主题。最佳实践2会重新命名这些主题,最佳实践3则会收紧其定义,使之与名称相符。最佳实践2:选择表述具体行为的主题名称。主题名称对匹配结果有实质影响,而且影响往往比预期更大。宽泛的类别名称(金融、安全、法律)可能使防护栏将主题与该类别的词汇关联起来,即使定义试图缩小范围也是如此。具体的行为名称(投资建议、黑客攻击操作说明、起诉索赔)有助于在读取定义之前先缩小范围。指导原则:优先使用描述具体行为的短语(2–5个词)。 避免使用单个词作为类别名称。只要短语描述的是具体行动或行为,而不是宽泛的主题领域,以下形式都可以使用:动作名词形式:以表示活动的名词为中心词,例如“投资建议”“黑客入侵指导”或“选举舞弊指控”。具体行为名词短语:指明具体行为的名词短语,例如“同事争执”“护照和签证续期”或“未成年人自我声明”。动词 -ing 形式:一个 -ing 形式的动词后接宾语,例如“起诉索赔”或“索取具名个人的联系方式”。当行动需要用动词才能表达清楚时,这种形式很有用。把名称读出来,问问自己:它描述的是用户正在做的事,还是仅仅是用户查询所涉及的主题领域?如果名称只指出一个主题领域,就重新命名。避免在名称中使用宽泛的机构类别词(政府、公司、保险),除非该行动具体针对这一机构。这类词可能造成意料之外的匹配。例如,名为“政府文件”的主题可能匹配同时提到国家名称和文件的查询,即使该查询实际上是在询问公司内部政策。回到 AnyCompany Bank。AnyCompany Bank 的一个初稿主题名为“法律”:名称:法律。这就是“你能帮我修改抵押贷款条款吗?”被拦截的原因。抵押贷款是法律文书,因此有关抵押贷款的查询在语义上与法律接近。在我们着手修改定义之前,重新命名就解决了一半的问题:名称:诉讼与非贷款服务类法律建议。新名称使用了由动词派生的名词(诉讼),指明了第 2 种具体行为(非贷款服务类法律建议),并通过对比明确表明,修改贷款条款、暂缓还款和托管账户等贷款服务问题不属于这个主题。如今,名称本身分担了一部分原本只能由定义承担的作用。AnyCompany Bank 对“欺诈”主题采用了同样的逻辑,将其改名为“欺诈调查请求”。助手仍应允许客户报告欺诈行为,并将报告转交给人工处理,但不得自行尝试调查欺诈指控。经过这 3 次更名,AnyCompany Bank 的主题列表如下:1. 投资建议(原名:金融)2. 诉讼与非贷款服务类法律建议(原名:法律)3. 欺诈调查请求(原名:欺诈)。最佳实践 3:编写以行动为范围的定义。定义应描述用户对具体对象采取的行动,而不是该行动所属的一般主题。指导原则:以行动或内容类型开头。定义的开头应使用指出用户正在做什么或生成什么的短语。当主题涵盖用户对某项具体行动的请求时,常见且有效的开头包括:“询问……”“索取……”“有关……的请求”“要求……”“寻求……”“推荐……”。当主题涵盖用户提供的内容、披露的信息或生成的输出时,常见开头包括:“表明……的陈述”“提供……”“生成……”“包含……的内容”。当主题涵盖某项具体技术或方法时,可以使用“使用 X 来 Y”。避免使用“与 X 相关”“关于 Y 的内容”或“任何提及 Z 的内容”等表示主题领域的短语开头,因为这些措辞以领域而非行动为框架。明确对象。用具体项目说明用户在询问什么,例如使用“个股、债券、ETF 或加密货币”,而不是“金融产品”等宽泛类别。增加用于区分的细节。如果两个主题使用相同的词汇(例如都涉及“客户”),就为每个定义加入独有特征,以便防护机制区分它们。含义重叠的定义会使两个主题相互干扰。保持正向表述。描述哪些内容属于范围之内。末尾简短的排除说明有助于消除歧义。关于排除说明会产生不利影响的情况,参见最佳实践 8。长度不是目标。 定义更长未必更好,而且更长的定义可能会提高主题对相邻主题措辞的敏感度。结构模板 我们建议采用以下结构:[动作或内容类型开头],针对[具体对象],并以[限定条件或目的]加以限定。包括[1或2个子情形]。回到 AnyCompany Bank AnyCompany Bank 最初的主题草案名为 Finance,定义也与之相符:名称:Finance 定义:任何与金钱、银行业务或金融产品有关的内容。这正是“我在哪里可以找到我的结清金额报价?”被拦截的原因。Payoff 是金融术语,quote 涉及金钱,而该输入又“与”金融领域“有关”,尽管客户的意图是获取一项贷款服务数据,与 AnyCompany Bank 想要拒绝处理的内容毫无关系。遵循最佳实践 1,团队将主题重命名为 Investment Recommendations,并调整定义中的用词以与之匹配,但此时尚未将定义限定于具体动作:名称:Investment Recommendations 定义:任何与投资、个人财务决策或证券交易有关的内容。尽管名称有所改进,定义仍以领域为框架。一般知识讲解(“解释一下什么是共同基金”)、历史金融新闻(“上个季度利率为什么上升?”)和投资组合查询(“显示我的持仓”)都会匹配。助手应当回答所有这些问题。团队套用了结构模板,使用动作开头、具体对象、限定条件以及1或2个子情形:名称:Investment Recommendations 定义:请求就为用户自身获取投资回报而买入、卖出或持有特定股票、债券、共同基金、ETF 或加密货币提供个性化建议。包括询问某种特定证券是否值得投资、请求提供投资组合配置百分比,或询问何时建立或退出某个特定头寸。模板的每个部分都有特定作用。“请求就……提供个性化建议”是动作开头。“股票、债券、共同基金、ETF 或加密货币”是具体对象。“为用户自身获取投资回报”是限定条件,用于排除教育性内容和有关第三方的讨论。“包括……”条款列出了2个子情形:关于特定证券的问题和关于配置百分比的问题。AnyCompany Bank 将同一模板应用于 Litigation and Non-Servicing Legal Advice 和 Fraud Investigation Requests 主题:名称:Litigation and Non-Servicing Legal Advice 定义:请求法律顾问意见、讨论提起诉讼,或寻求针对 AnyCompany Bank 或另一具名当事方的诉讼指导。包括请求解读法律权利、索取正式法律意见,或规划标准贷款服务范围之外的索赔。名称:Fraud Investigation Requests 定义:要求助手调查、裁定或解决疑似欺诈、未经授权交易或身份盗用案件。为转交人工客服而提交的欺诈报告不在范围内。此时,团队已有3个具名主题,其定义均限定于具体动作。最佳实践 4:使用边界示例,而不是改写同一说法 示例能教会防护机制识别主题的边界。但并非每个示例都同样有效。对同一想法换5种说法,不会让防护机制学到任何新东西;而精心挑选的5个示例,则能用少得多的定义文字勾勒出主题的轮廓。作用最大的示例是那些位于主题边缘的示例:它们与可能不匹配的输入足够接近,能向防护机制表明界线应划在哪里。我们称之为边界示例。好的边界示例有3个特点。首先,它属于主题范围。其次,它接近一个可能不匹配的输入,使用与主题不应匹配的输入相似的词汇或结构。第三,它在子情形、句式和用词上与其他示例不同。 指南:用满5个示例,因为5个各不相同的示例比2个显而易见的示例更有效。涵盖不同的细分情形。如果主题涵盖“买入”和“卖出”建议,就应包含两者的示例。涵盖不同的句式。包括直接提问(我应该买什么?)、祈使句(推荐一只股票)和陈述句(我正考虑把钱投进……)。包含1个接近主题边界但仍属于主题的示例,即一个处于匹配边缘的版本。除非主题本身就是关于某个特定实体,否则不要在示例中使用国家、产品、竞争对手或公司的名称。示例中的专有名称会建立关联,导致主题错误匹配提到同一实体的不相关查询。回到 AnyCompany Bank:团队为“投资建议”主题初次拟定的示例如下:示例:我应该买股票吗?我应该买哪只股票?这只股票值得买吗?哪些股票值得买?推荐几只股票。这是同一个问题的5种问法。在测试期间,助手能稳定拦截“我应该买股票吗?”。但它放过了“现在是把我的投资组合从股票转向债券的好时机吗?”,而这恰恰是该主题应该识别的问题。这些同义改写都集中在主题的一个点上,其他方面则没有得到覆盖。修改后的示例涵盖了不同的细分情形和句式:示例:我应该在财报发布前买入某只股票的100股吗?现在是把我的投资组合转向债券的好时机吗?我应该将多少百分比的资金配置到加密货币?我现在应该卖出指数基金还是继续持有?请推荐3只适合持有5年的成长股。这是5种不同的细分情形(特定股票、资产类别转换、资产配置、卖出时机、成长股筛选)和5种不同的句式,而且都属于该主题。相邻但不匹配的请求,例如“解释一下什么是 ETF”(知识讲解)和“给我看我的投资组合报告”(数据检索),与这些示例有足够区别,防护规则不应将其匹配。团队对“诉讼及非服务范围内的法律建议”和“欺诈调查请求”也采取了同样的处理方式。原来的“诉讼”示例全是“我能起诉吗?”的变体。修改后的示例涵盖提起诉讼、正式法律意见、集体诉讼咨询、损害赔偿以及权利解释。原来的“欺诈调查请求”示例全是“有人偷了我的钱,我该怎么办?”的变体。修改后的示例涵盖未经授权的扣款调查、银行卡欺诈追查、交易撤销、身份盗窃认定以及诈骗者追踪。每组修改后的示例都涵盖同一主题内的5种不同细分情形。至此,AnyCompany Bank 的3个主题通过了迄今编写的全部测试。还有一个问题,只有在助手处理真实流量后才会显现。最佳实践5:必要时将定义锚定到具体情境。有些概念本身就含糊,因为同样的词语可能描述匹配或不匹配的行为,具体取决于情境。在这些情况下,添加明确的限定条件来确定情境:机构场景、明确的目的,或“仅当 X 和 Y 同时存在时才适用”这样的双重条件。指南:添加行为发生的实体场所或机构情境。对于护照主题,可以限定为“在大使馆或领事馆”或“通过政府官方申请流程”。添加目的限定条件。对于投资建议主题,可以限定为“为了用户自己的投资收益”,从而排除知识讲解或关于第三方的讨论。单一限定条件不足时,使用双重条件:“仅当请求(1)明确提及创建广告活动,并且(2)指定个人身份识别数据作为定向投放标准时才适用。”限定条件应采用肯定表述(“在 X”“为了 Y”),而不是“除了……”或“但不包括……”。 正向限定条件描述主题是什么。要知道何时不该添加限定条件。如果主题本身已经足够狭窄(例如专门关于“内幕交易”的主题,因为这个词组本身含义明确),额外的限定条件只会引入干扰。也要避免用出现在许多无关查询中的专有名称来限定主题(如“在印度”“在亚马逊”)。应改用类别(如大使馆、领事馆)作为限定条件。检查主题名称本身是否重复了有歧义的表述。以无害、教育性方式询问同一概念时,往往也会使用完全相同的词组。护栏会将主题名称视为独立于定义的信号(见最佳实践2)。即使设置了双重条件限定,也可能敌不过由它试图消歧的词语构成的名称。回到AnyCompany Bank。添加一个内幕交易主题暴露了歧义问题。合规团队希望将“内幕交易建议”设为一个独立主题,比笼统涵盖投资建议的“投资建议”主题范围更窄,性质也更严重。初稿如下:定义:询问是否应根据内幕信息买入或卖出某种特定证券。这涵盖了预期情形:客户根据非公开信息寻求交易建议。但它也涵盖了团队未预料到的情形:以提问形式出现、关于内幕交易是什么的知识性查询。“SEC如何定义内幕交易?”也会被拦截,因为它“询问了内幕交易”。团队添加了双重限定条件:名称:内幕交易建议。定义:询问是否应根据有关发行公司的重大非公开信息买入或卖出某种特定证券,或寻求在已知即将发布的公告之前进行交易的建议。仅当请求(1)指出某种特定证券,并且(2)描述用户声称掌握的一项具体非公开信息时适用。这两个条件本应排除知识性查询:它们不满足条件2,因为它们没有描述用户本人掌握的非公开信息。团队用“SEC如何定义内幕交易?”测试这个定义时,发现它有时仍会被拦截。问题不在限定条件,而在主题名称:它重复了查询中使用的完全相同的词组。护栏会将名称作为独立于定义的信号加以权衡,这与最佳实践2在其他地方描述的效果相同。双重条件限定即使准确规定了适用条件,也仍可能敌不过由其试图消歧的词语构成的名称。于是团队保留了限定条件,转而将主题重命名为:名称:利用非公开信息交易。重命名后,知识性查询能够稳定通过,而真正符合条件的例子,即指出某种特定证券和一项具体非公开信息的查询,仍会被拦截。该定义比最佳实践3提出的100–300字符目标更长,这是有意为之。这里的歧义使额外文字成为必要。这个主题本身就很微妙,因此定义必须承担更多区分工作。最佳实践6:管理主题重叠和主题数量。护栏会综合评估其所有主题,而不是逐一独立评估。当两个主题含义相近时,它们会相互干扰。这样就很难预测护栏会将哪个主题报告为匹配项,而且两者的共同作用可能拦截单独使用任何一个主题都不会拦截的正当输入。主题之间的重叠往往是一个写得很好的主题产生错误结果的原因。问题不在这个主题本身,而在相邻的主题。指南:部署前检查整个主题集合是否存在重叠。两个定义相近的主题即使各自都没有问题,也会造成干扰。每添加一个新主题,都要检查其定义是否与现有主题使用相同词汇或涉及相同对象。要注意主题数量会影响干扰程度。单个护栏中的主题越多,主题之间发生干扰的可能性也越大,尤其是在多个主题共用词汇或涵盖相关领域时。 如果你发现主题之间相互干扰,而定义本身看起来正确,可以考虑减少主题之间的重叠,或将主题分配到多个防护规则中。一个防护规则内应尽量保持主题在语义上的多样性。如果有几个主题涉及相关领域(例如,3 个与金融相关的主题),应考虑它们是否适合放在同一个防护规则中,还是应该分开。两个主题有重叠时,优先合并,而不是拆分。对于定义中涉及相同对象和行为的两个主题,合并比试图在它们之间划出狭窄的界限更稳妥。出现新用例时,优先扩充现有主题的示例,而不是添加一个几乎重复的新主题。添加新主题会改变防护规则对整个主题集合的理解,而扩充某个主题的示例则不会。将语义相近的主题在列表中隔开放置。如果两个措辞相似的主题紧挨着出现,防护规则就更可能将输入归到它最近看到的那个主题。交错排列列表,在相关主题之间插入一个不相关的主题。回到 AnyCompany Bank 的例子。假设在流程后期,AnyCompany Bank 的合规团队提议在已经定义的“投资建议”主题之外,再增加一个范围更广的“财务建议”主题。他们的直觉是,范围更广的主题可以捕捉到具体主题遗漏的请求。团队分别起草了两个主题的定义:主题 A:名称:财务建议。定义:请求就金钱、投资或个人财务决策提供建议。主题 B:名称:投资建议。定义:请求针对买入、卖出或持有特定证券提供个性化建议……团队测试“我应该向我的 401(k) 账户投入更多钱吗?”时,重叠问题显现出来。根据调用方在 API 请求中排列主题的顺序,主题 A、主题 B 或两者都可能报告匹配;在某些排列顺序下,防护规则还会阻止该输入。AnyCompany Bank 将主题合并了。团队移除了“财务建议”,保留“投资建议”来涵盖这一具体行为。合并后,随排列顺序变化的结果差异消失了。无论主题在 API 调用中位于何处,相同输入都会得到相同判定;这是消除重叠带来的主要收益。不过,仅靠合并并没有完全解决 401(k) 查询的问题。由于“我应该向我的 401(k) 账户投入更多钱吗?”与真正的交易建议具有相同的“我应该投入更多……”句式,“投资建议”在表面上仍会与之匹配。这是一个仅靠合并无法解决的残余边界情况。它正是最佳实践 8 所警示的那类结构相似的匹配:放在末尾的排除条款无法可靠地覆盖这种匹配。团队还重新排列了其余主题。原来的顺序是:1. 投资建议 2. 利用非公开信息交易 3. 诉讼及非服务相关法律建议 4. 欺诈调查请求。主题 1 和主题 2 都涉及证券,并涵盖相关的金融行为,因此相邻排列容易让边界模糊的输入出现归属歧义。团队将它们交错排列:1. 投资建议 2. 诉讼及非服务相关法律建议 3. 利用非公开信息交易 4. 欺诈调查请求。现在,“诉讼及非服务相关法律建议”位于两个与证券相关的主题之间。像“我应该根据传闻交易我的 Example Corp 股票吗?”这样的边界问题,现在会更稳定地归入“利用非公开信息交易”,而不会在“利用非公开信息交易”和“投资建议”之间摇摆。最佳实践 7:针对具体任务使用合适的策略。当你需要执行的规则针对你的业务,并且可以用一段简短的内容描述来表达时,“被拒绝的主题”就是合适的工具。 应将其视为一条监管界线、一项政策承诺、一种法律风险或一个范围边界,而不是通用的安全类别或固定的词语清单。Guardrails 提供多种政策,它们都旨在拦截特定内容,但各自针对不同类型的信号而设计。对于另一项政策原本就能处理的类别使用 Denied Topics,往往会拦截过多或过少的内容,使配置更加复杂,并导致效果变差。对于 Content Filter 已覆盖的类别,即使精心编写主题,通常也不如直接对该类别使用 Content Filter 有效。请注意,在同一个 guardrail 中启用多项政策会产生额外费用,因为每项启用的政策都会针对每个请求进行评估。将 Denied Topics 与 Content Filter 或 Prompt Attack 组合使用时,应考虑合计成本。何时使用各项政策:要捕捉的内容|合适的政策|常见错误。宽泛的安全类别(仇恨、侮辱、暴力、色情、不当行为)|Content Filter|创建名为 Hate Speech 或 Violence 的 Denied Topics 主题。提示词注入、越狱尝试|Prompt Attack|创建名为 Jailbreak 或 Instruction Override 的 Denied Topics 主题。需要始终拦截的特定词语、短语或产品名称|Word Filter|创建名为 Blocked Terms 或 Competitor Names 的 Denied Topics 主题。个人身份标识信息(姓名、电话号码、SSN、信用卡)|Sensitive Information filter|创建名为 PII Detection 的 Denied Topics 主题。针对自身业务或政策的自定义内容类别|Denied Topics(这是正确用法)。还需要类似 Content Filter 覆盖能力的自定义内容类别|组合使用 Denied Topics 和 Content Filter|试图仅用 Denied Topics 复现 Content Filter 的功能。回到 AnyCompany Bank。回顾 AnyCompany Bank 的必拦截清单(见文章开头的情景),其中 6 项里有 3 项其实根本不属于 Denied Topics。它们应由 Guardrails 已原生提供的政策处理。“如何制造武器的描述”属于通用安全类别,而非银行特有的政策。它应移至 Content Filter → VIOLENCE,并将强度设为 HIGH。“重复提及特定竞争对手产品的名称”需要精确字符串拦截,而非语义匹配。它应移至 Word Filter,将竞争对手名称作为字面条目添加。(AnyCompany Bank 的初稿主题清单中确实有一个为此设置的 Competitors 主题。该主题被删除,因为 Denied Topics 会评估语义,可能匹配对竞争对手名称的普通提及,却漏掉改写后的表述。)“提示词注入或越狱尝试”则属于完全不同的信号。用户试图覆盖助手自身的指令,而不是询问某个领域的问题。它应移至 Prompt Attack。完成这项整理后,AnyCompany Bank 的 guardrail 配置组合了多项政策:Content Filter:HATE 强度:HIGH;INSULTS 强度:HIGH;SEXUAL 强度:HIGH;VIOLENCE 强度:HIGH;MISCONDUCT 强度:HIGH。Prompt Attack:已启用。Word Filter:自定义词语:[竞争对手产品名称列表]。Denied Topics:1. Investment Recommendations;2. Litigation and Non-Servicing Legal Advice;3. Trading on Non-Public Information;4. Fraud Investigation Requests。Denied Topics 只承载其他政策无法表达的 4 条银行特有规则。最佳实践 8:避免以下反模式。即使主题定义的其余部分写得很好,以下模式仍会导致主题拦截错误的输入。应避免这些模式。其中大多数是前面最佳实践中已给出指导的具体情形,因此以下每一项都指向完整论述所在的位置。将定义写成对 guardrail 的指令(“拦截所有与……相关的内容”),而不是对主题的描述。参见最佳实践 3。主要通过排除哪些内容来界定主题(“除……之外的所有内容”),而不是描述主题本身是什么。参见最佳实践 3。 列举触发词(“包含……之类词语的问题”),而不是描述概念。参见最佳实践 1 和最佳实践 3。使用“拒绝主题”来屏蔽特定词语、短语或实体类型,例如竞争对手名称或人名。应改用“词语过滤器”或“敏感信息”过滤器。参见最佳实践 7。在示例中提及国家、产品、竞争对手或公司,除非该主题本身就涉及该实体。参见最佳实践 4。编写只是改述定义、而没有标明其边界的示例。参见最佳实践 4。编写含糊的定义,依赖示例来传达含义。参见最佳实践 3 和最佳实践 4。末尾排除条款:一项提醒和一般指南。简短的末尾排除条款并非解决所有误拒问题的通用办法。它能可靠地排除与主题在类别上不同的查询,例如意图不同、提问者不同或内容类型不同的查询。但如果一个无害查询的措辞与定义中的肯定性表述几乎完全相同,只是涉及不同对象,排除条款就不那么可靠。在这种情况下,排除条款会与措辞和它非常相似的表述相抗衡,而匹配结果往往占上风。对于这种结构相似的情况,应优先采用以下 3 种替代方案之一:在定义中设置双条件锚点,直接点明容易混淆的情况(参见最佳实践 5)。重新命名,将区分条件直接纳入主题名称,使其在阅读定义之前就清晰可见(参见最佳实践 2)。设置上游意图路由步骤,在 Guardrails 处理之前将模糊情况交给专门的流程。对于其他所有情况,末尾排除条款仍是正确的首选。只有测试表明排除条款无法胜过几乎相同的匹配表述时,才采用这 3 种方案之一。局限性:结果并非完全确定。即使一项护栏遵循本文的所有实践,也无法保证对所有可能的输入都产生完全确定的结果。“拒绝主题”使用语言模型理解含义,而语言模型的评估存在一定的固有波动。你需要为这类波动的 2 种形式做好准备。重复完全相同的请求时出现的波动。对完全相同的护栏配置连续发送 2 次完全相同的输入,极少数情况下可能产生不同结果。输入的字符相同,适用的主题列表相同,一切都相同,但一次调用会被拦截,下一次却会通过。对于大多数输入,以及遵循前述指导制定的主题,这种情况不会发生,重复调用的结果是稳定的。例外是边界情况:输入的含义接近某个主题的语义边界。这些输入在重复测试时容易出现结果翻转。主题定义得越精确(限定行为、明确具体对象、设置清晰锚点和边界示例),落入这一边界区域的输入就越少。主题列表变化时出现的波动。护栏在每次请求中都会结合输入一起评估所有主题。对主题列表的更改,例如添加主题、删除主题或调整相同主题的顺序,都可能改变先前测试过的输入的结果。在一个主题列表下被拦截的输入,换用另一个列表后可能通过。当 2 个主题的含义有重叠,或某个主题的定义过于宽泛时,这种情况更常见。如果列表中的每个主题都有具体、限定行为的定义和清晰的边界示例,这种情况就会减少。应用本文的实践可以显著减少这 2 种形式的波动。如何做好应对规划。不要将单次评估视为正确性的证明。对于重要的输入,应多次测试,并将其放入一个小型、有代表性的评估集进行测试,而不是单独测试。评估集中应包含边界情况。这些输入最有可能在你做出更改后出现结果变化。应同时纳入明显匹配、明显不匹配和接近边界的情况。 更改主题集后重新测试。添加主题、重命名主题、调整定义或重新排列列表,都可能使先前表现符合预期的输入得到不同结果。对于正确性至关重要的输入,不要只依赖 Denied Topics。应将其与其他策略(Content Filter、Prompt Attack、Sensitive Information 过滤器)结合使用,避免在高风险决策中仅靠单一策略把关。设计产品时,要让错误拦截有补救途径。对于高风险主题,将被拦截的输入转交人工处理,允许用户改述,并记录带有原因代码的拦截事件,以便持续审查和改进主题集。注:本文中每一项通过或未通过的判断,均针对 Amazon Bedrock Guardrails(Standard 层级)进行了端到端测试;每条查询都重复多次,以确认结果稳定。要点回顾 本文的做法可归纳为8点:围绕用户意图来界定每个主题,并将意图表述为具体行动。判断用户想要获得什么,再以体现这一意图的行动命名主题,而不是以查询所涉及的领域命名。使用“投资建议”,而不是“金融”。编写定义时,描述主题是什么。以行动或内容类型开头,明确具体对象,加上限定条件,并包含1至2种子情形。最多使用5个边界示例。涵盖不同的子情形和句式。不要只是改写定义,并避免使用国家、产品和竞争对手的名称。用情境或目的为含义模糊的主题设定界限。使用机构场景(“在大使馆”)或目的限定语(“为用户自身的投资回报”)。如果单一限定条件不够,就使用双重条件。管理主题之间的重叠和主题数量。合并使用相同词汇的主题,在列表中将语义相近的主题隔开,并在更改后重新测试。为相应任务选用合适的策略。Denied Topics 适用于定制的、业务特有的主题。Content Filter、Word Filter、Sensitive Information 和 Prompt Attack 分别用于其设计所针对的类别。避免7种反面做法。用指令代替描述、仅从否定角度界定主题、列举关键词、捕捉实体、在示例中使用专有名称、示例只改写定义,以及使用占位式定义,都会使主题拦截错误的输入。要考虑到结果并非完全确定。保留一组边界情况评估数据,每次更改后重新测试,并设计产品,让错误拦截有补救途径。结论 Denied Topics 是一项强大的策略。借助它,无需训练分类器或手工编写正则表达式,就能用简短的自然语言定义描述定制的内容类别。这种能力的发挥,取决于是否按照护栏理解类别的方式来描述它:将其表述为用户针对特定对象采取特定行动的意图,而不是一个主题领域。只要界定方式正确,本文介绍的其他做法,如命名、定义、示例、限定条件、重叠管理和策略选择,就会自然地各得其所。要在自己的应用中采用这些做法:审查现有主题。对于每个主题,判断其名称描述的是行动还是主题领域。将描述主题领域的名称改为描述行动的名称。按照以下模板重写每个定义:[行动或内容类型开头],针对[具体对象],以[限定条件或目的]为条件。包括[1至2种子情形]。将所有不属于主题的信号交给合适的策略处理。把普遍适用的安全问题交给 Content Filter,把特定字符串交给 Word Filter,把标识符交给 Sensitive Information 过滤器,把越狱尝试交给 Prompt Attack。建立一组小型评估数据,既包含明显匹配的情况,也包含来自真实流量、接近边界但不匹配的情况。每次更改护栏后都重新测试。 如需开始使用,请访问 Amazon Bedrock Guardrails 控制台并查阅 Amazon Bedrock Guardrails 文档,了解完整的策略参考资料和 API 详细信息,包括 CreateGuardrail 和 ApplyGuardrail。关于作者 Jian Zhang:Jian 是一名高级应用科学家,运用机器学习帮助客户解决欺诈检测、图像生成等领域的问题。他为中国、美国和新加坡的客户构建了图神经网络解决方案,并曾就 GraphStorm、DGL 和 Amazon Neptune 发表公开演讲。最近,Jian 将工作重点扩展到 Amazon Bedrock Guardrails,帮助客户编写被拒绝主题,并评估防护机制在生产环境中的表现。Zheng Qi:Zheng 是 Amazon Web Services 的高级应用科学家,致力于开发帮助客户构建安全、负责任的生成式 AI 应用程序的技术。他热衷于可信 AI、基础模型的后训练以及自进化智能体。Cindy Tang:Cindy 是 Amazon Bedrock 团队的高级产品经理,主要负责 Amazon Bedrock Guardrails 的被拒绝主题策略。她热衷于帮助客户将安全控制措施应用于生成式 AI 应用程序。

Found an error? Send a correction