人工智能
在 Amazon Bedrock Guardrails 中编写拒绝主题的最佳实践在 Amazon Bedrock Guardrails 中, 拒绝主题让你通过用自然语言描述某个内容类别来阻止该类别,而护栏会按语义而非关键词将这一描述应用于每个请求。这一机制也可能匹配到超出你预期的内容。一个名为 Finance 的主题本意是让助手不涉及投资建议,却也会拦截“我的直接存款什么时候到账?”。与主题语义相近的输入都可能被捕获,而不只是你原本想要拦截的请求。
当拒绝主题拦截过多或过少时,原因通常是以下四种编写模式之一:
- 拦截合法查询的主题。围绕某个主题领域(Finance、Legal、Compensation)而非用户意图来构建的主题,可能匹配到语义上接近该领域的查询。这是一种常见的失败模式。
- 漏掉本应捕获的请求的主题。由关键词列表(“诸如 invest、portfolio、stock 之类的词……”)构建的定义会漏掉使用其他词汇的表述,并会误触发那些恰好包含这些词的不相关输入。
- 教错了东西的示例。对同一个想法的五个改写示例会让主题的边界无人守护,而点名具体国家、产品或公司的示例会把这些实体拉入主题的上下文。
- 相互干扰的主题。重叠的定义会争夺同一输入,报告匹配结果不一致,并且可能共同拦截任何一个主题单独都不会拦截的输入。
本文的其余部分是一份避免这些模式的实用指南。它提出了八条最佳实践,帮助你足够精确地描述主题,使护栏拦截你真正想拦截的内容,放行你不想拦截的内容。
场景:AnyCompany Bank 的客户助手
为了让以下实践有具体依托,我们在全文中使用一个贯穿始终的示例:一家我们称为 AnyCompany Bank 的虚构银行。AnyCompany Bank 距离推出其首个面向客户的 AI 助手还有两周时间,而它第一版拒绝主题策略正在拦截错误的内容。
应用:AnyCompany Bank 的聊天机器人嵌入在 AnyCompany Bank 的移动端和网页应用中。它回答有关账户、对账单、转账、银行卡和抵押贷款的问题。对于账户变更、争议申报以及超出其范围的问题,它会转交给人工处理。
必须拦截清单(来自法务与合规部门):
- 个性化投资建议(一条监管红线,因为 AnyCompany Bank 并未通过这一渠道注册为投资顾问)。
- 针对 AnyCompany Bank 的争议相关的法律意见或诉讼指导。
- 内幕交易建议(金融建议中一个具有自身监管分量的特定部分)。
- 如何制造武器的描述(通用安全,而非特定领域)。
- 提示注入或越狱尝试(一种不同类型的信号,因为该请求试图覆盖助手自身的指令)。
- 在 AnyCompany Bank 的输出中重复提及具体点名的竞争对手产品。
必须放行清单(助手存在的意义所在):
- 账户余额和对账单问题。
- 转账说明、还清报价、托管问题。
- 银行卡管理、欺诈报告(转交人工)、挂失补卡。
- 抵押贷款服务操作,例如贷款修改、宽限和还款计划。
- 一般性金融素养问题(“什么是定期存单?”),以教育而非个性化建议的形式表述。
对照这一目标,AnyCompany Bank 的团队最初起草了四个主题,它们目前都在拦截合法查询:
Finance → blocks "When does my direct deposit clear?"
Legal → blocks "Can you help me modify my mortgage?"
Fraud → blocks "My card was skimmed at a gas station, what do I do?"
Competitors → blocks any mention of a rival product, including customer questions comparing options
这些主题中的每一个都点明了助手所涉足的某个主题领域,而不是银行需要拒绝的意图。解决这一问题正是本文其余部分的内容。接下来的八节将逐一讲解这些实践,其中大多数以“回到 AnyCompany Bank”小节结尾,展示将该修复应用于此场景。文章最后以一个无论你多么遵循这些实践都需要预先考虑的限制收尾:结果并非完全确定。
注意: 标准层中的拒绝主题结构。一个主题由三部分组成:名称、定义和最多五个示例,护栏会将这三部分作为一个整体一起评估,而不是只评估定义。名称最长可达 100 个字符。定义最长可达 1,000 个字符,100–300 是实用的最佳区间。每个示例最长可达 100 个字符,一个护栏最多可容纳 30 个主题。
最佳实践 1:围绕用户意图而非主题领域来构建主题
这条实践设定了总体框架。最佳实践 2 至 4 依次将其应用于主题的各个部分:名称、定义和示例。
主题拦截合法查询的一个常见原因是,该主题描述的是某个主题领域,而不是用户想从这次交流中获得什么。同一领域中的两个查询可能承载不同的意图。“我的直接存款什么时候到账?”和“L5 工程师挣多少钱?”都涉及薪酬,但只有第二个是薪资比较。以领域为框架的主题会抹平这些区别,并可能拦截语义上接近该领域的查询。围绕用户意图构建的主题只会匹配存在该意图的查询。
意图是构建框架的透镜。为了使其可操作,请以在表面上表达该意图的具体动作或内容类型来命名主题,例如一个请求、一项主张或一段生成的内容。意图告诉你该捕获什么,动作则给你一个护栏可以评估的具体形态。
护栏会同时评估主题名称及其定义。当任一组成部分点明某个领域时,主题的匹配范围就过宽。当两者都点明表达特定意图的动作时,主题就是精确的。
指南
- 识别意图。用你自己的话简要说明用户试图从助手那里获得什么、而你希望拒绝的内容,例如个性化推荐、法律意见、私人联系方式或党派性背书。这是诊断步骤,它不会逐字出现在主题中。
- 以表达该意图的动作来命名主题。使用描述具体动作或行为的短语,而不是宽泛的学科领域。该短语可以是动作派生名词(Investment Recommendations、Salary Comparisons)、具体行为名词短语(Colleague Arguments、Passport and Visa Renewal),或动词-ing 形式(Suing for Damages)。详见最佳实践 2。
- 如果你的主题名称是类别名词(Banking、Compensation、Security、Legal、Finance),则该主题是按领域框定的。请以表达你实际想要拦截的意图的动作来重命名它。
- 重写你的定义,使其以动作开头。“Asking for X”、“Requests for Y”、“Statements that describe Z”或“Generating W”等开头语通过具体动作表达意图。避免使用“Related to X”、“Content about Y”或“Anything mentioning Z”等学科领域式开头语。
接下来的几条最佳实践将这一理念应用于 AnyCompany Bank 自己的主题,并给出具体示例。最佳实践 2 对它们重命名,最佳实践 3 收紧其定义以与之匹配。
最佳实践 2:选择可操作的主题名称
主题名称对匹配结果有显著影响,往往超出预期。宽泛的类别名称(Finance、Security、Legal)可能导致护栏将该主题与该类别中的词汇关联起来,即使定义试图缩小范围。具体的动作名称(Investment Recommendations、Hacking Instructions、Suing for Damages)有助于在读取定义之前就缩小范围。
指南
- 优先使用具体的动作或行为短语(2–5 个词)。避免使用单词类别标签。
- 只要短语描述的是具体动作或行为而非宽泛的学科领域,以下形式均可使用:
- 动作名词形式:以活动派生名词为中心词,例如 Investment Recommendations、Hacking Instructions 或 Election Fraud Claims。
- 具体行为名词短语:命名具体行为的名词短语,例如 Colleague Arguments、Passport and Visa Renewal 或 Underage Self-Statement。
- 动词-ing 形式:-ing 动词后接宾语,例如 Suing for Damages 或 Requesting Contact Details for Named Individuals。当动作需要动词才能表达清楚时,这种形式很有用。
- 将名称大声读出来,并问它描述的是用户正在做的事情,还是仅仅是用户查询所接近的学科领域。如果该名称只命名了一个学科领域,请重命名它。
- 避免名称中包含宽泛的机构标签(Government、Company、Insurance),除非该动作专门针对该机构。机构标签可能产生意外匹配。例如,名为 Government Documents 的主题可能会匹配提到国家名称加文档的查询,即使该查询是关于公司内部政策的。
回到 AnyCompany Bank
AnyCompany Bank 的初稿主题之一名为 Legal:
Name: Legal
这就是“Can you help me modify my mortgage?”被拦截的原因。抵押贷款是法律文书,因此关于它们的查询处于 legal 的语义邻域中。重命名在我们甚至还没触及定义之前就解决了一半问题:
Name: Litigation and Non-Servicing Legal Advice
新名称使用动词派生名词(litigation),命名了第二个具体行为(non-servicing legal advice),并通过对比明确表明服务类问题(如修改、宽限和托管)不在该主题范围内。名称本身现在承担了原本只能由定义独自完成的部分工作。
AnyCompany Bank 对 Fraud 主题应用了同样的逻辑,将其重命名为 Fraud Investigation Requests。助手仍应允许客户报告欺诈,这类请求会转交人工处理,但不得自行尝试调查欺诈主张。
经过这三次重命名后,AnyCompany Bank 的主题列表为:
1. Investment Recommendations (was: Finance)
2. Litigation and Non-Servicing Legal Advice (was: Legal)
3. Fraud Investigation Requests (was: Fraud)
最佳实践 3:编写以动作为范围的定义
定义应描述用户对特定对象的动作,而不是该动作的一般主题。
指南
- 以动作或内容类型开头。用命名用户正在做或正在生成什么的短语来开启定义。常见有效的开头语包括:
- “Asking for…”、“Requesting…”、“Requests for…”、“Requests to…”、“Seeking…”、“Recommending…”,适用于主题涵盖用户对特定动作的请求时。
- “Statements that…”、“Providing…”、“Generating…”、“Content that includes…”,适用于主题涵盖用户生成的内容、披露或生成的输出时。
- “Using X to Y”,适用于主题涵盖特定技术或方法时。
- 避免以“Related to X”、“Content about Y”或“Anything mentioning Z”等学科领域短语开头,因为这是按领域框定而非按动作框定。
- 明确对象。说明用户询问的是什么,使用具体项目而非宽泛类别,例如用“individual stocks, bonds, ETFs, or cryptocurrencies”而非“financial products”。
- 添加区分性细节。如果两个主题共享词汇(例如都涉及“customer”),请为每个定义赋予不同的特征,以便护栏能够区分它们。含义相同的定义会导致两个主题相互干扰。
- 保持定义为正向表述。描述什么在范围内。简短的尾部排除项有助于消除歧义。有关排除项有害的情况,请参见最佳实践 8。
- 长度不是目标。更长的定义不一定更好,而且更长的定义可能增加主题对相邻主题措辞的敏感度。
结构模板
我们推荐以下结构:[Action or content-type opener] for [specific objects] by [qualifying constraint or purpose]. Includes [one or two sub-cases].
回到 AnyCompany Bank
AnyCompany Bank 的初稿主题名为 Finance,其定义与之匹配:
Name: Finance
Definition: Anything related to money, banking, or financial products.
这正是“我在哪里可以找到我的结清报价?”被拦截的原因。Payoff(结清)是一个金融术语,quote(报价)涉及金钱,而该输入“与”金融领域“相关”,尽管客户的意图——获取一个贷款服务数据——与 AnyCompany Bank 想要拒绝的内容毫无关系。
按照最佳实践 1,团队将主题重命名为 Investment Recommendations(投资建议),并调整定义中的词汇以与之匹配,但尚未将其限定为动作范围:
Name: Investment Recommendations
Definition: Anything related to investing, personal finance decisions, or securities trading.
尽管名称有所改进,这仍然是以领域为框架的。通识教育(“解释什么是共同基金”)、历史金融新闻(“上个季度利率为什么上升?”)以及投资组合查看(“显示我的持仓”)都会匹配。助手本应回答所有这些内容。
团队应用了结构模板,包含动作开头语、具体对象、限定性约束以及一两个子案例:
Name: Investment Recommendations
Definition: Asking for a personalized recommendation to buy, sell, or hold specific stocks, bonds, mutual funds, ETFs, or cryptocurrencies for the user's own investment returns. Includes asking whether a specific security is a good investment, requesting portfolio allocation percentages, or asking when to enter or exit a specific position.
模板的每一部分都有特定用途。“Asking for a personalized recommendation to…”是动作开头语。“Stocks, bonds, mutual funds, ETFs, or cryptocurrencies”是具体对象。“For the user’s own investment returns”是限定性约束,用于排除教育性讨论和第三方讨论。“Includes…”子句列出了两个子案例:一个关于特定证券的问题和一个关于配置比例的问题。
AnyCompany Bank 将同一模板应用于 Litigation and Non-Servicing Legal Advice(诉讼与非服务类法律建议)和 Fraud Investigation Requests(欺诈调查请求)这两个主题:
Name: Litigation and Non-Servicing Legal Advice
Definition: Requests for legal counsel, discussions about filing lawsuits, or seeking litigation guidance against AnyCompany Bank or another named party. Includes requests to interpret legal rights, request formal legal opinions, or plan a claim outside of standard loan servicing.
Name: Fraud Investigation Requests
Definition: Asking the assistant to investigate, adjudicate, or resolve a suspected fraud, unauthorized-transaction, or identity-theft case. Fraud reports for routing to a human agent are not in scope.
团队现在有了三个已命名且定义限定为动作范围的主题。
最佳实践 4:使用边界示例,而非改写
示例能在主题的边界处教会护栏如何判断。并非每个示例都能同样有效地做到这一点。同一想法的五个改写不会教给护栏任何新东西,而五个精心挑选的示例可以用少得多的定义文本勾勒出主题的轮廓。最有分量的示例是那些位于主题边缘、足够接近一个看似合理的非匹配项、从而向护栏展示界线应划在哪里的示例。我们称之为边界示例。一个好的边界示例具有三个属性。第一,它位于主题范围之内。第二,它接近一个看似合理的非匹配项,使用与主题不应匹配的输入相似的词汇或结构。第三,它在子案例、句式结构和词汇上与其他示例不同。
指南
- 使用全部五个示例,因为五个多样的示例比两个显而易见的示例更有效。
- 覆盖不同的子案例。如果主题涵盖“买入”和“卖出”建议,请同时包含两者的示例。
- 覆盖不同的句式结构。包含直接疑问句(What should I buy?)、祈使句(Recommend a stock)和叙述性陈述(I’m considering putting money into…)。
- 包含一个接近主题边界但仍在其内的示例,即一个处于匹配边缘的版本。
- 不要在示例中包含国家名称、产品名称、竞争对手名称或公司名称,除非主题本身就与那个特定实体有关。示例中的命名实体会产生关联,导致主题匹配到提及同一实体的无关查询。
回到 AnyCompany Bank
团队为 Investment Recommendations 编写的首批示例是这样的:
Examples: Should I buy stocks?
What stock should I buy?
Is this a good stock to purchase?
Which stocks are good buys?
Recommend some stocks
这是用五种方式询问同一个问题。在测试期间,助手能够可靠地拦截“Should I buy stocks?”。但它却放过了“Is it a good time to rotate my portfolio out of equities into bonds?”,而这恰恰是该主题本应捕获的那类问题。这些改写都挤在主题的同一个点上,其他点则无人看守。
重写后的版本将示例分散到各个子案例和句式结构中:
Examples: Should I buy 100 shares of a specific stock before earnings?
Is it a good time to move my portfolio into bonds?
What percentage should I allocate to cryptocurrency?
Should I sell my index fund now or hold?
Recommend three growth stocks for a 5-year horizon
这是五个不同的子案例(特定股票、资产类别转换、配置、卖出时机、成长筛选)和五种不同的句式结构,全部位于主题之内。相邻的非匹配项,如“Explain what an ETF is”(教育性)和“Show me my portfolio report”(数据检索),与示例的差异足够大,护栏不应匹配它们。
团队对 Litigation and Non-Servicing Legal Advice 和 Fraud Investigation Requests 也采取了同样的处理。最初的 Litigation 示例都是“Can I sue?”的变体。重写后的集合涵盖了诉讼提起、正式法律意见、集体诉讼咨询、损害赔偿和权利解释。最初的 Fraud Investigation Requests 示例都是“Someone stole my money, what do I do?”的变体。重写后的集合涵盖了未经授权扣款调查、卡欺诈追踪、交易撤销、身份盗用裁定和诈骗者追踪。每个重写后的集合都在一个主题内覆盖了五个不同的子案例。
至此,AnyCompany Bank 的三个主题通过了迄今为止编写的每一项测试。还有一个问题只有在助手针对真实流量运行时才会显现。
最佳实践 5:在需要时将定义锚定到特定语境
有些概念本身就存在歧义,因为同样的词语根据语境既可以描述匹配的动作,也可以描述不匹配的动作。在这些情况下,添加一个明确的锚点来固定语境:一种机构场景、一个明确陈述的目的,或一种“仅当 X 和 Y 同时存在时才适用”形式的双重条件。
指南
- 添加动作发生的物理或机构语境。对于护照主题,锚定到“在大使馆或领事馆”或“通过官方政府申请流程”。
- 添加目的限定语。对于投资建议主题,锚定到“为了用户自身的投资回报”,以便主题排除教育性或第三方讨论。
- 当单一锚点不足时使用双重条件:“仅当请求 (1) 明确提及创建广告活动 且 (2) 将个人身份数据列为定向标准时才适用。”
- 锚点应是正向的(“在 X 处”、“为了 Y”),而不是“除了……”或“但不……”。正向锚点描述的是主题是什么。
- 知道何时不该添加锚点。如果主题本身已经很窄(一个专门关于“内幕交易”的主题,因为该短语本身没有歧义),额外的锚点只会引入噪声。同时也要避免锚定到会出现在许多不相关查询中的专有名词(“在印度”、“在亚马逊”)。应改为锚定到类别(大使馆、领事馆)。
- 检查主题自身的名称是否重复了那个有歧义的表面短语。以无害、教育性的方式询问同一概念时,往往也会复用这个确切的短语。护栏会把主题名称当作独立于定义的信号来读取(见最佳实践 2)。一个双重条件锚点仍可能输给一个由它试图消歧的术语所构成的名称。
回到 AnyCompany Bank
添加内幕交易主题暴露了歧义问题。合规团队希望把 Insider Trading Advice 作为一个独立主题,它比笼统的 Investment Recommendations 兜底更窄、更严肃。第一版草稿是:
Definition: Asking whether to buy or sell a specific security based on inside information.
这匹配了预期情况:客户基于私人信息请求交易。它也匹配了团队没有预料到的情况:以问题形式表述的、关于内幕交易是什么的教育性查询。“How does the SEC define insider trading?”被拦截了,因为它“询问了内幕交易”。
团队添加了一个双重锚点:
Name: Insider Trading Advice
Definition: Asking whether to buy or sell a specific security based on non-public material information about the issuing company, or seeking a recommendation to trade ahead of a known upcoming public announcement. Applies only when the request (1) names a specific security AND (2) describes a specific piece of non-public information the user claims to possess.
这两个条件本应排除教育性查询:它们不满足条件 2,因为它们没有描述用户本人掌握的非公开信息。当团队用这个定义测试“How does the SEC define insider trading?”时,它有时仍会被拦截。问题不在锚点,而在主题的名称:它重复了查询所使用的确切短语。护栏会把名称当作独立于定义的信号来权衡,这与最佳实践 2 在别处描述的效果相同。一个双重条件锚点可以指定正确的条件,却仍可能输给一个由它试图消歧的术语所构成的名称。
团队保留了锚点,转而重命名了主题:
Name: Trading on Non-Public Information
重命名后,教育性查询能够可靠通过,而真实示例——那些指明特定证券和特定非公开信息的示例——仍然会被拦截。
该定义比最佳实践 3 中 100–300 字符的目标更长,这是有意为之。这里的歧义足以证明额外文本是合理的。主题本身就很微妙,因此定义必须承担更多工作。
最佳实践 6:管理主题重叠和主题数量
护栏会一起评估其主题,而不是逐个评估。当两个主题含义相似时,它们会相互干扰。此时很难预测护栏会把哪个主题报告为匹配项,而且两者的组合效应可能会拦截任何一个主题单独都不会拦截的合法输入。主题之间的重叠往往是编写良好的主题产生错误结果的原因。问题不在那个主题,而在相邻的主题。
指南
- 部署前审查整个主题集是否存在重叠。两个定义相似的主题即使各自单独没有问题,也会造成干扰。对于每个新主题,都要问它的定义是否与现有主题共享词汇或对象。
- 要注意主题数量会影响干扰。随着单个护栏中主题数量的增长,主题之间发生干扰的概率也会增长,尤其是当多个主题共享词汇或覆盖相关领域时。如果你观察到主题之间相互干扰,而定义本身看起来是正确的,可以考虑减少主题之间的重叠,或将主题分散到多个护栏中。
- 在单个护栏内优先保证语义多样性。如果你有若干主题涉及相关主题(例如三个与金融相邻的主题),请考虑它们是否应放在同一个护栏中,还是应当分开。
- 当两个主题重叠时,优先合并而不是拆分。合并两个定义共享对象和动作的主题,比试图在它们之间划出狭窄边界更安全。
- 当出现新的用例时,优先扩展现有主题的示例,而不是添加一个新的近似重复主题。添加新主题会改变护栏对整个主题集的解释,而扩展主题的示例则不会。
- 在列表中将语义相似的主题分开放置。当两个措辞相似的主题相邻出现时,护栏更可能把输入归因于它最近看到的那个。交错排列列表,用不相关的主题把相关主题隔开。
回到 AnyCompany Bank
假设在流程后期,AnyCompany Bank 的合规团队提议在已定义的 Investment Recommendations 之外,再添加一个更宽泛的 Financial Advice 主题。其直觉是,更宽泛的主题能捕获特定主题遗漏的请求。两个主题都各自起草了定义:
Topic A:
Name: Financial Advice
Definition: Requests for advice about money, investing, or personal finance decisions.
Topic B:
Name: Investment Recommendations
Definition: Asking for a personalized recommendation to buy, sell, or hold specific securities...
当团队测试“Should I put more into my 401(k)?”时,重叠就显现出来了。取决于调用方在 API 请求中排列主题的顺序,Topic A、Topic B 或两者都会报告匹配,而在某些顺序下护栏会拦截该输入。
AnyCompany Bank 进行了合并。Financial Advice 被移除,由 Investment Recommendations 来承载特定动作。合并之后,依赖顺序的差异消失了。无论主题在 API 调用中位于何处,同一输入都会产生相同的判定,这是消除重叠带来的主要收益。
然而,仅靠合并并不能完全解决 401(k) 查询本身。因为“Should I put more into my 401(k)?”与真实的交易建议共享“Should I put more…”这一句式,Investment Recommendations 在表面上仍会匹配它。这是一个残余的边界情况,合并本身无法修复。这正是最佳实践 8 所警告的、尾部排除无法可靠覆盖的结构性相似匹配。
团队还重新排列了剩余主题的顺序。原来的顺序是:
1. Investment Recommendations
2. Trading on Non-Public Information
3. Litigation and Non-Servicing Legal Advice
4. Fraud Investigation Requests
主题 1 和主题 2 都讨论证券并涵盖相关金融行为,因此相邻放置会让边界输入产生归因歧义。团队将它们交错排列:
1. Investment Recommendations
2. Litigation and Non-Servicing Legal Advice
3. Trading on Non-Public Information
4. Fraud Investigation Requests
“诉讼与非服务类法律建议”现在位于两个与证券相邻的主题之间。像“我应该根据传闻交易我的 Example Corp 股票吗?”这样的边界问题,现在更一致地归因于“非公开信息交易”,而不再在“非公开信息交易”和“投资建议”之间来回摇摆。
最佳实践 7:为任务选用正确的策略
当需要执行的规则特定于你的业务,并且可以表达为对内容的简短描述时,拒绝主题就是正确的工具。请把它理解为一条监管红线、一项政策承诺、一种法律风险或一个范围边界,而不是通用的安全类别或固定的词语列表。Guardrails 提供了多种策略,它们都以阻止特定内容为共同目标,但每种策略针对的是不同类型的信号。对另一种策略原生处理的类别使用拒绝主题,往往会导致拦截过多或过少、使配置复杂化,并产生更差的结果。对于内容过滤器已经覆盖的类别,精心编写的主题通常不如直接使用内容过滤器有效。
请注意,在同一个护栏中启用多个策略会产生额外成本,因为每个启用的策略都会在每次请求时被评估。当你将拒绝主题与内容过滤器或提示攻击组合使用时,请为合并后的成本做好规划。
何时使用每种策略
| 你试图捕获的内容 | 正确的策略 | 常见错误 |
| 广泛的安全类别(仇恨、侮辱、暴力、性、不当行为) | 内容过滤器 | 名为“仇恨言论”或“暴力”的拒绝主题 |
| 提示注入、越狱尝试 | 提示攻击 | 名为“越狱”或“指令覆盖”的拒绝主题 |
| 需要持续拦截的特定词语、短语或产品名称 | 词语过滤器 | 名为“被屏蔽术语”或“竞争对手名称”的拒绝主题 |
| 个人标识符(姓名、电话号码、SSN、信用卡) | 敏感信息过滤器 | 名为“PII 检测”的拒绝主题 |
| 特定于你的业务或政策的自定义内容类别 | 拒绝主题 | (这是正确用法) |
| 同时需要类似内容过滤器覆盖范围的自定义内容类别 | 将拒绝主题与内容过滤器组合使用 | 试图仅用拒绝主题复现内容过滤器的功能 |
回到 AnyCompany Bank
回顾 AnyCompany Bank 的必须拦截清单(来自本文开头的场景),六项中有三项其实根本不是拒绝主题。它们属于 Guardrails 已经原生提供的策略。
- “描述如何制造武器”是一个通用安全类别,而不是银行特定政策。它移至内容过滤器 → 暴力,强度为高。
- “重复特定命名的竞争对手产品”是精确字符串拦截,而不是语义匹配。它移至词语过滤器,将竞争对手名称作为字面条目。(AnyCompany Bank 的初稿主题列表确实为此包含了一个名为“竞争对手”的主题。该主题已被删除,因为拒绝主题评估的是含义,会匹配对竞争对手名称的普通提及,却会漏掉改写后的表述。)
- “提示注入或越狱尝试”是完全不同的信号。用户试图覆盖助手自身的指令,而不是在询问某个领域。它移至提示攻击。
经过这次清理,AnyCompany Bank 的护栏配置组合了多个策略:
Content Filter:
HATE strength: HIGH
INSULTS strength: HIGH
SEXUAL strength: HIGH
VIOLENCE strength: HIGH
MISCONDUCT strength: HIGH
Prompt Attack: enabled
Word Filter:
Custom words: [list of competitor product names]
Denied Topics:
1. Investment Recommendations
2. Litigation and Non-Servicing Legal Advice
3. Trading on Non-Public Information
4. Fraud Investigation Requests
拒绝主题只承载其他策略无法表达的四个银行特定规则。
最佳实践 8:避免这些反模式
以下模式会导致主题拦截错误的输入,即使定义的其他部分写得很好。请避免它们。其中大多数是前面最佳实践中已给出指导的具体情形,因此下面每一行都会指回完整推理所在之处。
- 将定义写成对护栏的指令(“阻止所有与……相关的内容”),而不是对主题的描述。参见最佳实践 3。
- 主要用定义排除的内容(“除……之外的所有内容”)来框定定义,而不是说明它是什么。参见最佳实践 3。
- 列出触发词(“包含……等词语的问题”),而不是描述概念。参见最佳实践 1 和最佳实践 3。
- 使用拒绝主题来拦截特定词语、短语或实体类型,例如竞争对手名称或人名。请改用词语过滤器或敏感信息过滤器。参见最佳实践 7。
- 在示例中列出国家、产品、竞争对手或公司,除非主题本质上就是关于该实体的。参见最佳实践 4。
- 编写复述定义的示例,而不是标记其边界。参见最佳实践 4。
- 编写模糊的定义并依赖示例来承载含义。参见最佳实践 3 和最佳实践 4。
尾部排除:注意事项与通用指南
简短的尾部排除并不是解决所有误拒的通用方法。它能可靠地排除与主题类别完全不同的查询,例如不同的意图、不同的提问者或不同类型的内容。当良性查询的措辞几乎与定义中的正面表述完全一致、只是针对不同对象时,它就不太可靠。在这种情况下,排除条款要与它高度相似的措辞竞争,而匹配往往胜出。
对于这种结构相似的情况,请优先采用以下三种替代方案之一:
- 双条件锚点,将易混淆的情况直接作为定义的一部分加以命名(参见最佳实践 5)。
- 重命名,将区分要素提升到主题名称本身,使门槛在阅读定义之前就可见(参见最佳实践 2)。
- 上游意图路由步骤,在 Guardrails 看到模糊情况之前将其交给专门流程处理。
对于其他所有情况,尾部排除仍然是正确的第一步。只有当测试表明排除条款在与近乎相同的匹配项竞争中落败时,才改用以下三种方案之一。
局限:结果并非完全确定
即使护栏遵循了本文中的每一项实践,也无法对每一种可能的输入都产生完全确定的结果。拒绝主题使用语言模型来理解语义,而语言模型评估本身带有一定的固有方差。你应当为两种形式的方差做好准备。
重复完全相同的请求时的方差。将完全相同的输入连续两次发送给完全相同的护栏配置,在极少数情况下可能产生不同的结果。相同的字符输入,相同的主题列表生效,一切都相同,但一次调用拦截而下一次通过。对于大多数输入,以及对于遵循前述指导的主题,这种情况不会发生,结果在重复调用中保持稳定。例外是边界输入,其语义接近某个主题的语义边缘。这些输入在重复时容易发生翻转。主题定义得越精确(限定动作范围、具体对象、清晰锚点、边界示例),落入该边界区域的输入就越少。
主题列表变化时的方差。护栏在每次请求时都会将全部主题与输入一起评估。对主题列表的更改,例如添加主题、删除主题或重新排列相同主题,可能会改变先前已测试输入的结果。在某个主题列表下被拦截的输入,在另一个主题列表下可能会通过。当两个主题含义重叠或某个主题定义宽泛时,这种效应更常发生。当列表中的每个主题都有具体、限定动作范围的定义和清晰的边界示例时,这种效应更少发生。应用本文中的实践可以显著减少这两种形式的方差。
如何为此做好规划
- 不要把单次评估当作正确性的证明。对于重要的输入,要多次测试,并将其作为一个小型代表性评估集的一部分进行测试,而不是孤立地测试。
- 维护一个包含边界情况的评估集。这些是当你更改某些内容时最可能发生变化的输入。包含明确匹配、明确不匹配和接近边界的情况的混合。
- 在主题集更改后重新测试。添加主题、重命名主题、调整定义或重新排列列表,都可能改变先前表现符合预期的输入的结果。
- 对于正确性至关重要的输入,不要仅依赖拒绝主题。将其与其他策略(内容过滤器、提示攻击、敏感信息过滤器)组合使用,使任何单一策略都不是高风险决策的唯一防线。
- 设计产品时要让错误拦截可恢复。当主题涉及高风险时,将拦截的输入转交给人工处理,为用户提供重新表述的方式,并使用原因代码记录拦截,以便随时间审计和改进主题集。
注意: 本文中每一项通过或失败的主张都针对 Amazon Bedrock Guardrails(标准层)进行了端到端测试,每个查询都重复多次以确认结果稳定。
关键要点
回顾一下,本文中的实践可归结为八点:
- 围绕用户意图来构建每个主题,并将其表达为具体动作。诊断用户试图获得什么,然后以表达该意图的动作来命名主题,而不是以查询所接近的学科领域来命名。使用“投资建议”,而不是“金融”。
- 编写定义来描述该主题是什么。使用动作或内容类型开头,指明具体对象,添加限定约束,并包含一两个子情况。
- 最多使用五个边界示例。覆盖不同的子情况和句式。不要复述定义,并避免使用国家、产品和竞争对手名称。
- 用上下文或目的为模糊主题提供锚点。使用机构场景(“在大使馆”)或目的限定语(“用于用户自身的投资回报”)。当单一锚点不够时,使用双重条件。
- 管理重叠和主题数量。合并共享词汇的主题,在列表中将语义相似的主题分开,并在更改后重新测试。
- 为任务选择合适的策略。拒绝主题用于自定义的、业务特定的主题。内容过滤器、词语过滤器、敏感信息和提示攻击覆盖它们各自设计的类别。
- 避免七种反模式。用指令代替描述、仅用否定框架、关键词列表、实体捕获、示例中的命名实体、仅复述的示例以及占位符定义,都会产生拦截错误输入的主题。
- 为结果并非完全确定这一事实做好规划。维护一个边界评估集,在每次更改后重新测试,并设计产品使错误拦截可恢复。
结论
拒绝主题是一项强大的策略。借助它,你可以用简短的自然语言定义来描述一个定制的内容类别,而无需训练分类器或手工编写正则表达式。这种能力取决于按照护栏读取类别的方式来描述类别:即用户的意图,表达为对特定对象的具体动作,而不是学科领域。把框架定对,本文中的其余实践,如命名、定义、示例、锚点、重叠管理和策略选择,就会自然到位。
要在你自己的应用中应用这一点:
- 审计你现有的主题。对于每个主题,问一问名称描述的是动作还是学科领域。重命名那些描述学科领域的主题。
- 按照模板重写每个定义:
[Action or content-type opener] for [specific objects] by [qualifying constraint or purpose]. Includes [one or two sub-cases]. - 将每个非主题信号移到正确的策略。将通用安全交给内容过滤器,将特定字符串交给词语过滤器,将标识符交给敏感信息过滤器,将越狱尝试交给提示攻击。
- 构建一个小型评估集,其中既包含明显的匹配项,也包含从真实流量中提取的接近边界的非匹配项。每次更改护栏后都要重新测试。
要开始使用,请访问 Amazon Bedrock Guardrails 控制台 和 Amazon Bedrock Guardrails 文档 ,获取完整的策略参考和 API 详细信息,包括 CreateGuardrail 和 ApplyGuardrail.