正文 · AI 翻译
在生成式 AI 系统中,影响成本的最大因素是是否调用模型。我们经常看到团队把所有任务都交给大型语言模型(LLM)处理,包括输入验证、格式化和路由。单次调用的成本不高,但在生产规模下,这些小额成本会成为架构中最大的支出项目之一。只要确定性规则能够完成任务,跳过模型就能节省费用、缩短延迟,并消除一个不确定性来源。本文将介绍如何判断工作流中的每个步骤是否需要模型。然后,你可以把每种选择映射到 AWS 上:确定性代码、受约束的决策调用,或 Amazon Bedrock 上规模适当的模型。
为什么不必要的模型调用会积少成多
这种模式通常始于原型开发。模型调用能完成一个步骤,于是也成了下一个步骤的默认选择。这些步骤包括验证输入、重新格式化请求正文和选择路由。在原型阶段的请求量下,没人会注意到成本。在生产阶段的请求量下,不必要的模型调用会带来 3 方面的代价:
支出随请求数量增长,即使这些步骤的价值很低。 延迟逐层累积,因为调用链中的每次模型调用都会增加数百毫秒。 输出可能变化,因为相同的输入可能得到不同的答案。这使测试更难、审计更慢。
每次推出新模型,又会重新引发关于使用哪个模型的讨论。更早一步的问题——这个步骤究竟是否需要模型——却无人问起。包括 AWS Well-Architected Generative AI Lens 在内的成本指导通常从模型选择开始。本文则从更早一步开始:这个步骤究竟是否需要模型?
如何判断一个步骤是否需要模型
图 1 用一个包含 3 条标注路径的流程图展示了完整的决策过程:作为代码运行、问题,以及在模型上运行。让工作流中的每个步骤依次经过以下 3 个问题,并在遇到第一个满足该步骤要求的选项时停止:
能否用规则检查成功与否,例如格式、架构、关键词或范围?如果规则只能解决步骤中的一部分,快速路径就先运行该规则。 能否让模型只编写一次规则,例如正则表达式或 JSON 架构? 该步骤是否从固定列表中选择一个答案,例如路由、类别,或是与否?
如果这 3 个问题的答案都是否定的,该步骤就是开放式任务,应在规模适当的模型上运行。
图 1:判断工作流步骤是否需要模型,以及需要哪种模型
以客户支持助手为例。下表显示了其 5 个步骤如何通过该流程图。
序号 步骤 流程图中的路径 运行位置 1 检查订单编号的格式 规则可以检查成功与否。 Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数 2 根据意图为消息选择路由 规则可以解决其中一部分。快速路径上的关键词匹配可处理包含“refund”等内容的消息,其余消息进入第 3 个问题。 使用 JSONata 的 AWS Step Functions Choice 状态。其余消息进入受约束的决策调用。 3 从承运商电子邮件中提取跟踪编号 模型可以只编写一次规则。它起草正则表达式,你审核后将其提交。 AWS Lambda 中以已提交的模式形式运行的代码 4 为工单从 4 个支持队列中选择一个 答案来自固定列表。 受约束的决策调用。不确定的答案升级交由规模适当的模型处理。 5 起草给客户的回复 任务是开放式的。 规模适当的模型,即满足要求的最小 Amazon Bedrock 模型
任务具有开放性、歧义性或生成性时,可以使用模型,例如总结文档、起草回复、从文字中提取含义。任务有可检查的规则时,应使用确定性代码,例如电子邮件格式、架构、精确关键词或数值范围。下表显示了将适合用规则处理的任务交给模型时会付出的代价。
属性 确定性代码 模型调用 单次调用成本 通常低几个数量级 按词元计费,在大规模使用时不可忽视 延迟 不超过个位数毫秒 数百毫秒 对于明确定义的规则的正确性 严格符合所编写的规则 准确率高,但错误率不为 0 可审计性 规则保存在源代码管理中 更难向审计人员解释 随时间变化的行为 在你修改规则之前保持稳定 换用新模型版本或某个版本退役时会变化
模型还可能产生幻觉,并对相同输入给出不同答案。将温度设为 0 可以降低答案变化的可能性,但不能保证输出完全相同。Amazon Bedrock 模型评估和 Amazon Bedrock Guardrails 可帮助你衡量并控制这些风险。规则没有这两种问题,这也是受监管工作负载青睐规则的一个原因。
一个实用的判断方法是:如果你能把验收测试写成规则,通常也能把该步骤写成规则。有关更多信息,请参阅 AWS Prescriptive Guidance 中的《Orchestration models: From rule-based to AI-native》。
做决策,而不是生成内容
大多数路由和分类步骤介于规则与开放式生成之间。规则无法判定所有情况,但这些步骤也不需要生成文本。它们需要从你预先定义的固定选项列表中选择一个答案,例如前面示例中的支持队列。使用一个组件,将输出限制为允许的答案,并提供是否需要升级处理的信号。有把握的答案继续处理,不确定的答案则升级处理。AWS Well-Architected Agentic AI Lens 描述了这种分层、基于置信度的升级处理方式。
在 AWS 上,你可以通过 4 种方式构建它:
使用结构化输出的小型 Amazon Bedrock 模型——将答案限制在选项枚举中,并加入一个触发升级处理的“unsure”选项。这是模型自身的判断,而不是经过校准的分数,因此在用它决定是否升级处理之前,要用已标注数据检验。 嵌入相似度——使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最近的已标注示例。将相似度分数用作升级处理信号,并根据已标注数据设定阈值。 Strands Decider,一款采用 Apache License 2.0 的实验性开源决策模型——它从选项中选择答案,或依据评分标准打分,并为每个答案返回经过校准的置信度。其 README 称,在简短分类任务中,置信度达到 0.9 或以上的答案约有 95% 是正确的。由于该模型仍处于实验阶段,在生产环境中使用之前,请在自己的数据上验证这一结果。你需要按照其代码库中的部署指南自行托管,例如将其部署在 Amazon SageMaker AI 端点上。 在 Amazon SageMaker AI 上训练的分类器——拥有已标注训练数据后,它可以以低延迟、低成本返回类别概率。
以下 JSON 架构将结构化输出的答案限制为 4 个队列和“unsure”。Amazon Bedrock 要求架构中的每个对象都将 additionalProperties 设置为 false。
{ "type": "object", "properties": { "queue": { "type": "string", "enum": ["billing", "technical", "account", "other", "unsure"] } }, "required": ["queue"], "additionalProperties": false }
无论选择哪种方式,都应使用自己的已标注数据检验其升级处理信号,并据此设置所有阈值。退款额度等授权决策应保留在规则中。
确定性快速路径模式
许多成本优化模式关注模型之间的路由。快速路径则更早介入:先运行确定性检查,只把规则无法解决的情况交给模型。意图路由就是一个例子。许多消息带有明确的信号,例如“refund”或“reset my password”,关键词匹配可以在不超过个位数毫秒内将其识别。如果规则能处理 95% 的请求,那么在考虑模型选择带来的任何节省之前,只有 20 个请求中的 1 个会到达模型。(这是示意性计算,不是基准测试。)
在 AWS 上,你可以用现有组件组合实现:
AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。 AWS Lambda 承载需要超出 Choice 状态能力的规则,例如验证和架构检查。 Amazon API Gateway(REST API)请求验证在运行任何计算之前拒绝格式错误的输入。 受约束的决策调用或 Amazon Bedrock 模型只处理剩余情况。
以下 Choice 状态是一个关键词快速路径。它使用 JSONata 将退款和重置密码的消息直接交给代码,并将其他所有消息发送给受约束的决策调用。
"KeywordFastPath": { "Type": "Choice", "QueryLanguage": "JSONata", "Choices": [ { "Condition": "{% $contains($states.input.message, /refund/i) %}", "Next": "RefundFlow" }, { "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}", "Next": "PasswordResetFlow" } ], "Default": "ConstrainedDecisionCall" }
你也可以让模型只编写一次规则,而不是每次都运行模型。让它起草正则表达式或 JSON 架构,审核后提交。运行时,该规则以规则的速度和成本执行。应审核模型编写的正则表达式,并用已知的有效和无效输入测试它。避免使用 (a+)+ 这样的嵌套量词,因为它们会使某些输入的匹配过程非常缓慢,导致正则表达式拒绝服务(ReDoS)。
需要生成内容时,Amazon Bedrock 结构化输出可以将响应约束在你定义的 JSON 架构内。响应会符合该架构,因此你的代码无需自定义解析逻辑即可解析它(但仍要检查内容是否正确)。数值边界和长度限制等范围检查应保留在代码中。有关受支持的模型和架构功能,请参阅《Get validated JSON results from models》。
如果规则存放在配置中,只允许使用已知的基本规则类型,例如正则表达式、架构检查、关键词列表和范围检查。绝不要运行配置文件中的任意代码。
确实需要模型时,应选择规模适当的模型
选择能够达到质量下限且成本最低、速度最快的模型。这往往不是最新或最大的模型。Generative AI Lens 在关于选择规模适当模型的最佳实践中讨论了这一点。《Effective cost optimization strategies for Amazon Bedrock》对此有深入介绍。
在比较模型之前,先定义要求:
质量下限:最低可接受的输出质量,通过黄金评估集衡量;该评估集包含任务的已标注示例及已知正确答案。 成本上限:每个请求或每次成功结果所能支付的最高费用。 延迟目标:体验可以容忍的 p95 或 p99 响应时间。 合规约束:数据驻留等可能排除某些候选模型的要求。
Amazon Bedrock 通过一个 API 提供众多模型系列和大小,因此你可以为每项任务选择规模适当的模型,而无需更改集成方式。Amazon Bedrock Intelligent Prompt Routing 将每个请求路由到受支持模型系列中的合适模型。Amazon Bedrock Model Distillation 将较大模型的知识迁移到针对你的用例设计的较小、较便宜的模型中。
模型提供商会用广泛的基准测试评估新的前沿模型,但你的工作负载是一项有特定质量下限的任务。更大的模型可能增加成本和延迟,却无法改善这项任务。在切换之前,应根据你的要求评估每次新模型发布,例如在黄金评估集上的质量和延迟目标。
将模型选择视为经过测试的配置
Generative AI Lens 建议使用真实标注数据测试候选模型,并具备快速更新模型的能力。进一步地,应将模型选择视为经过测试的配置:
为每项任务保留包含已标注真实答案的黄金评估集,并在持续集成中运行评估。 以你的要求作为准入条件。如果更便宜的模型低于质量下限,就将其视为回归。 将模型置于配置开关之后,以便撤销模型替换。 使用正确的判定依据进行验证。依据真实答案检查规则。仅对开放式输出使用模型评判评估。 监控漂移。以影子模式将一部分由规则处理的请求送入模型采样;当两者结果不一致时,重新对该步骤分类。
付诸实践
只在需要判断的地方使用模型能力。可以分 4 步实现:
埋点监测——将每次调用标记为确定性代码、受约束的决策调用或模型调用。跟踪每次成功结果的成本。 将规则移入代码——在 AWS Lambda 或 AWS Step Functions 上运行可用规则检查的步骤。这通常是收益最大、风险最低的改进。 加入受约束的决策调用——让固定选项步骤通过能够在不确定时升级处理的调用进行路由。 切换模型前先测试——在每个新模型成为默认模型之前,用黄金评估集对其进行测试。
结论
本文介绍了如何判断工作流步骤是否需要模型。规则应由确定性代码处理,固定选项应由受约束的决策调用处理。开放式任务则交给规模适当的 Amazon Bedrock 模型。目标是在质量下限允许的范围内,以最低成本和延迟满足各项要求。先问一个步骤是否需要模型,再问需要哪个模型。
有关更多信息,请参阅 AWS Artificial Intelligence Blog 上的以下文章:
《Use decision models with Amazon Bedrock AgentCore Evaluations》。 《Use Amazon Bedrock Intelligent Prompt Routing for cost and latency benefits》。 《Structured outputs on Amazon Bedrock: Schema-compliant AI responses》。 《Fix evaluation bias to unlock better models on Amazon Bedrock》。
要尝试受约束的决策调用,可以打开 Amazon Bedrock 控制台,或从 Strands Decider 的 GitHub 代码库部署它。先选择一个高请求量的工作流,衡量其中有多少部分原本就不需要模型。
关于作者
Meghan Kothari
Meghan 是 Customer Experience and Business Trends 团队的高级技术产品经理。他与 AWS 领导层合作,开展战略性深入研究,以发现由代理式 AI 驱动的应用开发和现代化中不断演变的趋势。他拥有解决方案架构师和全栈开发者的背景,这使他具备独特的实践视角,有助于塑造开发者体验。
Krishna Aswani
Krishna 是 Amazon 的高级应用科学家,拥有超过 10 年构建生产环境机器学习系统的经验。他的工作涵盖计算机视觉、自然语言处理、生成式建模和大型语言模型。在 Amazon,他构建代理式架构,并主导结构化推理框架研究,以提高 LLM 的可靠性和可解释性。在此之前,他的研究聚焦于神经计算和生物物理学。他曾与牛津大学和日本 NIMS 合作,构建模拟器和测量系统,以了解信息如何通过脑微管传播,包括量子效应可能在这些生物结构中发挥的作用。
Pranav Patankar
Pranav 是 Customer Experience and Business Trends 团队的科学与工程经理,与 AWS 领导层合作改善 AWS 上的开发者体验。他的研究聚焦于增强 LLM 和 AI 智能体的推理能力,以及提高它们的可信度。他横跨数据工程、数据科学和应用研究的背景,使他具备独特的实践视角,有助于塑造开发者体验。
Vineet Kamdar
Vineet 领导一个跨职能团队,评估云端、代理式开发者体验以及整体客户体验。他主导战略评估和深入研究,以影响快速演变的生成式 AI、代理式开发者体验和客户体验,涉及代理式编码助手、代理式迁移、模型训练和推理等领域。他拥有 18 年以上的行业经验,并在大型企业应用的构建者、架构师和产品负责人岗位上积累了丰富背景,因此能够从独特角度评估、衡量、影响和改善开发者体验、代理式体验以及整体云客户体验。