aifollow.news
Back AWS 机器学习博客
AWS 机器学习博客· · Original publication time AI score40

AWS publishes guide to cutting generative AI costs by handling rule based tasks in codeMachine translation

AWS 发布生成式 AI 成本优化指南:规则任务先交给代码

AI-assisted summary

AWS advises teams to check whether each workflow step needs a model: use code for tasks with checkable rules, a constrained decision call for fixed choices, and an Amazon Bedrock model that meets quality requirements for open ended work. Its customer support example shows how rules can handle clear requests first, while escalation decisions should be checked against the team's own labeled data.

Article · AI translation

在生成式 AI 系统中,影响成本的最大因素是是否调用模型。我们经常看到团队把所有任务都交给大型语言模型(LLM)处理,包括输入验证、格式化和路由。单次调用的成本不高,但在生产规模下,这些小额成本会成为架构中最大的支出项目之一。只要确定性规则能够完成任务,跳过模型就能节省费用、缩短延迟,并消除一个不确定性来源。本文将介绍如何判断工作流中的每个步骤是否需要模型。然后,你可以把每种选择映射到 AWS 上:确定性代码、受约束的决策调用,或 Amazon Bedrock 上规模适当的模型。

为什么不必要的模型调用会积少成多

这种模式通常始于原型开发。模型调用能完成一个步骤,于是也成了下一个步骤的默认选择。这些步骤包括验证输入、重新格式化请求正文和选择路由。在原型阶段的请求量下,没人会注意到成本。在生产阶段的请求量下,不必要的模型调用会带来 3 方面的代价:

支出随请求数量增长,即使这些步骤的价值很低。 延迟逐层累积,因为调用链中的每次模型调用都会增加数百毫秒。 输出可能变化,因为相同的输入可能得到不同的答案。这使测试更难、审计更慢。

每次推出新模型,又会重新引发关于使用哪个模型的讨论。更早一步的问题——这个步骤究竟是否需要模型——却无人问起。包括 AWS Well-Architected Generative AI Lens 在内的成本指导通常从模型选择开始。本文则从更早一步开始:这个步骤究竟是否需要模型?

如何判断一个步骤是否需要模型

图 1 用一个包含 3 条标注路径的流程图展示了完整的决策过程:作为代码运行、问题,以及在模型上运行。让工作流中的每个步骤依次经过以下 3 个问题,并在遇到第一个满足该步骤要求的选项时停止:

能否用规则检查成功与否,例如格式、架构、关键词或范围?如果规则只能解决步骤中的一部分,快速路径就先运行该规则。 能否让模型只编写一次规则,例如正则表达式或 JSON 架构? 该步骤是否从固定列表中选择一个答案,例如路由、类别,或是与否?

如果这 3 个问题的答案都是否定的,该步骤就是开放式任务,应在规模适当的模型上运行。

图 1:判断工作流步骤是否需要模型,以及需要哪种模型

以客户支持助手为例。下表显示了其 5 个步骤如何通过该流程图。

序号 步骤 流程图中的路径 运行位置 1 检查订单编号的格式 规则可以检查成功与否。 Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数 2 根据意图为消息选择路由 规则可以解决其中一部分。快速路径上的关键词匹配可处理包含“refund”等内容的消息,其余消息进入第 3 个问题。 使用 JSONata 的 AWS Step Functions Choice 状态。其余消息进入受约束的决策调用。 3 从承运商电子邮件中提取跟踪编号 模型可以只编写一次规则。它起草正则表达式,你审核后将其提交。 AWS Lambda 中以已提交的模式形式运行的代码 4 为工单从 4 个支持队列中选择一个 答案来自固定列表。 受约束的决策调用。不确定的答案升级交由规模适当的模型处理。 5 起草给客户的回复 任务是开放式的。 规模适当的模型,即满足要求的最小 Amazon Bedrock 模型

任务具有开放性、歧义性或生成性时,可以使用模型,例如总结文档、起草回复、从文字中提取含义。任务有可检查的规则时,应使用确定性代码,例如电子邮件格式、架构、精确关键词或数值范围。下表显示了将适合用规则处理的任务交给模型时会付出的代价。

属性 确定性代码 模型调用 单次调用成本 通常低几个数量级 按词元计费,在大规模使用时不可忽视 延迟 不超过个位数毫秒 数百毫秒 对于明确定义的规则的正确性 严格符合所编写的规则 准确率高,但错误率不为 0 可审计性 规则保存在源代码管理中 更难向审计人员解释 随时间变化的行为 在你修改规则之前保持稳定 换用新模型版本或某个版本退役时会变化

模型还可能产生幻觉,并对相同输入给出不同答案。将温度设为 0 可以降低答案变化的可能性,但不能保证输出完全相同。Amazon Bedrock 模型评估和 Amazon Bedrock Guardrails 可帮助你衡量并控制这些风险。规则没有这两种问题,这也是受监管工作负载青睐规则的一个原因。

一个实用的判断方法是:如果你能把验收测试写成规则,通常也能把该步骤写成规则。有关更多信息,请参阅 AWS Prescriptive Guidance 中的《Orchestration models: From rule-based to AI-native》。

做决策,而不是生成内容

大多数路由和分类步骤介于规则与开放式生成之间。规则无法判定所有情况,但这些步骤也不需要生成文本。它们需要从你预先定义的固定选项列表中选择一个答案,例如前面示例中的支持队列。使用一个组件,将输出限制为允许的答案,并提供是否需要升级处理的信号。有把握的答案继续处理,不确定的答案则升级处理。AWS Well-Architected Agentic AI Lens 描述了这种分层、基于置信度的升级处理方式。

在 AWS 上,你可以通过 4 种方式构建它:

使用结构化输出的小型 Amazon Bedrock 模型——将答案限制在选项枚举中,并加入一个触发升级处理的“unsure”选项。这是模型自身的判断,而不是经过校准的分数,因此在用它决定是否升级处理之前,要用已标注数据检验。 嵌入相似度——使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最近的已标注示例。将相似度分数用作升级处理信号,并根据已标注数据设定阈值。 Strands Decider,一款采用 Apache License 2.0 的实验性开源决策模型——它从选项中选择答案,或依据评分标准打分,并为每个答案返回经过校准的置信度。其 README 称,在简短分类任务中,置信度达到 0.9 或以上的答案约有 95% 是正确的。由于该模型仍处于实验阶段,在生产环境中使用之前,请在自己的数据上验证这一结果。你需要按照其代码库中的部署指南自行托管,例如将其部署在 Amazon SageMaker AI 端点上。 在 Amazon SageMaker AI 上训练的分类器——拥有已标注训练数据后,它可以以低延迟、低成本返回类别概率。

以下 JSON 架构将结构化输出的答案限制为 4 个队列和“unsure”。Amazon Bedrock 要求架构中的每个对象都将 additionalProperties 设置为 false。

{ "type": "object", "properties": { "queue": { "type": "string", "enum": ["billing", "technical", "account", "other", "unsure"] } }, "required": ["queue"], "additionalProperties": false }

无论选择哪种方式,都应使用自己的已标注数据检验其升级处理信号,并据此设置所有阈值。退款额度等授权决策应保留在规则中。

确定性快速路径模式

许多成本优化模式关注模型之间的路由。快速路径则更早介入:先运行确定性检查,只把规则无法解决的情况交给模型。意图路由就是一个例子。许多消息带有明确的信号,例如“refund”或“reset my password”,关键词匹配可以在不超过个位数毫秒内将其识别。如果规则能处理 95% 的请求,那么在考虑模型选择带来的任何节省之前,只有 20 个请求中的 1 个会到达模型。(这是示意性计算,不是基准测试。)

在 AWS 上,你可以用现有组件组合实现:

AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。 AWS Lambda 承载需要超出 Choice 状态能力的规则,例如验证和架构检查。 Amazon API Gateway(REST API)请求验证在运行任何计算之前拒绝格式错误的输入。 受约束的决策调用或 Amazon Bedrock 模型只处理剩余情况。

以下 Choice 状态是一个关键词快速路径。它使用 JSONata 将退款和重置密码的消息直接交给代码,并将其他所有消息发送给受约束的决策调用。

"KeywordFastPath": { "Type": "Choice", "QueryLanguage": "JSONata", "Choices": [ { "Condition": "{% $contains($states.input.message, /refund/i) %}", "Next": "RefundFlow" }, { "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}", "Next": "PasswordResetFlow" } ], "Default": "ConstrainedDecisionCall" }

你也可以让模型只编写一次规则,而不是每次都运行模型。让它起草正则表达式或 JSON 架构,审核后提交。运行时,该规则以规则的速度和成本执行。应审核模型编写的正则表达式,并用已知的有效和无效输入测试它。避免使用 (a+)+ 这样的嵌套量词,因为它们会使某些输入的匹配过程非常缓慢,导致正则表达式拒绝服务(ReDoS)。

需要生成内容时,Amazon Bedrock 结构化输出可以将响应约束在你定义的 JSON 架构内。响应会符合该架构,因此你的代码无需自定义解析逻辑即可解析它(但仍要检查内容是否正确)。数值边界和长度限制等范围检查应保留在代码中。有关受支持的模型和架构功能,请参阅《Get validated JSON results from models》。

如果规则存放在配置中,只允许使用已知的基本规则类型,例如正则表达式、架构检查、关键词列表和范围检查。绝不要运行配置文件中的任意代码。

确实需要模型时,应选择规模适当的模型

选择能够达到质量下限且成本最低、速度最快的模型。这往往不是最新或最大的模型。Generative AI Lens 在关于选择规模适当模型的最佳实践中讨论了这一点。《Effective cost optimization strategies for Amazon Bedrock》对此有深入介绍。

在比较模型之前,先定义要求:

质量下限:最低可接受的输出质量,通过黄金评估集衡量;该评估集包含任务的已标注示例及已知正确答案。 成本上限:每个请求或每次成功结果所能支付的最高费用。 延迟目标:体验可以容忍的 p95 或 p99 响应时间。 合规约束:数据驻留等可能排除某些候选模型的要求。

Amazon Bedrock 通过一个 API 提供众多模型系列和大小,因此你可以为每项任务选择规模适当的模型,而无需更改集成方式。Amazon Bedrock Intelligent Prompt Routing 将每个请求路由到受支持模型系列中的合适模型。Amazon Bedrock Model Distillation 将较大模型的知识迁移到针对你的用例设计的较小、较便宜的模型中。

模型提供商会用广泛的基准测试评估新的前沿模型,但你的工作负载是一项有特定质量下限的任务。更大的模型可能增加成本和延迟,却无法改善这项任务。在切换之前,应根据你的要求评估每次新模型发布,例如在黄金评估集上的质量和延迟目标。

将模型选择视为经过测试的配置

Generative AI Lens 建议使用真实标注数据测试候选模型,并具备快速更新模型的能力。进一步地,应将模型选择视为经过测试的配置:

为每项任务保留包含已标注真实答案的黄金评估集,并在持续集成中运行评估。 以你的要求作为准入条件。如果更便宜的模型低于质量下限,就将其视为回归。 将模型置于配置开关之后,以便撤销模型替换。 使用正确的判定依据进行验证。依据真实答案检查规则。仅对开放式输出使用模型评判评估。 监控漂移。以影子模式将一部分由规则处理的请求送入模型采样;当两者结果不一致时,重新对该步骤分类。

付诸实践

只在需要判断的地方使用模型能力。可以分 4 步实现:

埋点监测——将每次调用标记为确定性代码、受约束的决策调用或模型调用。跟踪每次成功结果的成本。 将规则移入代码——在 AWS Lambda 或 AWS Step Functions 上运行可用规则检查的步骤。这通常是收益最大、风险最低的改进。 加入受约束的决策调用——让固定选项步骤通过能够在不确定时升级处理的调用进行路由。 切换模型前先测试——在每个新模型成为默认模型之前,用黄金评估集对其进行测试。

结论

本文介绍了如何判断工作流步骤是否需要模型。规则应由确定性代码处理,固定选项应由受约束的决策调用处理。开放式任务则交给规模适当的 Amazon Bedrock 模型。目标是在质量下限允许的范围内,以最低成本和延迟满足各项要求。先问一个步骤是否需要模型,再问需要哪个模型。

有关更多信息,请参阅 AWS Artificial Intelligence Blog 上的以下文章:

《Use decision models with Amazon Bedrock AgentCore Evaluations》。 《Use Amazon Bedrock Intelligent Prompt Routing for cost and latency benefits》。 《Structured outputs on Amazon Bedrock: Schema-compliant AI responses》。 《Fix evaluation bias to unlock better models on Amazon Bedrock》。

要尝试受约束的决策调用,可以打开 Amazon Bedrock 控制台,或从 Strands Decider 的 GitHub 代码库部署它。先选择一个高请求量的工作流,衡量其中有多少部分原本就不需要模型。

关于作者

Meghan Kothari

Meghan 是 Customer Experience and Business Trends 团队的高级技术产品经理。他与 AWS 领导层合作,开展战略性深入研究,以发现由代理式 AI 驱动的应用开发和现代化中不断演变的趋势。他拥有解决方案架构师和全栈开发者的背景,这使他具备独特的实践视角,有助于塑造开发者体验。

Krishna Aswani

Krishna 是 Amazon 的高级应用科学家,拥有超过 10 年构建生产环境机器学习系统的经验。他的工作涵盖计算机视觉、自然语言处理、生成式建模和大型语言模型。在 Amazon,他构建代理式架构,并主导结构化推理框架研究,以提高 LLM 的可靠性和可解释性。在此之前,他的研究聚焦于神经计算和生物物理学。他曾与牛津大学和日本 NIMS 合作,构建模拟器和测量系统,以了解信息如何通过脑微管传播,包括量子效应可能在这些生物结构中发挥的作用。

Pranav Patankar

Pranav 是 Customer Experience and Business Trends 团队的科学与工程经理,与 AWS 领导层合作改善 AWS 上的开发者体验。他的研究聚焦于增强 LLM 和 AI 智能体的推理能力,以及提高它们的可信度。他横跨数据工程、数据科学和应用研究的背景,使他具备独特的实践视角,有助于塑造开发者体验。

Vineet Kamdar

Vineet 领导一个跨职能团队,评估云端、代理式开发者体验以及整体客户体验。他主导战略评估和深入研究,以影响快速演变的生成式 AI、代理式开发者体验和客户体验,涉及代理式编码助手、代理式迁移、模型训练和推理等领域。他拥有 18 年以上的行业经验,并在大型企业应用的构建者、架构师和产品负责人岗位上积累了丰富背景,因此能够从独特角度评估、衡量、影响和改善开发者体验、代理式体验以及整体云客户体验。

Found an error? Send a correction

Contents