Article · AI translation
ArisGlobal 是一家生命科学技术提供商,业务涵盖药物警戒、监管事务、医学事务、临床和质量管理职能。该公司在 Amazon Bedrock 上开发了专为生命科学设计的 AI 引擎 NavaX,用于自动处理不良事件个例。ArisGlobal 选择 Amazon Bedrock,是因为它提供对基础模型的托管访问、欧盟地理区域跨区域推理,以及托管式提示词缓存。随着企业客户提出各自不同的合规要求,共享提示词前缀在 6 个月内增长了约 150%,而每个个例的推理成本上升了 200% 以上。ArisGlobal 最初缓存每份源文档,因为它是请求中最大的部分。这使不断增长的共享提示词前缀处于缓存之外。通过调换顺序,改为缓存共享前缀,ArisGlobal 降低了实际输入成本,并在成本未同比例增长的情况下支持了更多租户。ArisGlobal 是谁?ArisGlobal 创建了 LifeSphere,这是一个统一的 SaaS 平台,服务于药物警戒、监管事务、质量管理和医学信息业务。LifeSphere 为全球制药公司提供服务,其中包括按营收排名前 20 的多家制药企业(来源:ArisGlobal 新闻稿)。整个系统运行在 AWS 上。LifeSphere NavaX 是 ArisGlobal 的 AI 引擎,它使药品安全从记录系统转变为具有战略优势的系统。2025 年 3 月,ArisGlobal 使用 Amazon Bedrock 上 Anthropic 的 Claude,将其首个生成式 AI 解决方案投入生产。据 ArisGlobal 内部生产环境遥测数据,该公司已在受监管的制药环境中处理超过 100 万笔真实交易,涉及多个企业租户、数十亿个 token。模型可用性因区域而异。请参阅《按 AWS 区域划分的模型支持情况》。NavaX 如何处理不良事件个例 当一家制药公司收到不良事件报告时,报告通常是一份多页 PDF,描述患者对某种药物的反应。NavaX 的动态数据提取(DDE)代理会从中提取约 130 个字段。这些字段包括患者人口统计信息、疑似药品、报告者信息、事件时间线、严重性标准和监管分类。由于这些内容包含受保护的健康信息,ArisGlobal 将负责任 AI 控制措施作为生产部署的标准组成部分。它利用 Amazon Bedrock Guardrails 等功能过滤内容,以及检测或屏蔽敏感信息。提取出的字段还会根据模式进行验证,并与源文档中的内容相对应。提取过程通过向模型依次发送多个请求完成。每个请求聚焦于个例表单的不同部分,并包含:系统指令——模型行为规则、输出格式规范和监管合规约束。客户专属规则——因制药公司而异的租户级提取逻辑、字段映射和业务规则。提取模式——约 130 个目标字段,以及字段类型、验证规则和少样本示例。源文档——不良事件 PDF(通常为 10–200 页)。有两类输入会在不同范围内重复。共享提示词前缀包含系统规则、提取模式和少样本示例。使用同一代理的请求、个例和租户都会重复使用该前缀。源文档只在与同一个例相关的请求中重复。提示词膨胀问题 NavaX 最初为首个企业租户上线时,系统提示词很精简。随着 ArisGlobal 接入更多制药公司,每家公司都带来了特定要求:自定义字段映射(租户 A 与租户 B 对反应开始时间的映射方式不同)。监管司法辖区规则(欧盟 ICSR 与 FDA MedWatch 和 PMDA 的格式要求不同)。用于严重性评估和因果关系判断的公司专属业务逻辑。根据各公司历史个例调整的租户级少样本示例。在 6 个月内,共享提示词前缀从约 72,000 个 token 增至 180,000 个 token,增长了 150%。由于每个个例需要依次发送多个请求,每个个例的推理成本上升了 200% 以上。每增加一个租户,前缀就会增长,并在每次请求中重新处理,因此提示词增长的影响会随交易量增加而叠加。表 1 对比了最初将文档放在前面的请求顺序与生产环境中将提示词放在前面的设计。方面 首种方案 生产设计 请求顺序 个例文档、缓存检查点、共享提示词前缀 共享提示词前缀、缓存检查点、个例文档 缓存的前缀 每个个例都会变化的文档 在请求之间重复的共享提示词前缀 复用范围 仅限同一个例的后续请求 使用同一代理的不同个例和租户的请求 成本影响 不断增长的提示词反复按完整输入费率处理 整个请求群的提示词复用支持成本增速低于业务增速 欧盟路由 欧盟地理区域跨区域推理保持不变 欧盟地理区域跨区域推理保持不变 Amazon Bedrock 提示词缓存策略 Amazon Bedrock 提示词缓存通过缓存从请求开头到缓存检查点之间连续的提示词前缀,降低延迟和输入 token 成本。后续请求如果具有相同前缀,就能以较低费率读取已缓存的 token,而无须再次处理。缓存条目有存活时间(TTL),每次成功命中缓存后都会重置。缓存基于前缀,而非基于内容块。请求中的各部分按工具、系统、消息的顺序评估,因此更改靠前的部分会使其后原本匹配的内容失效。缓存检查点(显式控制)使用显式缓存检查点时,可以精确选择前缀边界。受支持的 Claude 模型允许每个请求最多设置 4 个检查点。应将每个检查点放在稳定、可复用的前缀之后,并达到该模型规定的最小前缀长度。对于 Claude Sonnet 4.5,最小长度为 1,024 个 token(请参阅受支持的模型和区域)。检查点按工具、系统、消息的顺序评估。更改靠前的部分会使后续部分的缓存匹配失效。默认 TTL 为 5 分钟。部分模型支持通过设置 "ttl": "1h" 使用 1 小时 TTL。TTL 较长的条目必须位于 TTL 较短的条目之前。简化的缓存管理(自动)使用简化的缓存管理时,只需在静态内容之后放置 1 个检查点。Amazon Bedrock 会从该位置向前搜索最长的匹配前缀,搜索范围最多约为 20 个内容块。单个检查点可以自动找到最长的匹配前缀。当稳定内容超出回溯范围时,应使用显式检查点。ArisGlobal 缓存了什么,以及刻意没有缓存什么 ArisGlobal 先发送共享提示词前缀,并紧接着放置 1 个显式检查点。个例文档位于检查点之后,每次请求都会处理。这颠倒了最初的请求顺序。由于只能缓存前缀,内容顺序决定了哪些内容可以复用。上线时的设计:优先复用文档 首种设计将 10–200 页的源文档放在每个请求的开头,并在文档之后设置检查点。共享提示词前缀和针对特定部分的问题位于检查点之后。{ "modelId": "anthropic.claude-sonnet-4-5-20250929-v1:0", "messages": [ { "role": "user", "content": [ { "text": "[完整的不良事件 PDF 内容]..." // <-- 文档首先发送 }, { "cachePoint": {"type": "default"} // <-- 检查点紧接在文档之后 }, { "text": "[系统指令 + 合规规则 + 模式 + 少样本示例 + 客户专属提示词]..." // <-- 位于检查点之后:永远不会被缓存 }, { "text": "提取第 3 部分的字段:疑似药品信息" } ] } ] } 这种设计在同一个例内复用文档:第 1 个请求将文档写入缓存,该个例的后续请求以较低费率读取文档。下一个个例使用不同的文档,需要重新写入缓存,因此复用无法跨越个例或租户。更关键的是,共享提示词前缀仍位于检查点之后,在每次请求中都按完整输入费率处理。推动成本上升的内容被排除在缓存之外。演进后的生产设计:优先复用共享前缀 生产设计调整了顺序,而没有增加检查点:共享提示词前缀排在最前,后接检查点,最后是文档。同一个检查点现在会创建一个可供整个请求群复用的缓存条目:调整前——缓存的文档前缀仅属于一个个例,而共享提示词从未被缓存。调整后——缓存的共享提示词前缀在使用同一代理的请求、个例和租户之间重复使用。ArisGlobal 放弃了同一个例内有限的文档复用,换取整个请求群的提示词复用。随着客户增加,增长的也正是共享前缀这一部分。更新后的实现 { "modelId": "anthropic.claude-sonnet-4-5-20250929-v1:0", "system": [ { "text": "[共享系统指令 + 合规规则 + 基础提取模式 + 少样本示例]..." }, { "cachePoint": {"type": "default"} // <-- 检查点位于稳定的提示词之后 } ], "messages": [ { "role": "user", "content": [ { "text": "[完整的不良事件 PDF 内容——位于检查点之后,不会被缓存]..." }, { "text": "提取第 5 部分的字段:事件评估" // <-- 每次请求只有这一部分发生变化 } ] } ] } 对于大多数活跃账户,每个租户大约每 5 分钟就会收到一个个例,而且多个租户同时运行。这些流量使共享前缀在营业时间内保持在缓存中,因为每次缓存命中都会重置 TTL。同时缓存提示词和文档 如果在文档之后设置第 2 个检查点,就会缓存由共享提示词和该个例文档组成的组合前缀。该条目仍然只属于一个个例。因此,ArisGlobal 优先缓存能在整个请求群中通过多次读取分摊写入成本的前缀。共享提示词前缀可跨个例和租户复用,个例文档则不能。在生产环境中,典型请求的 65% 输入 token 来自共享提示词缓存。图 1 显示,缓存读取量持续高于缓存写入量。图 1:Amazon CloudWatch 提示词缓存使用情况。在生产流量时段,蓝色的缓存读取序列上升至缓存写入序列的约 10 倍。结果 在保持欧盟地理区域跨区域推理配置不变的情况下,缓存共享提示词前缀取得了以下结果:65% 的输入 token 以较低的读取费率从缓存提供。已缓存的生产请求的端到端延迟最多降低 25%。实际输入成本降低约 50%。在每月处理超过 190 亿个 token 的情况下,整体月度推理支出降低约 40%。接入的企业租户增加约 15%,而成本没有同比例增加。欧盟地理区域路由保持不变。提示词缓存沿用现有推理配置。图 2:端到端调用延迟。图表显示,采用提示词缓存后,延迟范围更低且更稳定。图 3:调用次数。图表显示,生产请求量持续维持在一定水平,而推理支出的增幅低于请求量增幅。根据 ArisGlobal 的生产环境账单数据,从缓存提供 65% 的输入 token,使实际输入成本降低约 50%。在每月处理超过 190 亿个 token 的情况下,这使整体月度推理支出节省约 40%。注:本节所有性能和成本数据均为 ArisGlobal 向 AWS 报告的生产环境指标。结果会因提示词结构、流量模式和缓存命中率而异。生产环境经验 ArisGlobal 的经验为许多具有大型重复提示词前缀的工作负载提供了指导:缓存重复出现的内容,而非体积最大的内容。大型个例文档的复用范围有限,而字节完全相同的共享提示词前缀可以服务于整个请求群的请求。将稳定内容放在前面。将工具定义、系统指令、模式和示例放在检查点之前,将租户标识符、个例数据和每次请求的问题放在检查点之后。利用整个请求群的流量分摊缓存写入成本。使用同一代理的租户发出的请求可以读取同一前缀,缓存命中会重置 TTL。对于零星流量,可评估在受支持模型上使用 1 小时 TTL。减少可避免的调用。每次调用仍需处理未缓存的文档,因此在输出限制和模式要求允许时,应将依次提出的问题合并。保持前缀在字节层面完全一致。时间戳、请求 ID、租户名称和重新排序的工具定义都可能导致缓存未命中。将每个动态元素移至检查点之后。监控生产环境基线。在 CloudWatch 中跟踪缓存读取量、缓存写入量和输入 token 总数。如果缓存命中率持续低于正常的 65% 基线,就发出警报,而不要使用不适用的 80% 阈值。检查具体模型的限制。最小前缀长度和 TTL 选项因模型而异。Claude Sonnet 4.5 要求缓存检查点前至少有 1,024 个 token。结论 ArisGlobal 将欧盟地理区域跨区域推理与针对恰当内容的提示词缓存相结合。缓存稳定的共享前缀,而不是个例文档,使实际输入成本降低约 50%,促成整体月度推理支出节省约 40%,并支持接入约 15% 的更多企业租户,而成本没有同比例增加。关键经验是,缓存的价值取决于复用程度,而非内容大小。对于多租户代理工作负载,重复使用的共享提示词前缀可能比每个个例都会变化的更大文档更有价值。如需了解更多信息,请参阅 Amazon Bedrock 提示词缓存文档、跨区域推理指南,以及 AWS 博客文章《在 Amazon Bedrock 上有效使用提示词缓存》。关于作者 Hitesh Sharma Hitesh 是一位技术领导者,拥有 25 年的软件工程和产品创新经验,其中包括 20 年的生命科学行业经验。他专注于应用生成式 AI、AI/ML 和云原生技术,解决药物警戒、药品安全、监管合规和患者安全领域的复杂挑战。Hitesh 曾领导开发能够创造商业价值的可扩展 AI 平台。他热衷于生成式 AI、创新,以及建设高绩效团队以推动生命科学技术发展。Rakesh Kumar Sharma Rakesh Kumar Sharma 是一位 AI/ML 领导者和研究人员,在生成式 AI、代理式 AI 和企业 AI 架构方面具有深厚专业知识。他专注于运用大语言模型、AI 代理、RAG 和现代机器学习框架设计与部署可扩展的 AI 解决方案,推动智能自动化、知识驱动的决策和可投入生产的 AI 平台。他的工作重点是设计结合推理、检索、工具和自主工作流的代理系统,以解决复杂的企业挑战。Shubham Gupta Shubham 是驻印度班加罗尔的 AWS 解决方案架构师,为独立软件供应商(ISV)提供支持。他与工程团队和管理团队合作,帮助他们在 AWS 上设计、构建和运行产品,涵盖从最初的架构设计到投入生产的全过程,尤其关注生成式 AI 和大规模运行时的韧性。工作之余,Shubham 热爱徒步旅行;他也将徒步时的准备精神和坚持不懈带入持久可靠的系统建设中。Vibhu Pareek Vibhu 是 AWS 高级解决方案架构师。自 2016 年以来,他一直使用架构完善且可重复的模式指导客户采用云技术。凭借在数据库、数据分析和 AI 方面的专长,他善于将复杂挑战转化为创新解决方案。工作之余,他喜欢短途徒步,以及羽毛球、足球和游泳等运动。