正文 · AI 翻译
客户越来越多地在 GPU 上自行托管大语言模型(LLM),以控制成本、准确性和延迟。然而,自行托管往往意味着为重复的 GPU 计算付费,因为每台服务器上小型、独立的缓存无法容纳或共享 AI 智能体和聊天应用反复发送的、不断增长的上下文。以法律 AI 助手为例,每段对话都可能积累数十万个词元的案件历史记录。当律师午饭后回到某个对话时,LLM 可能需要几分钟才能开始响应。接收该请求的 GPU 服务器内存中没有这段历史记录。因此,GPU 必须先为所有这些词元重新计算键值(KV)注意力状态,这一步称为预填充,然后才能生成第一个字。同样的情况也会拖慢恢复运行的编程智能体、代理式 AI 助手和文档问答助手。使用 Amazon ElastiCache 的分布式 KV 缓存可将自行托管的 LLM 推理成本降低多达 40%,并将首词元生成时间(TTFT)缩短多达 80%。分布式 KV 缓存在 GPU 本地缓存之外,增设一个与 GPU 服务器集群相邻的共享层,使任何服务器都能跨会话、路由切换和服务器故障,在数天内重复使用 KV 状态。《Announcing distributed KV caching for self-hosted LLMs with Amazon ElastiCache》深入介绍了技术细节和性能基准测试。本文详细介绍 Agent Toolkit for AWS 中的分布式 KV 缓存技能。借助这项技能,你只需在编程智能体中输入几条提示,就能评估并设置分布式 KV 缓存。该技能会指导智能体检查你的工作负载能否从分布式 KV 缓存中受益,为测试或生产工作负载设置缓存集群,并排查 LLM 推理缓存问题。该技能适用于 Kiro、Claude Code、OpenAI Codex 以及其他支持 Agent Skills 的编程智能体。我们将通过 4 段对话介绍这项技能的工作方式:诊断首词元生成缓慢的问题、估算缓存规模和价格、设置缓存,以及修复传输故障。为什么要为 KV 缓存开发一项技能?它能做什么?缓存对你的工作负载有多大益处,取决于所用 LLM 模型、用户流量模式和提示路由选择等特征,估算起来可能很复杂。我们开发了 KVTrace 工具,让你在部署任何基础设施之前,就能根据自己的模型和流量,免费获得接近实际情况的收益估算。这项技能简化了评估和设置过程,并指导你的编程智能体在更改任何内容之前遵循以下最佳实践:先检查是否适用,再产生开支。智能体通过只读的 describe-instances 调用查看你的 GPU 服务器集群,并统计弹性网络适配器(EFA)接口数量。它只会询问无法查看的信息:推理引擎、模型、张量并行(TP)规模、KV 数据类型、服务器价格,以及提示重复出现的频率。如果发现不适用,它会停下来并说明原因。使用你的工作负载数据。对于较短的提示,加载 KV 状态可能比重新计算更耗时。提示长度超过某个阈值(切换点)后,读取缓存才更划算。这个切换点和提示重复出现的频率决定了缓存是否物有所值。智能体使用 KVTrace 根据你的流量免费估算节省的费用;如果节省的费用不足以覆盖缓存成本,它就会停下来。每个数字都会标明来源。使用你已经运行的技术栈管理各推理服务器的配置。智能体会将 LMCache 连接器添加到你现有的 vLLM 或 SGLang 引擎中,包括 llm-d 和 Ray Serve 等服务框架下的 vLLM 工作节点。它会保留你的路由方式和引擎设置,并为推理服务器集群中的服务器统一设置 KV ID 生成机制(哈希算法和种子)及明确的 KV 数据类型。设置一致可避免键不匹配,否则每台服务器写入的 KV 状态可能无法被其他服务器找到。落实最佳实践。在承载生产流量之前,智能体会清空本地缓存层,并检查两次从缓存加载数据的运行是否产生相同输出,因为布局不匹配可能导致缓存命中计数器显示正常,却给出错误答案。对于创建、更改或删除资源等影响较大的操作,该技能会指导智能体寻求明确批准。先决条件 从估算收益到完成设置,这些流程需要满足以下条件:支持 Agent Skills 的编程智能体,例如 Kiro 或 Claude Code;支持 EFA RDMA 写入的 GPU 实例,例如 p5;LMCache 0.5.8rc1 或更高版本,以及 vLLM 0.11.1 或更高版本(或 SGLang 0.5.13 或更高版本);如果要设置缓存,还需要在 cache.i8ge.48xlarge 节点上运行 Valkey 9.1 或更高版本的 ElastiCache。流程 1:分布式 KV 缓存能否发挥作用?我们向智能体提供了以下提示:“我的 vLLM 服务器集群在 p5 实例上为一个法律助手提供服务,上下文长度为 64K 个词元。用户返回对话时,首个词元需要 13 秒才能生成,因为 GPU 每轮都要重新计算完整的对话历史。该如何解决?”智能体将这一请求与该技能匹配,并在 Kiro 中加载技能前请求批准。其回答指出,延迟是由缓存未命中时的预填充造成的,而其中有 3 点对实际部署很重要。首先,它会检查是否存在无需新增基础设施的解决办法。如果关闭了前缀缓存,重新开启可以加快连续对话轮次的响应。如果启用会话亲和性后,GPU 前缀缓存命中率已经超过 90%,你可能不需要共享 KV 缓存。其次,它会指出法律 AI 助手特有的限制。共享 KV 缓存可能让一个租户通过响应时间判断另一租户是否发送过相同文本。必须隔离的案件应使用独立缓存,而共享缓存的租户应将各自的 ID 加入 KV 哈希。第三,它不会猜测所需规模,而是询问模型和 TP 规模、KV 数据类型、副本数量和路由方式,以及用户在对话轮次之间等待多久。图 1:法律助手的问题诊断和建议架构 流程 2:估算节省的费用 为了估算收益,我们向智能体提供了一个示例:由 8 个 p5 实例组成的服务器集群,为一个多轮检索增强生成(RAG)助手处理包含 64,000 个词元的提示。智能体查询了 GPU 和缓存节点的价格,并根据基准测试推算出预填充速率和 KV 大小。最后,智能体建议使用 2 个 cache.i8ge.48xlarge 节点构建分布式 KV 缓存。下图展示了智能体的摘要及其使用的输入数据。图 2:智能体的摘要和输入数据。它从 AWS 价格表中查询了两种价格,并解释了重新计算费用是如何得出的 我们没有提供缓存命中率,即缓存能够提供的、原本需要重新计算的词元所占比例。因此,智能体展示了多种情景,并建议运行 KVTrace 以确定缓存命中率。KVTrace 会记录 vLLM 或 SGLang 的 KV 缓存事件,然后在离线状态下,针对每种候选容量的共享 KV 缓存重放这些事件。记录器绝不会写入词元 ID 或提示文本。跟踪数据包含块哈希和词元数量。块哈希由词元内容生成,因此如果提示包含敏感信息,请传入 --anonymize-key-file。该技能会在每台 GPU 服务器上,在一个有代表性的时段内进行记录,例如完整的 1 个工作日。智能体还指出,只有减少服务器数量,或者用相同数量的服务器处理更多流量,释放出的 GPU 时间才能转化为经济收益。图 3:来自合成演示流量的 KVTrace 报告顶部。报告建议选择能够达到最高可节省金额的 90% 的最小容量。流程 3:设置分布式 KV 缓存 我们向智能体提供了以下提示:“从零开始,为 LLM 推理设置共享 L2 KV 缓存。”在创建任何资源之前,智能体会请求你确认在你的可用区按估算价格部署建议数量的缓存节点。获得确认后,它会创建具有 EFA 权限的适当安全组,以及一个采用自定义参数组和缓存驱逐策略的 Valkey 9.1 集群。LMCache 会获得专用缓存用户,其密码存储在 AWS Secrets Manager 中。智能体会准备 GPU 服务器,并在每台 GPU 服务器上启动 1 个 LMCache 服务器。然后,它会使用一个小型测试对象检查集群,并确认重复的提示通过远程直接内存访问(RDMA)从缓存加载 KV 状态。对于 GPU 服务器集群,该技能会对照 KVTrace 的预测,检查实测的 L2 占比。有关包含每条命令的完整设置过程,请参阅 Amazon ElastiCache 文档中的《Getting started with distributed KV caching》。流程 4:故障排查 提示:“我的 LMCache 服务器能够连接 ElastiCache 集群,BLOB.RDMA_HELLO 也成功了,但实际数据传输一直失败。INFO largeobj 显示 rdma_write_errors 持续增加。出了什么问题?”智能体按照该技能的故障排查指南,根据这些症状推断,可能的原因是安全组阻止了组内成员之间的 EFA 流量。它会提供检查和修复该规则的命令。图 4:智能体解释症状,然后给出检查和修复安全组的命令 开始使用 你可以从 Agent Toolkit for AWS 获取分布式 KV 缓存技能或 AWS MCP Server。然后,描述你的问题,或让 AI 智能体帮助降低 GPU 服务器集群的成本和延迟,即可开始使用。要进一步了解使用 ElastiCache 的分布式 KV 缓存及性能基准测试,请参阅 AWS 博客。你可以在 Amazon ElastiCache 文档中了解如何使用 AWS 命令行界面(AWS CLI)入门,并在 GitHub 仓库中进一步了解 KVTrace。关于作者 Ravi Yadav Ravi 是 AWS 的全球首席专家,负责数据与 AI 产品的市场推广。在加入 AWS 之前,Ravi 曾在 Moody’s、Mesosphere、IBM 和 Cerner 从事产品管理、战略和工程工作。Neeraj Ramachandran Neeraj 是 Amazon ElastiCache 的软件开发工程师。他是 valkey-large-object 模块的维护者,专注于开发面向内存数据存储的分布式系统。他此前曾在 Amazon Managed Streaming for Apache Kafka(Amazon MSK)从事数据流处理工作。Chaitanya Nuthalapati Chaitanya 是 AWS 内存数据库服务部门的高级技术产品经理,专注于 Amazon ElastiCache for Valkey。此前,他曾构建采用生成式 AI、机器学习和图网络的解决方案。工作之余,Chaitanya 忙着培养各种爱好,目前包括网球、滑板和桨板运动。