正文 · AI 翻译
今天,Amazon SageMaker AI 为实时端点推出 KV 缓存感知路由(KV-aware routing),这是一种新的路由策略。它利用模型容器报告的缓存状态,将每个请求发送到已缓存其提示词较长匹配部分、且负载不过高的实例。它适用于通过大型语言模型(LLM)处理多轮对话、较长的共用提示词或高负载的团队。启用它需要在两个地方进行设置:为模型添加一个环境变量,让容器报告其缓存内容;在端点配置中将 RoutingStrategy 设置为 KV_AWARE。客户端仍使用与以前相同的 API 调用端点。它解决的问题是:聊天助手、检索增强生成(RAG)以及使用较长系统提示词的智能体等 LLM 应用会发送大量以相同文本开头的请求。模型会将处理提示词时完成的工作保存在 GPU 内存中的 KV 缓存里;当相同的开头再次到达同一实例时,模型便会跳过这部分工作。在本系列的第 1 部分中,我们介绍了 Amazon SageMaker AI 的前缀感知路由,它会将开头相同的请求发送到同一实例。前缀感知路由仅根据请求推断前缀缓存在哪个实例上,因此无法得知实例何时已清除该缓存。前缀感知路由仅根据请求选择实例。它对请求开头不超过所配置 PrefixLength 的部分进行哈希处理(对于 InvokeEndpoint 负载,按字节计算;对于兼容 OpenAI 的 Chat Completions API,按消息文本的字符计算),并将开头相同的请求发送到同一实例。它无法看到实例实际缓存了什么。当每个请求都以相同的共用文本开头时,这种方式效果很好,但在两种情况下效果较差:实例上的缓存会随时间变化。当 GPU 内存占满时,实例会清除较旧的 KV 缓存条目,但路由器仍将匹配的请求发送到该实例,仿佛缓存仍然可用。对话一开始较短。在多轮聊天中,每一轮都会增加对话历史。在请求长度仍小于 PrefixLength 时,每一轮新增内容都会改变路由器进行哈希处理的文本,因此下一轮可能落到另一个实例,而不是缓存了前几轮内容的实例。只有当请求长度超过 PrefixLength 后,一段对话的各轮才会留在同一实例上。本文将说明 KV 缓存感知路由的工作原理、适用场景,以及如何在单模型端点和推理组件端点上启用、调用并验证它。KV 缓存感知路由的工作原理 KV 缓存感知路由由三部分组成:模型容器报告其缓存的内容;SageMaker AI 为端点维护一个托管缓存索引,记录该状态;端点使用该索引为每个请求选择实例。使用 SM_VLLM_KV_EVENTS_CONFIG 开启事件后,容器每次存储或清除缓存条目时都会发布一个 KV 缓存事件,SageMaker AI 利用这些事件使索引保持最新。索引只保存指针:缓存内容的单向截断哈希值,每个哈希值都映射到持有相应内容的实例或推理组件副本。索引从不存储提示词、词元 ID、请求负载或 KV 张量。请求到达时,端点会将提示词切分为词元,并在索引中查找这些词元。索引返回缓存中保存了提示词一部分内容的实例或推理组件副本,以及各自保存了多少内容。例如,如果实例 A 缓存了某段对话的开头,该对话的下一轮就会发送到 A。由于索引按词元匹配,而不是按固定字节数匹配,多轮对话的历史内容即使不断增长,也能得到完整匹配。如果请求的提示词只有一部分与缓存内容相同,请求仍会发送到匹配部分最长的实例。随后,端点会权衡各候选实例缓存了多少提示词内容以及各自的繁忙程度,从中选出一个实例。 过于繁忙的候选实例会被跳过,因此,如果匹配长度最长的实例正忙,请求就会发送给下一个可用的最佳实例。如果没有候选实例具有有用的匹配,或者所有候选实例都正忙,请求就会回退到负载感知路由,如“路由开销与回退”中所述。与前缀感知路由不同,您无需为此配置并发阈值。索引也会随实例集群变化。缩容时,被移除实例的条目会被删除。扩容或更新替换实例时,新实例的缓存从空状态开始,因此延迟可能会在短时间内升高。图 1:SageMaker AI 端点上的 KV 感知路由。路由器查询托管缓存索引,并将请求转发给持有最长缓存匹配内容的实例。每个实例都会将 KV 缓存事件报告给索引。在图 1 中,端点有 3 个实例:A、B 和 C。每个实例都在自己的模型容器中运行相同的模型(“要求与限制”中列出的 AWS vLLM 深度学习容器),并在 GPU 内存中拥有自己的 KV 缓存,因此各实例持有不同的缓存内容:A 持有对话 1 的第 1 至第 3 轮,B 持有对话 2 和对话 3,C 持有文档 7。当对话 1 的第 4 轮到达时(步骤 1),路由器将其转换为词元,并在托管缓存索引中查找(步骤 2)。索引显示,A 持有该请求 6,200 个词元中的前 6,000 个,因此路由器将请求发送给 A(步骤 3),A 只需计算剩余的词元。如果 A 正忙,路由器会改为将请求发送给最空闲的实例(步骤 4)。KV 感知路由需要有可供选择的目标,因此只有在至少有 2 个实例或至少有 2 个推理组件副本时才会启用。只有 1 个实例时,每个请求都会发送给该实例,此设置不起作用。SageMaker AI 上的路由策略:随着此次功能发布,SageMaker AI 为实时端点提供 4 种路由策略。您可以在端点配置的 RoutingConfig 中按生产变体设置策略。策略、路由方式、推荐用途:RANDOM(默认):将每个请求发送给随机选定的实例。适用于通用工作负载、非 LLM 模型以及可互换的请求。LEAST_OUTSTANDING_REQUESTS:将每个请求发送给正在处理的请求数量最少的实例。适用于处理时间各不相同、且您希望所有实例的繁忙程度相当的工作负载。PREFIX_AWARE:将共享相同提示词前缀(长度不超过 PrefixLength)的请求发送给同一个实例。当请求数超过 ConcurrencyThreshold 时,请求会转发给另一个实例。适用于使用支持前缀缓存的任何服务框架、且请求开头固定位置有共享文本的 LLM 工作负载。KV_AWARE(新增):根据容器报告的缓存状态,将每个请求发送给持有匹配缓存前缀的实例,同时权衡匹配长度与负载。必要时回退到负载感知路由。适用于在受支持容器上运行的 LLM 工作负载,包括多轮对话、频繁的缓存驱逐,或仅在请求开头的部分内容上有重合的请求。前缀感知还是 KV 感知:这两种策略都会将请求发送到其前缀可能已被缓存的位置。它们的区别在于如何确定该位置,以及对容器有什么要求。 前缀感知路由 KV 感知路由 缓存位置来源:根据请求前缀推断;由容器报告缓存状态。每个请求增加的延迟:第 1 部分中为 1.3–1.9 毫秒;短提示词为几毫秒,长提示词更久,主要耗时在词元化。匹配方式:前 PrefixLength 个字节(Invoke API)或字符(OpenAI 兼容 API);词元,匹配最长的已缓存部分。参数:PrefixLength、ConcurrencyThreshold;无需参数。容器:任何启用了前缀缓存的容器;受支持且启用了前缀缓存和 KV 缓存事件的容器(参见“要求和限制”)。请求负载:任何 OpenAI 兼容的 Completions 或 Chat Completions 格式。性能:我们通过两种方式将 KV 感知路由与随机路由进行比较:一项在生产规模实例上开展的大规模基准测试,以及一项规模较小、可按照“验证 KV 感知路由是否正常工作”复现的比较。基准测试结果:在使用 Llama 3.1 70B Instruct 和 7 个 ml.p5.48xlarge 实例的基准测试中,我们进行了时长 30 分钟的测试,模拟 20 或 100 名用户进行多轮聊天和文档问答,提示词最长约为 64,000 个词元。与随机路由相比,在负载下处理长提示词时,KV 感知路由使首词元时间(TTFT)的 p50 值最多降低 97%,吞吐量最多提高 234%。它将 KV 缓存命中率从 3–48% 提高到 80–93%。即使负载较低,长提示词也能受益。短提示词的收益最小,因为可节省的预填充计算较少。结果取决于您的工作负载。要衡量您自己的流量能获得的收益,请使用“验证 KV 感知路由是否正常工作”中的检查方法。路由开销与回退:在路由请求之前,端点会将提示词词元化,并在托管缓存索引中查找。短提示词的查找需要几毫秒,长提示词则需要更久,主要耗时在词元化,但与缓存命中节省的时间相比,这部分开销仍然很小。对于使用标准选项的纯文本请求,计算出的词元会传给模型,因此提示词不会被词元化两次。如果查找耗时过长、未找到有用的匹配项,或者所有匹配的实例都很忙,端点会使用负载感知路由来路由请求,其行为与 LEAST_OUTSTANDING_REQUESTS 策略相同。请求仍会得到处理,但无法获得缓存带来的收益。端点无法将请求词元化时也会如此,除非属于“调用端点”中所述的两种错误情况。发布之初,SageMaker AI 控制台或指标不会报告这些回退情况,因此请使用“验证 KV 感知路由是否正常工作”中的检查方法,确认路由对您的流量有效。对于非常短的提示词,可节省的预填充计算较少,因此前缀感知路由可能就足够了。何时使用 KV 感知路由:前缀感知路由无需更改容器,但无法知道实例实际缓存了什么。KV 感知路由会向容器查询其缓存内容,因此更加精准。当存在大量可复用的已缓存上下文,且缓存承受压力时,它会带来收益:例如提示词较长、负载较高,以及实例用于 KV 缓存的 GPU 内存不足。在这种情况下,容器会逐出缓存中最近最少使用的部分,包括共享提示词和对话历史中的部分内容。例如,一个支持助手运行在 3 个实例上,每段对话都以相同的 6,000 词元知识库摘录开头。对话 1 从实例 A 开始,A 缓存了该摘录。流量上升后,A 的内存不足,容器逐出了该摘录的大部分内容。实例 B 最近处理了另一段使用同一摘录的对话,仍保留其前 4,000 个词元。当对话 1 的下一轮请求到来时,前缀感知路由再次将其发送到 A,A 则重新计算该摘录。 采用 KV 感知路由时,A 的容器已经报告了缓存驱逐事件,因此索引显示 B 持有最长的匹配缓存,请求便被发送到 B,而 B 只需重新计算剩余的词元。在负载较低时,A 不会驱逐任何内容,两种策略都会将请求发送到缓存完好的 A。KV 感知路由在请求复用缓存上下文、而固定长度前缀无法涵盖这种复用方式时最有帮助:多轮对话:每一轮都会发送完整的对话历史,因此缓存的前缀会随每轮增长。KV 感知路由会匹配整个已缓存的对话历史,并将每段对话持续发送到持有该缓存的实例。这对长对话尤其重要。在托管缓存索引反映缓存驱逐事件后,路由器不会继续将该对话发送到已丢弃其缓存的实例。具有共享上下文的高吞吐量推理:RAG 应用会在提示词开头加入检索到的文档,助手则会在每次请求中发送较长的系统提示词。当这些提示词较长且实例面临内存压力时,KV 感知路由很合适。如果共享前缀稳定且负载适中,前缀感知路由也很合适。将共享内容放在最前面,并保持相同顺序:如果相同的文档以不同顺序出现,提示词就不再具有相同的开头,因此无法匹配。难以调整前缀长度的工作负载:使用前缀感知路由时,你需要选择一个 PrefixLength,既能覆盖共享文本,又不会把本应留在一起的请求分散开。KV 感知路由无需调整前缀长度,因为它根据实际缓存的内容进行匹配。如果请求在开头共享稳定的系统提示词或文档、提示词较短,或者负载适中,那么无需更改容器的前缀感知路由是一个不错的选择。在这些情况下,实例有足够的 GPU 内存来保留共享文本的缓存,因此两种策略都能找到它。如果你的容器不受 KV 感知路由支持,也应选择前缀感知路由,因为只要容器启用了前缀缓存,它就适用。如果请求较短且可以互换,或者模型不是 LLM,就几乎没有可复用的缓存上下文,因此请使用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS。如果你不确定哪种策略合适,请先使用前缀感知路由,再用自己的流量测试 KV_AWARE 端点,并按照“验证 KV 感知路由是否正常工作”中的说明,比较首词元响应时间、吞吐量和命中率。要求与限制:启用 KV 感知路由前,请检查你的容器、端点和请求是否满足以下要求:容器:在推出时,KV 感知路由支持适用于 SageMaker AI 的 AWS vLLM 深度学习容器:使用 vLLM 0.33.0 或更高版本的镜像,或者 Amazon Linux 构建版 server-sagemaker-cuda-v2.8.0 或更高版本。必须启用前缀缓存(默认已启用),并且必须通过 SM_VLLM_KV_EVENTS_CONFIG 环境变量启用 KV 缓存事件,如“如何启用”中所示。SageMaker AI 不会替你设置该变量。端点和实例:支持 GPU 实例类型上的实时单模型端点和推理组件端点,包括动态低秩适应(LoRA)适配器。你也可以通过 AWS CloudFormation 配置 KV 感知路由。只有当单模型端点至少有两个实例,或者推理组件至少有两个副本时,路由才会生效;这些副本可以位于同一实例上。如果数量更少,你仍可设置 KV_AWARE,端点也不会被拒绝,但每个请求都会发送到唯一的实例或副本。请求:通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI 兼容 OpenAI 的 Chat Completions API 发送的兼容 OpenAI 的 Completions 或 Chat Completions 请求载荷。不支持 InvokeEndpointWithBidirectionalStream。如果设置了 model 字段,其值必须与 SM_VLLM_MODEL 的值匹配。 SDK 版本:用于跟踪 KV 缓存命中率的详细可观测性功能需要 AWS 命令行界面(AWS CLI)2.35.6 或更高版本,或 Boto3 1.43.31 或更高版本。SageMaker AI 会在端点开始处理流量前检查这些要求。如果检查未通过,请求或部署会失败,并显示说明缺少什么的消息。有关设置、验证行为和配额的完整列表,请参阅 SageMaker AI 文档。如何启用:您需要在模型和端点配置这两处启用 KV 感知路由。示例笔记本针对单模型端点和推理组件端点,端到端运行每个步骤。1. 在模型中启用 KV 缓存事件——创建模型时,将 SM_VLLM_KV_EVENTS_CONFIG 添加到容器环境中。没有这项设置,端点就没有可用于路由的缓存状态。此设置中的端口仅在实例内部使用,因此无需向网络开放。"Environment": { "SM_VLLM_MODEL": "<model-id-or-/opt/ml/model>", "SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://*:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://*:5658\"}" } 2. 在端点配置中选择 KV 感知路由——将生产变体的 RoutingConfig 中的 RoutingStrategy 设为 KV_AWARE:"RoutingConfig": { "RoutingStrategy": "KV_AWARE" } 如果您的容器镜像是为 CUDA 13 构建的,还要将生产变体中的 InferenceAmiVersion 设为支持它的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。否则,容器可能无法启动。请参阅 Inference GPU drivers。请检查您的账户是否有足够的端点配额来支持所选的实例类型和数量;如有需要,请在 Service Quotas 中申请提高配额。相同的 RoutingConfig 设置也适用于推理组件端点,包括动态 LoRA 适配器。对于适配器,KV 感知路由会从已加载该适配器的实例中进行选择。调用端点:调用端点的方式不变。使用 InvokeEndpoint 发送 Chat Completions 请求体,或使用 InvokeEndpointWithResponseStream 并在请求正文中设置 "stream": true:{"messages": [{"role": "user", "content": "What is your return policy?"}]} 您也可以通过 SageMaker AI 与 OpenAI 兼容的 Chat Completions API,使用 OpenAI Python 客户端调用端点。GitHub 上的 Use the OpenAI-compatible API with SageMaker AI 笔记本展示了如何针对单模型端点和推理组件执行此操作。KV 感知路由不应用第 1 部分中的多租户前缀隔离:它会忽略用于前缀感知路由的 ID 标头和 prompt_cache_key 字段。若请求将顶层 cache_salt 字段设为非 null 值,则会被拒绝并返回 400 错误。KV 感知路由增加了两种错误情况:如果请求的 model 字段指定了容器未提供服务的模型,请求会因 ModelError 而失败;如果请求的 cache_salt 为非 null 值,则会被拒绝并返回 400 错误。推理本身产生的错误仍按原方式返回,Amazon CloudWatch 中模型容器自身的日志可以帮助您查找原因。端点不会向您的账户提供其 KV 感知路由决策的日志,因此请使用“验证 KV 感知路由是否正常工作”中的检查方法,例如每个请求的 cached_tokens 和 KV 缓存命中率,来了解路由行为。验证 KV 感知路由是否正常工作:KV 感知路由不会添加自身的指标,因此您需要检查它对模型的影响。可以通过 3 种方式进行检查。检查每个请求的缓存命中情况——容器默认不报告提示词元详情,因此请在模型环境中将 SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS 设为 true。此后,每个响应都会包含 usage.prompt_tokens_details.cached_tokens,即从 KV 缓存中提供的提示词元数量。 当你发送后续轮次的请求,或发送一个与先前请求以相同内容开头的请求时,非零值表明该请求到达了保有其前缀的实例。在 Amazon CloudWatch 中检查模型指标——使用“要求和限制”中列出的 SDK 版本创建端点配置时,添加 --metrics-config '{"EnableDetailedObservability": true}' 以启用详细可观测性。随后,SageMaker AI 会发布模型容器的指标,包括 KV 缓存命中率和 TTFT。按“使用 PromQL 进行详细可观测性”中的说明查询这些指标。图 2:验证 KV 感知路由。(a) 一个后续请求显示,大部分提示词元由 KV 缓存提供。(b) SageMaker AI Insights 控制面板中同一端点的 KV 缓存命中率。与原本会采用的策略进行比较——对于大多数 LLM 工作负载,实际需要在 KV_AWARE 和 PREFIX_AWARE 之间选择,因此应比较这两种策略,并增加一个 RANDOM 端点作为基线。每个端点使用相同的模型、实例类型和实例数量,并以相同的并发度、在相同的时长内发送相同的提示,使路由策略成为唯一的差异。确保测试以生产流量中的方式复用上下文,例如使用多轮对话或共享文档。如果 KV_AWARE 和 PREFIX_AWARE 对你的流量表现大致相同,那么前缀感知路由是更简单的选择。作为此类比较的一个例子,我们在一个小型端点上比较了 RANDOM 和 KV_AWARE。我们向两个仅路由策略不同的端点发送了相同的多轮工作负载。每个端点都有 2 个 ml.g5.xlarge 实例,使用受支持的容器提供 Qwen3-4B-Instruct-2507 服务。每次运行发送 128 个请求:32 名模拟用户,每人针对从 12 份约 7,400 个词元的文档中选出的一份文档提出 4 个问题。每个问题都会重新发送截至当时的对话,因此第 1 个问题之后的每个问题都可以复用缓存的上下文。我们进行了两组配对运行:第 1 组先运行 RANDOM,第 2 组先运行 KV_AWARE;每组使用新文档,使两个端点都从空缓存开始。表 1 以第 1 组 / 第 2 组的形式显示结果。指标 RANDOM KV_AWARE CloudWatch ModelLatency 平均值(毫秒)4,124 / 5,100 1,235 / 1,314 CloudWatch ModelLatency p50(毫秒)3,153 / 4,083 656 / 700 CloudWatch ModelLatency p90(毫秒)8,334 / 10,746 3,213 / 3,535 CloudWatch ModelLatency p99(毫秒)17,779 / 16,249 6,876 / 7,238 第 2–4 个问题的首词元时间 p50(毫秒)1,284 / 1,632 237 / 245 第 2–4 个问题的首词元时间 p90(毫秒)5,039 / 6,101 456 / 367 所有请求的首词元时间 p90(毫秒)5,003 / 5,683 1,465 / 1,759 由缓存提供的提示词元占比 0.761 / 0.701 0.903 / 0.903 运行时长(秒)31.1 / 36.9 17.9 / 18.0 CloudWatch OverheadLatency 平均值(毫秒)13.1 / 8.1 27.1 / 27.5 表 1:相同工作负载下的 RANDOM 和 KV_AWARE 路由。每个单元格显示第 1 组 / 第 2 组的结果。ModelLatency 和 OverheadLatency 是该端点的 Amazon CloudWatch 指标。首词元时间和运行时长由客户端测量。缓存占比是一次运行中 cached_tokens 总和除以 prompt_tokens 总和。在两组运行中,KV_AWARE 的 CloudWatch ModelLatency 均更低(平均值分别为 1,235 和 1,314 毫秒,对比 4,124 和 5,100 毫秒),第 2–4 个问题的首词元时间也更短(p50 分别为 237 和 245 毫秒,对比 1,284 和 1,632 毫秒)。其缓存占比在两组中均为 90%,高于对照组的 76% 和 70%。OverheadLatency,即 SageMaker AI 在模型容器外花费的时间,使用 KV_AWARE 时平均高出 14 到 19 毫秒。这些结果只涉及一种模型、一种实例类型和一种使用长篇共享文档的工作负载,因此请按本节前述方法测量你自己的流量。图 3 显示 SageMaker AI 控制台为两个端点展示的模型延迟图表。图 3:Amazon CloudWatch 中 RANDOM 端点(蓝色)和 KV_AWARE 端点(橙色)的一分钟平均模型延迟,采用共用的 0–7 秒坐标轴。 每个端点都针对新文档上的相同工作负载连续运行了 7 次,先运行 RANDOM。RANDOM 的平均模型延迟为 4.9–6.2 秒,KV_AWARE 为 1.2–1.3 秒。最后一个 RANDOM 数据点较低,是因为该分钟只包含这次运行的最后 20 个请求。如果两者的表现都不优于 RANDOM,请按照“要求和限制”中的说明,检查容器中是否已启用前缀缓存和 KV 缓存事件。示例笔记本 示例笔记本将本文中的步骤应用于 Qwen/Qwen3-4B-Instruct-2507,分别使用 2 个 ml.g5.xlarge 实例(单模型端点的最低要求),以及具有 2 个副本的推理组件端点。它使用两种 API 调用端点,在容器日志中展示后续请求由 KV 缓存提供服务,但不比较路由策略。最后请运行其中的清理单元格,以免持续产生费用。清理 为避免持续产生费用,请删除您创建的资源。对于推理组件端点,请先删除推理组件(delete-inference-component),然后删除端点、端点配置和模型(delete-endpoint、delete-endpoint-config、delete-model)。实践建议 启用 KV 感知路由后,以下 3 项做法有助于保持其有效性。监控 KV 缓存命中率——上线后继续启用详细可观测性,在 SageMaker AI Insights 控制面板(图 2b)中持续关注 KV 缓存命中率,或按照“验证 KV 感知路由是否正常工作”中的说明使用 PromQL 查询。为冷启动做好准备——带有新上下文的第 1 个请求,例如新文档或对话的第 1 轮,在任何实例上都没有缓存。KV 感知路由加速的是后续请求,而不是第 1 个请求。为扩缩容和更新期间重建缓存做好准备——如“KV 感知路由的工作原理”所述,新实例启动时缓存为空。为缓解延迟增加,单模型端点可使用滚动更新或蓝绿更新,推理组件可使用 RollingUpdatePolicy。结论 KV 感知路由为 SageMaker AI 实时端点提供了第 2 种方式,将请求发送到缓存了其提示词的位置。它利用模型容器报告的缓存状态,因此当实例因内存压力逐出缓存时,路由也会随缓存状态变化。本系列第 1 部分介绍的前缀感知路由,对于稳定的共享提示词、较短的上下文和中等负载,仍是更简单的选择。对于这两种策略,SageMaker AI 都在端点内部处理路由,因此您无需自行构建或运行路由层。只需在模型中设置 1 个环境变量,并在端点配置中设置 "RoutingStrategy": "KV_AWARE",即可启用。KV 感知路由现已在所有支持 SageMaker AI 实时推理的 AWS 商业区域提供,适用于使用受支持容器的端点。该功能不收取额外费用。SageMaker AI 会为您运行和管理缓存索引,您只需为端点使用的实例付费。KV_AWARE 是现有 RoutingStrategy 字段的一个新值,因此您无需创建新的配置对象,旧版 AWS CLI 和 Boto3 也接受该值。要开始使用,请阅读文档,在小型端点上运行示例笔记本,然后使用您自己的流量副本比较 KV_AWARE 和 PREFIX_AWARE。关于作者 Dmitry Soldatkin Dmitry 是 AWS 的 Amazon SageMaker AI 推理专家解决方案架构全球负责人。他帮助客户设计、构建和优化生成式 AI 与机器学习解决方案,重点关注推理性能优化、深度学习以及在整个企业范围内扩展机器学习。在此前的职位中,他曾领导金融服务、保险和电信公司的团队。Shashi Kiran Shashi 是 AWS 的分布式推理专家解决方案架构全球负责人,致力于解决客户在扩展和优化 AI/ML 推理方面面临的复杂挑战。 他帮助客户设计和构建用于生成式人工智能和深度学习的分布式推理服务平台,并将客户需求和实际应用中的见解转化为 Amazon SageMaker 的产品方向。Apoorva Chandra Apoorva 是 Amazon SageMaker AI Inference 团队的产品经理,专注于端点体验和托管体验。她与在生产环境中部署生成式人工智能模型的客户合作,让加速计算资源更易获取、运行成本更低、运维更可预测。工作之余,Apoorva 喜欢徒步、探访咖啡馆,以及与朋友共度时光。Shijie Lyu Shijie 是 Amazon SageMaker AI Inference 团队的软件开发工程师,致力于大规模语言模型推理和训练。他的工作涵盖 KV 感知路由、LoRA 适配器服务、推测解码、快速扩缩容和异构集群。他还构建强化学习后训练基础设施,使用 CUDA 和 Triton 优化 GPU 内核,并为 vLLM 和 SGLang 开源项目做出贡献。