Article · AI translation
NVIDIA Nemotron 3.5 Super VL 加入了已在 AWS 上提供的 NVIDIA Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 模型之列。它是一个拥有 1200 亿参数的混合专家（MoE）模型，每个 token 激活 120 亿参数。它将推理和工具使用能力与文本、图像、文档及视频理解能力结合起来，使单个模型能够处理文本和视觉任务。本文探讨其架构和用例，然后展示如何在 Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon EKS Auto Mode 和 Amazon SageMaker HyperPod EKS 上部署该模型。关于 Nemotron 3.5 Super VL NVIDIA Nemotron 3.5 Super VL 是一个从 Nemotron 3 Ultra 蒸馏而来的开放多模态模型。NVIDIA 发布了模型权重、训练数据集和训练后处理方案，因此你可以针对特定领域的工作负载定制模型，并在自己控制的基础设施上运行它。模型详情：总参数量 1200 亿，每个 token 激活 120 亿参数。采用混合 Mamba-2、MoE 和注意力层，配备 RADIO 视觉编码器。上下文长度最高可达 100 万个 token。输入：文本、图像、文档和视频。输出：文本。提供 BF16 和 NVFP4 检查点。NVIDIA 报告称，该模型在 Hermes Bench 上取得 63.44%，在 LangChain 智能体评估中取得 87.05%，在 CharXiv 图表推理基准测试中取得 80.8%。（技术报告）模型架构 Nemotron 3.5 Super VL 采用混合 Mamba-Transformer MoE 架构，交错配置 Mamba-2 层、注意力层和专家层。稀疏路由使每个 token 激活 1200 亿参数中的 120 亿个，因此每个 token 的计算量与小得多的模型相当，但 GPU 内存仍需容纳全部权重。Mamba-2 层在生成过程中维持固定大小的状态，因此其内存占用不会像 KV 缓存那样随序列长度增长，从而降低了长上下文的成本。递归共享的多 token 预测（MTP）头支持原生推测解码。用例 Nemotron 3.5 Super VL 支持结合推理与视觉理解的智能体工作流程：编码：测试和验证代码、分析错误、建议修复方法。网络研究：交叉核对并验证搜索工具返回的来源。文档智能：读取表格、图表和页面布局以生成摘要。网络安全：识别漏洞并对威胁进行分级处置。视频理解：搜索、内容处理、审核和事件分析。通过 NVIDIA 参考实现、实践指南和 NVIDIA Agent Toolkit，Nemotron 3.5 Super VL 可与主要的开放式智能体框架和编排系统集成。有关受支持框架的完整列表，请参阅 NVIDIA 开发者博客。最低 GPU 配置 vLLM（GPU 型号／最低数量）BF16 NVFP4 B200/GB200 8 2 B300/GB300 4 1 H200 8 4 H100 16 8 在 AWS 上部署 本节概述架构、验证和性能评估方法。aws-do-eks 项目提供了在 AWS 上部署 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra 的详细操作指南，涵盖先决条件、集群创建、模型权重下载、部署、测试、基准测试和清理。同样的模式也可应用于 NVIDIA Nemotron 系列的其他模型。部署架构 参考实现在标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上运行。使用 EKS Auto Mode 时，AWS 会代你管理集群中的扩缩容、GPU 和 EFA 支持。每种编排方案使用相同的模型部署 Kubernetes 清单。每个集群都有一个托管 Kubernetes API 的控制平面，以及由 CPU 和 GPU 节点组成的数据平面。CPU 节点运行系统和测试 Pod，GPU 节点运行模型。Amazon Elastic Container Registry（Amazon ECR）存储容器镜像，共享的 Amazon FSx for Lustre 卷存放模型权重，Elastic Fabric Adapter（EFA）连接 GPU 节点。下图展示了一个标准 Amazon EKS 集群。图 1：用于提供 NVIDIA Nemotron 模型服务的标准 Amazon EKS 集群架构 NVIDIA Dynamo 可以在单个节点上以聚合方式提供模型服务，也可以将预填充和解码放在不同节点上，以分离方式提供服务。对于视觉语言模型，图像／视频编码阶段还可以在独立节点上以分离方式运行。验证与性能 这一架构已在 p6-b200.48xlarge（8 块 NVIDIA B200 GPU）和 p5en.48xlarge（8 块 NVIDIA H200 GPU）实例上得到验证。你可以使用 NVIDIA Collective Communications Library（NCCL）all-reduce 微基准测试来验证集群及其网络。图 2：NCCL all-reduce 验证测试期间的 GPU 和 EFA 利用率 在 NCCL 测试运行时，观察到所有 GPU 均有使用率且所有 EFA 适配器均有流量，即可验证集群按预期工作。你可以使用 NVIDIA aiperf 工具测量已部署模型在集群上的性能。图 3：已部署模型的 aiperf 性能指标 左上窗格中的 aiperf 输出显示关键性能指标（KPI），例如首 token 延迟（TTFT）、token 间延迟（ITL）和每秒 token 数（TPS）吞吐量。通过在不同并发级别下进行测量，我们可以研究延迟和吞吐量如何随并发请求数量变化。这些信息对于周密规划容量和模型部署拓扑至关重要。aws-do-eks 容器提供自动化功能，可通过单条命令可视化 GPU 和 EFA 利用率，以及运行 aiperf 和并发扫描。图 4：比较聚合式部署与分离式部署的并发扫描 上述并发扫描图表显示，在 2 个节点上，Nemotron 3.5 Super VL 的推理在聚合式部署和分离式部署之间具有更低的 TTFT，而 ITL 大致相同。这样的图表有助于做出部署决策。将延迟预算画成水平线，例如 TTFT 低于 600 毫秒（约 1 秒）、ITL 低于每个 token 100 毫秒。同时低于这 2 条线的最右侧数据点，表示该拓扑的 1 个副本在服务级别目标（SLO）内所能提供的吞吐量；此处为 c32，即每秒约 320 个 token。规划容量时，用目标每秒 token 数除以这一单副本吞吐量，以确定需要部署多少对预填充与解码节点。每次变更后（精度、TP/PP 配置、聚合式与分离式部署之间的切换、新版 Dynamo 或 vLLM），重新运行相同的扫描，就能立即看出权衡取舍。曲线向右下方移动意味着性能改善。由于 TTFT 和 ITL 分开绘制，图表还能告诉你应扩展哪一侧：ITL 上升意味着需要增加解码容量，TTFT 上升意味着需要增加预填充容量。结论 本文介绍了使用 NVIDIA Dynamo 和 vLLM，在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上提供 NVIDIA Nemotron 模型服务的架构和性能评估模式。要开始使用，请利用参考实现在你自己的账户中部署 Nemotron 3.5 Super VL。AI on EKS 项目中还提供更多推理蓝图。若想进一步获得在 EKS 上进行推理的实践经验，请报名参加我们即将举办的研讨会。致谢 作者特别感谢所有参与开发、验证、审阅和发布本文内容的人士，包括但不限于：Eliuth Triana、Jiahong Liu、Kshitiz Gupta、Abhijeet Patil、Mike Stefaniak、Chris Splinter、Sheetal Joshi、Aditya Ramakrishnan、Natarajan Kumar、Anish Maddipoti。关于作者 Alex Iankoulski Alex 是 AWS 全球专家组织的首席解决方案架构师。他专注于使用容器编排 AI/ML 工作负载。Alex 是 do-framework 的作者，也是一名 Docker Captain；他热衷于应用容器技术，在解决世界上最重大挑战的同时加快创新步伐。过去 10 年，Alex 一直致力于帮助客户在 AWS 上实现更多目标、推动 AI 和 ML 普及、应对气候变化，并让旅行更安全、医疗服务更好、能源利用更智能。Anton Alexander Anton 是 AWS 的生成式 AI 高级专家，专注于使用 Amazon SageMaker HyperPod 扩展大型训练和推理工作负载。作为资深 CUDA 程序员和 Kubernetes 专家，他帮助企业整合 NVIDIA 技术以进行分布式训练，专长于 EKS 和 Slurm 实现。Anton 与中东和北非（MENA）地区及政府部门的客户密切合作，优化生成式 AI 解决方案。他有一项关于机器学习边缘计算系统的专利正在申请中。工作之余，Anton 是巴西柔术和大学拳击冠军，喜欢驾驶飞机。Leah Tucker Leah 是一名高级 AI/ML 专家解决方案架构师，专注于在 EC2 和 EKS 上使用开源模型进行自行管理的实时推理。她擅长推理工程、模型基准测试、生产架构设计，以及从冷启动到持续吞吐量的性能优化。她近期的工作包括 EKS 上的开源 TTS 推理技术栈，以及针对 G 和 P 实例系列的 GPU 基准测试工具。Curt Lockhart Curt 是 NVIDIA 的 AI 解决方案架构师，帮助客户处理 AI 技术栈各个方面的工作，从推理和训练到智能体工作流程。他有一颗教师之心，乐于让复杂的 AI 变得易于理解。Abdullahi Olaoye Abdullahi 是 NVIDIA 的高级 AI 解决方案架构师，专长于将 NVIDIA AI 库、框架和产品与云 AI 服务及开源工具集成，以优化 AI 模型部署、推理和生成式 AI 工作流程。他与云服务提供商合作，提升 AI 工作负载性能，并推动采用由 NVIDIA 提供支持的 AI 和生成式 AI 解决方案。Wenhan Tan Wenhan 是 NVIDIA 的解决方案架构师，协助客户大规模采用 NVIDIA AI 解决方案。他的工作重点是加速深度学习应用，并解决推理和训练方面的挑战。