vLLM 报告 Vera Rubin NVL72 上的 DeepSeek-V4.1-Flash 吞吐表现

vLLM 在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash；在 SemiAnalysis AgentX 测试中，每 GPU 吞吐量为每秒 170 万 token，用户侧 P90 速度为每秒 387 token。材料称，在相同交互速度下，吞吐量是 GB300 NVL72 的 58 倍。