vLLM 发布 v0.34.0,默认启用可扩展 KV 缓存
vLLM v0.34.0 新增对 10 款模型的支持,并改为在预热后按实际空闲显存确定 KV 缓存大小。更新可在高并发时提高吞吐量、缩短首个输出的等待时间,但部分模型的逐词生成延迟会上升;旧版 GPU 运行器也已移除,升级现有部署时需检查兼容性。
完整正文暂未获取。
前往原始出处阅读vLLM v0.34.0 新增对 10 款模型的支持,并改为在预热后按实际空闲显存确定 KV 缓存大小。更新可在高并发时提高吞吐量、缩短首个输出的等待时间,但部分模型的逐词生成延迟会上升;旧版 GPU 运行器也已移除,升级现有部署时需检查兼容性。
完整正文暂未获取。
前往原始出处阅读