aifollow.news
返回 vLLM 发布记录
vLLM 发布记录· · 原发布时间 AI 评分54

vLLM 发布 v0.34.0,默认启用可扩展 KV 缓存

AI 辅助摘要

vLLM v0.34.0 新增对 10 款模型的支持,并改为在预热后按实际空闲显存确定 KV 缓存大小。更新可在高并发时提高吞吐量、缩短首个输出的等待时间,但部分模型的逐词生成延迟会上升;旧版 GPU 运行器也已移除,升级现有部署时需检查兼容性。

完整正文暂未获取。

前往原始出处阅读
发现内容有误?提交纠错