aifollow.news
返回 vLLM 官方博客
vLLM 官方博客· · 原发布时间 AI 评分40

Kinference 发布开源推理控制平面,面向 vLLM 与 Kubernetes

AI 辅助摘要

Kinference 面向使用 vLLM 和 Kubernetes 构建推理平台的团队,提供按 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等功能。

按该来源的展示范围,站内仅提供摘要。

前往原始出处阅读
发现内容有误?提交纠错