Kinference 发布开源推理控制平面,面向 vLLM 与 Kubernetes
Kinference 面向使用 vLLM 和 Kubernetes 构建推理平台的团队,提供按 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等功能。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读Kinference 面向使用 vLLM 和 Kubernetes 构建推理平台的团队,提供按 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等功能。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读