Buoyant 发布 Kinference 测试版，为 Kubernetes 上的 vLLM 请求制定路由策略

Buoyant 发布 Apache 2.0 许可的 Kinference，当前版本为 v0.1.0-alpha.7，可按租户、模型和 GPU 池状态决定请求去向。其自报测试显示，共享前缀任务的首字生成时间中位数从 6.88 秒降至 0.31 秒；无共享前缀时则没有显著改善。