aifollow.news
返回 vLLM 官方博客
vLLM 官方博客· · 原发布时间 AI 评分40

vLLM 首日支持 Thinking Machines 的 Inkling 2 Small

AI 辅助摘要

vLLM 已支持 Thinking Machines 的 Inkling 2 Small,涵盖 attention residuals、用于 relative-bias attention 的新解码内核、与周边操作融合的 all-reduce,以及 DSpark 推测解码。这项更新主要面向模型部署开发者。

按该来源的展示范围,站内仅提供摘要。

前往原始出处阅读
发现内容有误?提交纠错