vLLM 首日支持 Thinking Machines 的 Inkling 2 Small
vLLM 已支持 Thinking Machines 的 Inkling 2 Small,涵盖 attention residuals、用于 relative-bias attention 的新解码内核、与周边操作融合的 all-reduce,以及 DSpark 推测解码。这项更新主要面向模型部署开发者。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读vLLM 已支持 Thinking Machines 的 Inkling 2 Small,涵盖 attention residuals、用于 relative-bias attention 的新解码内核、与周边操作融合的 all-reduce,以及 DSpark 推测解码。这项更新主要面向模型部署开发者。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读