aifollow.news
返回 vLLM 官方博客
vLLM 官方博客· · 原发布时间 AI 评分34

vLLM 首日支持 Thinking Machines 的 Inkling 2 Mini

AI 辅助摘要

vLLM 从发布首日起支持 Thinking Machines 的 Inkling 2 Mini。该模型采用循环式混合专家架构,中间层运行三次;vLLM 为每轮运行保留独立的 KV 缓存,并支持融合内核和 DSpark 推测解码。

按该来源的展示范围,站内仅提供摘要。

前往原始出处阅读
发现内容有误?提交纠错