vLLM 首日支持 Thinking Machines 的 Inkling 2 Mini
vLLM 从发布首日起支持 Thinking Machines 的 Inkling 2 Mini。该模型采用循环式混合专家架构,中间层运行三次;vLLM 为每轮运行保留独立的 KV 缓存,并支持融合内核和 DSpark 推测解码。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读vLLM 从发布首日起支持 Thinking Machines 的 Inkling 2 Mini。该模型采用循环式混合专家架构,中间层运行三次;vLLM 为每轮运行保留独立的 KV 缓存,并支持融合内核和 DSpark 推测解码。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读