aifollow.news 搜索
返回 量子位 AI 报道
量子位 AI 报道· · 原发布时间

Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 辅助摘要

Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。

完整正文暂未获取。

前往原始出处阅读
发现内容有误?提交纠错