Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200
自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。
Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。
完整正文暂未获取。
前往原始出处阅读自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。
Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。
完整正文暂未获取。
前往原始出处阅读