Zyphra 发布 MI355X 专用注意力内核 ZYFA
Zyphra 发布了开源的 ZYFA,面向 AMD Instinct MI355X 的长上下文预填充计算。在真实模型激活值测试中,其 FP8 内核吞吐量为 AMD 默认内核库 AITER 的 1.16—1.76 倍;目前仅支持 MI355X 上的预填充前向计算,不支持解码或分页 KV。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读Zyphra 发布了开源的 ZYFA,面向 AMD Instinct MI355X 的长上下文预填充计算。在真实模型激活值测试中,其 FP8 内核吞吐量为 AMD 默认内核库 AITER 的 1.16—1.76 倍;目前仅支持 MI355X 上的预填充前向计算,不支持解码或分页 KV。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读