aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分34

Sciforium 展示 DeepSeek-V4.1-Flash 在四块 AMD GPU 上的生成速度

AI 导读

Sciforium 展示,DeepSeek-V4.1-Flash 在四块 AMD Instinct MI355X GPU 上以 P90 达到每秒生成 1,129 个 token,并保留 DeepSeek 原始权重。其针对客户流量调优的推测解码草稿模型提高了候选 token 的接受率;内核优化则融合了部分算子及通信与计算。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

Sciforium 展示了 DeepSeek-V4.1-Flash 在 4 块 AMD Instinct MI355X GPU 上以 P90 达到每秒输出 1,129 个 token,同时保留 DeepSeek 的原始权重。

这一提升来自对推测解码的改进。Sciforium 的 Traffic-tuned Drafter 根据客户流量进行调优,因此它提出的 token 有更多被接受,草稿长度也得以提高到 7 个 token。

另外,内核方面的工作融合了 mHC 和投影等小型操作,并将 all-reduce 与计算融合。

按这一速度,生成 10,000 个 token 大约需要 9 秒。

引用Hassan Akbari@hassanience
译文
不久前,人们还在质疑 AMD GPU 能否跟上。今天,我们正在它们上面创下纪录。P90 下每秒输出 1,129 个 token。真实的生产流量,不是玩具项目。 一点信心,大量工程工作。以下是我们如何做到的。https://t.co/3boDmk3LQF
原文

not long ago, people questioned whether AMD GPUs could keep up. today, we’re setting records on them. 1,129 output tps at P90. Real production traffic, not a toy project. a little faith, a lot of engineering. here’s how we did it. https://t.co/3boDmk3LQF

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

产品
发现内容有误?提交纠错