原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
黄仁勋表示,将模型运行速度提高一倍(例如通过软件或内核优化)就能使一家 AI 实验室的收入翻倍,但这只在需求超过产能时成立。
推理收入等于提供的 token 数量乘以每个 token 的价格。
更快的内核能让相同的 GPU、相同的电力和相同的建筑每秒处理更多 token。
如果每一个额外的 token 都能以当前价格找到买家,那么速度提高 2 倍确实能在不增加任何资本支出的情况下使收入翻倍。https://t.co/uBi358ndjP
· UTC+8