原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
萨姆·奥尔特曼谈本地推理。
“从全球资源分配的角度看，让每个人都把全球有限的 DRAM 供应中的一部分放在自己的电脑里，而且只有 5% 的时间用得上，这相当糟糕。”
按每个 token 计算，数据中心轻松胜出。批量大小为 1 的本地模型，无论按哪种利用率指标衡量都很浪费，但它也是整个技术栈中唯一没人能替你弃用的部分。https://t.co/w9A93jliU9
· UTC+8
Sam Altman 质疑本地推理占用内存的效率
自动核验发布 · 本文由系统生成并完成证据核验，未经人工审稿。
Sam Altman 认为，从全球资源分配看，让有限的 DRAM 留在个人电脑中、仅在约 5% 的时间使用，效率很差。帖文作者则称，按每个 token 计算，数据中心更高效，但本地模型有不受服务方停用影响的优势。