Rohan Paul 评 Sam Altman 谈本地推理
Sam Altman on local inference.
AI 导读
Rohan Paul 引述 Sam Altman 对本地推理的看法：从全球资源分配角度看，让全世界有限的 DRAM 都躺在各人电脑里、只用到 5% 是很糟糕的。Rohan Paul 补充说，按每 token 成本算数据中心明显占优，batch size 1 的本地模型在任何利用率指标上都是浪费，但它也是整个技术栈里唯一没人能对你下架的部分。
正文 · AI 翻译
Sam Altman 谈本地推理。
“从全球资源分配的角度来看，让全世界有限的 DRAM 供应中的一大批都躺在每个人自己的电脑里、只被用到 5% 的时间，这相当糟糕”
按每 token 计算，数据中心轻松胜出。batch size 为 1 的本地模型在任何利用率指标上都是浪费，但它也是整个技术栈中唯一没人能对你下架的部分。https://t.co/w9A93jliU9