←News detail

Electronic Technology ApplicationUpdated Nov 2 09:59

Altman says running AI locally wastes scarce DRAM, advocates maximizing cloud utilization

English text is being prepared.

AI summary

OpenAI CEO Sam Altman said on the podcast "Cheeky Pint" hosted by Stripe co-founder John Collison that having everyone keep globally scarce DRAM memory at home while using it only 5% of the time is a rather bad global misallocation of resources, and that when supply is constrained, the cloud should be used to maximize utilization. He also called progress in resolving the memory shortage "terrible," arguing that memory manufacturers are conservative in capital expenditure due to historical loss cycles, and that the "invisible hand" is failing. He opposes a single superintelligence and prefers "Agent Teams," and said tokens are a "fake unit" of business value.

Why read this

AI score 55

On the podcast, Altman brought the memory allocation debate between local inference and cloud compute into the open, and also offered his views on the form of agents and token-based billing.

Topics

Tags

Body

11月1日消息,OpenAI CEO山姆·奥特曼(Sam Altman)近日做客Stripe联合创始人John Collison的播客《Cheeky Pint》,在边喝啤酒边聊天的氛围中,针对对当前AI行业最敏感的算力与内存短缺问题提出了一个颇具争议的判断:把稀缺的DRAM内存放在个人电脑里跑本地AI,是一种“相当糟糕”的全球资源错配。

本地跑AI是浪费DRAM?

Altman在节目中讨论内存供应链紧张时,将矛头指向了“本地推理”(local inference)。他说:“很多人想要本地推理,不知怎的,他们以为问题已经解决了——因为我们会有开源模型,我们能在自己的电脑上跑它们,所以我们就不需要数据中心里的那些东西了。”

但他紧接着指出,“从全球资源分配的角度来看,让每个人家里都放着一堆全球稀缺的DRAM内存,而它们只有5%的时间在被使用,这其实相当糟糕。”Altman强调,在供应极度受限的环境下,“你需要的是云端实现最大化的利用率。但很多人的直觉恰恰相反。”

Altman关于本地推理“浪费内存”的言论,不可避免地带有利益立场。因为,OpenAI的商业模式建立在云端闭源模型的付费访问之上,如果开源模型能在本地设备上良好运行,订阅需求可能被削弱。批评者完全可以指出,这位CEO在为自家数据中心的内存需求辩护。

但抛开动机不谈,Altman指出的资源分配问题并非虚构。在DRAM供应紧张、价格持续攀升的当下,全球稀缺的内存究竟应该优先流向7×24小时运转的云端推理集群,还是分散在数百万台大部分时间闲置的个人电脑中,确实是一个值得认真对待的效率命题。真正问题在于,这个选择并不应该由一家云端AI公司的CEO来替所有人做出,同时也并不是所有企业和个人用户都愿意将隐私信息发送到云端。

“看不见的手”正在失灵

Altman对内存短缺的严峻程度并不掩饰。当被问及解决方案进展如何时,他的回答只有一个词:“糟糕(Bad)。”

他将矛头指向了内存制造商的历史创伤。Altman解释说,DRAM厂商曾经历过“投资200亿美元建产能,最后只收回190亿美元”的残酷周期,多次因过度扩张而濒临破产。因此,即便当前AI需求爆发,这些厂商在资本支出上依然异常保守。他用经济学经典概念评价这一局面:“我认为‘看不见的手’现在正在失灵。”

这一判断有着一定的现实数据支撑。SK海力士本周公布了创纪录的季度营业利润,并警告内存短缺可能持续至2030年;三星的季度利润同样连续第四个季度创下新高。内存厂商在享受卖方市场红利,而下游的PC、手机和游戏机厂商则在承受成本飙升。

超级智能不如“智能体团队”

Altman采访中抛出的另一个值得关注的观点,是对“单一超级智能”的明确反对。他讨厌“Agent Swarms(智能体群)”这个词,更倾向于称之为“Agent Teams(智能体团队)”。

他给出的理由是,“凭直觉,我宁愿让一万亿个智能略微超越人类的AI加入社会,也不愿让一个智商达到一万亿的AI加入社会。” Altman认为,大量能力略超人类的AI彼此竞争、制衡,更接近人类社会保持活力的方式,而非将所有能力集中于一个系统。

这一立场也延伸到了安全讨论中。当被问及能否将远超人类的模型“关进沙盒”时,Altman回应称:“沙盒在某种程度上有效,监控在更进一步的程度上有效,但最终,你需要对模型的对齐有巨大的信心。”他坦言,如果面对一个比最聪明的人类安全研究员还要聪明一百万倍的AI,“你真的愿意信任那个沙盒吗?”

数学突破与“时代的合拢”

对OpenAI近期在数学领域的突破,Altman透露称,公司内部曾有一周刻意放开算力限制,让模型全力攻克高难度问题,其中解决纳维-斯托克斯方程的成本约为1000万至2000万美元。他预计,一年后可以用百分之一的成本重做同样的证明。

但兴奋之余,Altman描述了一种意料之外的情绪:“我连续两晚大部分时间都醒着,因为太兴奋了睡不着。我极度兴奋和快乐,但我也感受到了比预期更多的悲伤、忧郁,以及某种东西正在结束的感觉。”他将这种感受比作见证一个时代章节的合拢——人类学者数十年未解的难题,在模型面前接连倒下。

他还不小心透露了内部模型的代号:“Model Name-Hold My Beer”。他说,看着这个模型把各个领域研究者学术生涯中最难的问题一个接一个击倒,“那景象令人难以置信。”

代币定价:一个“虚假的”商业单位

在商业层面,Altman对当前AI行业通行的Token计费机制给出了坦率评价。他在播客中称代币是“一种虚假的单位”:“它们在某种意义上是真实的,但它们不是一个好的单位。从商业价值的角度看,它们是虚假的。”

但他也承认,消费者对“明明白白消费”的需求太强烈,以至于行业不得不保留这一机制。他曾询问用户是否愿意为同样的产出支付更高价格、但以更一致的代币数量计价,“即使我们虚增代币,他们也会说:哦,我宁愿你虚增代币让我多付,因为我知道那里有一个真实的东西。”

Source

Electronic Technology Application