←新闻详情

阿易 AI Notes更新于 10月22日 10:13

英伟达 Vera Rubin 节点:零线缆全液冷,装机 5 分钟

在几万张显卡连成片的超级机房里,最让运维工程师崩溃的从来不是芯片算得不够快,而是蜘蛛网一样的线缆接触不良和散热死角,

AI 导读

英伟达 Vera Rubin 节点采用内部零电缆、零电线与 100% 全液冷设计,节点组装时间从 2 小时压缩到 5 分钟以内。该节点装有两块 GPU,液冷比例从上一代的 80% 提升到 100%,消除了线缆接触不良与风冷散热死角。组装时间缩短意味着代工厂出货周转速度提升二十多倍。

引用

AYi

@AYi_AInotes

老马刚在最新访谈里扔出了一组让整个科技圈倒吸凉气的一线算力账本,他说连已经变成老古董的英伟达 H100 芯片,现在的租赁价格居然比当年刚出厂全新时还要贵,甚至直言明年算力硬件的回本周期缩短到短短 6 个月也不是没可能。 他之所以把底牌掀得这么透,是在回应为什么 SpaceX 出租自家算力资源时,宁可麻烦也坚持只签短期合同, 因为在他的账本里,每瓦特电力能榨出来的有用智能每年都在暴涨,现在要是跟客户签了长期死合同,等于把未来翻倍的租金白白送人,实际上他们到期的短约,全是以更高的每瓦特美金单价续签的,几乎所有超大规模云巨头和几十家小公司都在死缠烂打求他们多租一点,只要点头,手头的算力能瞬间租出去好几倍。…

展开完整原文

老马刚在最新访谈里扔出了一组让整个科技圈倒吸凉气的一线算力账本,他说连已经变成老古董的英伟达 H100 芯片,现在的租赁价格居然比当年刚出厂全新时还要贵,甚至直言明年算力硬件的回本周期缩短到短短 6 个月也不是没可能。 他之所以把底牌掀得这么透,是在回应为什么 SpaceX 出租自家算力资源时,宁可麻烦也坚持只签短期合同, 因为在他的账本里,每瓦特电力能榨出来的有用智能每年都在暴涨,现在要是跟客户签了长期死合同,等于把未来翻倍的租金白白送人,实际上他们到期的短约,全是以更高的每瓦特美金单价续签的,几乎所有超大规模云巨头和几十家小公司都在死缠烂打求他们多租一点,只要点头,手头的算力能瞬间租出去好几倍。 平时我们买电子产品或者给机房折旧,默认铁律是硬件落地打八折,新芯片一出,老款服务器除了降价甩卖就是等着报废。 但老马用第一性原理点破了这波算力周期最反直觉的倒挂逻辑,决定一台服务器贵不贵的,从来不是里面的硅片有多新,而是上面跑的 AI 软件能用一度电换回多少有用的智商, 随着大模型算法持续跃迁,同一块老 H100 在今天每瓦特能干的活比两年前多了一大截,软件的进化硬生生把旧硬件的租金给托举着往上涨。 为了证明外面的算力饥荒到底有多荒诞,他在现场讲了一个亲自去外面找卡的真实笑话,他们本来想把手里的一部分推理算力外包给其他云厂商, 好腾出自家机房去训大模型,结果找了一圈,活生生演了一出英国喜剧蒙提派森里的空奶酪店小品:去问人家有没有最新的 GB300,没有;退一步问 GB200,也没有, 再退一步去问谷歌的 TPU 或者亚马逊的 Trainium,还是没有;最后被逼无奈问总有老掉牙的 H100 吧,对方满口答应说海外机房好像还剩一点,结果回头查完库存摊手说,对不起,连海外的 H100 也一并租光了。 这就像淘金热最疯狂的年月,哪怕是一把生了锈的二手铁锹,只要今天挖出来的金矿纯度比去年高十倍,这把旧铁锹在黑市上的日租金就会比两年前刚出厂时还要贵,而街上所有挂着五金店招牌的铺子,货架早就空得连一颗螺丝钉都摸不出来了。 其实这给我们所有在关注 AI 基建、做算力预算和看二级市场的人一个重要提醒, 当华尔街还在拿着传统硬件三年折旧的财务表格担心算力过剩时,一线机房连上三代的旧卡都在涨价续租,企业现在规划 AI 业务,千万别指望等明年硬件降价再去白嫖算力,在超级智能算力缺口远未见底之前,谁能提前锁死稳定的电力和推理通道,谁才拿得到下半场的入场券。 不过听老马讲空奶酪店故事的时候也得留个清醒,他现在既是出租算力的卖方,又背着极重的星舰与太空算力基建估值叙事,强调短约涨价和 6 个月回本本就最符合他拉高资产溢价的利益, 况且他自己在原话最后也留了退路,特意连说了两遍我不是说这一定会发生,只是说算力明年 6 个月回本并非完全不可能,把掌门人的极度乐观预期和已经发生的短约涨价切开听,才不会被情绪带偏。 外行盯着芯片代际算折旧,内行盯着每瓦特产出的智商算溢价。 https://t.co/AI5Vkn0ZMl

查看原帖

正文

在几万张显卡连成片的超级机房里,最让运维工程师崩溃的从来不是芯片算得不够快,而是蜘蛛网一样的线缆接触不良和散热死角,

老黄刚在台上举起的这台 Vera Rubin 节点,直接用最暴力的工业设计把这两个痛点连根拔起:内部零电缆、零电线、100% 全液冷,原本要拧 2 小时的节点现在不到 5 分钟直接装完。

他在现场把这台装了两块 GPU 的新节点翻过来展示,里面竟然连一根电缆、一根电线都没有,而且从上一代的 80% 液冷直接做到了彻底的 100% 全液冷。

平时外行看英伟达的发布会,默认只盯着今年单卡算力又涨了几倍、显存又多了多少 G,总觉得算力军备竞赛拼到最后纯粹是台积电的晶圆制程游戏。

但老黄这把砍掉所有线缆的操作,直接点破了万卡集群时代真正卡脖子的死穴,当大厂开始把几万张顶级显卡塞进同一个机房时,

最致命的故障源早就不是芯片本身了,而是上一代节点里蜘蛛网一样密布的铜缆和那 20% 还要靠风扇吹的散热盲区,工人装一台要拧两小时线束,机房跑起来只要松一根线或者积一点灰,几千万美金的训练任务就得当场中断重来。

这就像把以前满地飞线、还要靠电风扇吹热气的作坊式流水线,直接封装成了一块严丝合缝的乐高积木,拔掉所有线缆意味着彻底消灭了人工接错线和接触不良的物理故障点,100% 全液冷则把最后一点风冷死角彻底清零,把两小时的苦力活压缩成五分钟的标准化盲插。

说白了,这给所有在盯算力基建、做硬件工程和看科技周期的兄弟透了一个极狠的底牌,顶级科技巨头的护城河早就从单点芯片设计,彻底卷到了工厂制造节拍和机房运维效率上,组装时间从 120 分钟砸到 5 分钟以内,意味着代工厂的出货周转速度直接翻了二十多倍,云厂商部署新机房的停机维护成本更是被砍到了脚脖子。

这意味着三流的硬件升级是在旧机箱里拼命塞满电线,一流的工业革命是把两小时的穿针引线直接压成五分钟的乐高盲插。 https://t.co/RQc0YOulNd

来源

阿易 AI Notes