我们能把计算推进到多远?
How far can we push computing?
MIT Tech Review 梳理了摩尔定律、Dennard 定律、Koomey 定律、Kryder 定律和 Keck 定律等衡量计算与通信进步的曲线正在放缓或失效,而六大超大规模云厂商今年在算力基础设施上的支出预计超过 7000 亿美元,约为 2025 年纪录的两倍。文章指出这些缩放定律只是对工程系统的观察,并非基本物理定律,由量子力学、广义相对论和信息论决定的物理极限仍远低于当今数据中心的水平。
正文 · AI 翻译
1959年12月29日晚,在加州理工学院举行的美国物理学会会议上,物理学家理查德·费曼发表了一场题为《底层还有很大空间》的演讲,探讨我们如何可能在极小的尺度上操纵和控制事物。他论证说,没有任何物理定律阻止我们把整部《大英百科全书》写在一枚大头针的针头上,或者把有史以来写下的每一本书都存储进一粒尘埃大小的东西里——又或者,最终做到逐个原子地排列物质。生物学早已实现了这一点的某些版本(一个活细胞把它的指令保存在一缕DNA中),所以这一切显然都是物理定律所允许的。我们只是还没有造出工具而已。
换句话说,底层还有很大空间。他是对的,而且几十年来我们几乎不费吹灰之力就深入了那片空间。晶体管——计算机芯片核心处的开关——尺寸一再减半,使芯片的密度翻倍;一台曾经占满整个房间的计算机,如今能装进一块手表里。但这种轻松的深入如今已经停滞,最明显的迹象就是数据中心的扩建。六家最大的超大规模云厂商——即运营着世界上最大此类设施的公司——今年在计算基础设施上的支出预计将超过7000亿美元,约为它们在2025年创下的纪录的两倍,它们把混凝土、铜和硅灌入新站点,速度之快超过了电网为其供电的能力。这种扩建靠蛮力换取性能,即增加更多我们已经知道如何制造的东西。而另一种进步,也就是让计算机芯片变得更好的那种进步,正悄然走向枯竭。
那些追踪20世纪信息时代惊人进步的曲线,如今正随着21世纪智能时代的到来而弯折——甚至断裂。摩尔定律描绘的是晶体管能在硅上构建得多密集,它已经放缓;登纳德定律指出,即使某块计算机芯片上塞满越来越小的晶体管,其功耗仍保持不变,而这条定律已经终结;库米定律追踪的是我们每消耗一焦耳能量能榨取多少计算量,它已开始衰退;克赖德定律描述的是比特能被多紧密地打包以构建磁存储,它已放缓到爬行般的速度;而凯克定律描绘的是单根传统光纤所能承载的信息量的指数级增长,它正在趋于平缓。
但这些缩放定律仅仅是对我们已工程化的系统的观察;它们并非基本的物理定律。计算与通信的物理极限——由量子力学、广义相对论和信息论所决定——远低于当今任何数据中心的水平。缩放定律描绘的是我们身后已经走过的下降之路。基本物理极限描绘的则是仍然存在的空间。
其中一些极限在实践中可能遥不可及。但它们仍然值得探索,因为这项工作有双重回报:一次在技术发展上,一次在基础科学上。一个逼近某一极限的概念验证系统,既是一项迫使停滞范式让位的技术,也是一项加深我们对物理定律本身理解的实验。
在1959年的演讲中,费曼自掏腰包设立了两个各1000美元的奖项。其中一个将授予第一个造出小于0.4毫米立方体的可运转电动机的人。他期望这一挑战能迫使某人发明出一种真正全新的微技术。然而,大约一年后,一位名叫威廉·麦克莱伦的加州理工学院培养的工程师带着造好并运转起来的电动机出现了。这台四分之一毫克的机器大致有一粒沙那么大,是在显微镜下用一根牙签和一台钟表匠的车床手工组装而成的。据费曼自己说,他只是略感失望。这个奖项以最无趣的方式证明了他的观点。那片空间确实就在底层,但达到这第一个里程碑根本没有用到任何新技术——只是一个格外有耐心、双手稳健的人。
第二个奖项的境遇不同,也更有教益。它被提供给任何能将一页文本在每个方向上都缩小25000倍、小到足以让整部《大英百科全书》装进一个针头的人。这个奖项在四分之一个世纪里无人认领。它最终于1985年被斯坦福大学研究生汤姆·纽曼赢得,他使用一台电子束光刻机——当今芯片制造中所用图案化工具的前身——按所需比例转录了《双城记》的开篇一页。
然而,下降早已全面展开。在费曼演讲的前一年,刚被德州仪器聘用、还没有假期可休的杰克·基尔比,那年7月几乎独自一人在实验室里度过,而同事们则在休假,到那年9月,他已经把一块锗片制成的晶体管、一个电容器和三个电阻器连接在了一起。这证明整个电路可以从一块半导体中雕刻出来。
这台机器大约只有一粒沙那么大,是在显微镜下用一根牙签和一台钟表匠的车床手工组装而成的。
这个想法迅速传播开来,芯片上的元件数量按照一个极为规律的节奏不断翻倍,规律到戈登·摩尔在1965年一篇行业杂志文章中,干脆画了一条穿过这一趋势的线,并将其延伸到未来。这条线后来被称为摩尔定律。
不过,摩尔从未声称晶体管可以永远缩小。他观察到,在任何给定时刻,都存在某个元件数量,能使每个元件的制造成本尽可能低。1965年,这个数字是50。晶体管放得太少,就会浪费芯片;塞得太多,制造错误就会成倍增加,良率随之崩溃。正是这个使成本最小化的数字,在以稳定的速度翻倍。
许多衡量计算与通信随时间进步的曲线一直在趋于平缓。最著名的是摩尔定律,它追踪芯片上的晶体管密度。最明显的放缓出现在登纳德缩放上,此处以时钟速度表示,它在大约2004年停止攀升。在这张图中,直线代表周期性翻倍。线条越接近水平,翻倍就越慢。
来源:斯坦福CPU数据库;英特尔;苹果;TechInsights;库米等;计算机历史博物馆;IBM;东芝;希捷;贝尔系统技术期刊;OFC与ECOC会议论文
四十年来,这种缩小还带来了另一份馈赠:登纳德缩放,以IBM工程师罗伯特·登纳德命名,他在1974年阐明了这一点。每当晶体管缩小,它们的开关速度也会更快,耗电也按比例减少,因此每一代都是自动的胜利。然而,大约在2004年,这份馈赠耗尽了。芯片再也无法散发让每个晶体管全速运行所产生的热量;时钟速度曾一路冲过3吉赫兹,此时却停止攀升,英特尔取消了他曾承诺的4吉赫兹处理器。业界转向将多个处理核心封装到一块芯片上,而不是让单个核心更快,进步的质地随之改变。
如今,进步主要通过扩大系统规模来换取——将更多芯片连接在一起,用更多内存供给它们,在它们周围配置更多电力和冷却——而不是通过缩小晶体管。这在人工智能领域最为明显:自2010年以来,训练算力,即为训练一个模型所花费的算术运算总数,大约每六个月翻一番,远远快于摩尔定律所允许的速度。其中很少一部分进步来自缩小。计算机芯片仍在变得更好,晶体管仍在改进、密度仍在提高,但每一代新产品的到来都更慢,在速度和功耗上的回报也比上一代更少。不过,这种放缓中没有任何一点是物理定律。计算的各个组成部分仍远高于其根本极限。
在我们讨论那些极限之前,值得衡量一下这种缩小已经走了多远。自第一个晶体管问世以来的近八十年里,芯片上的晶体管密度增长了10个数量级——即1后面跟10个零,也就是100亿倍。如今,每平方毫米可容纳超过1亿个晶体管(每块芯片可容纳1000亿个或更多)。计算速度增长得更多,达到12个数量级,即一万亿倍;每次运算的能耗下降了17个数量级,从早期真空管机器每次运算约100焦耳,降至逻辑门单次开关约1飞焦——即一千万亿分之一焦耳。
这些都不是小小的改进。但计算性能的地板还要低得多。我们还能低到什么程度?大约在世纪之交,麻省理工学院物理学家塞思·劳埃德把这个问题的极端情形提了出来:想象一块普通物质,一千克——大约相当于一台笔记本电脑的质量——被塞进一升的空间里。物理定律被推到绝对极限时,究竟能从这一千克中榨出多少计算能力?在2000年发表于《自然》的一篇题为《计算的终极物理极限》的论文中,他算出了答案,并把那台想象中的机器称为终极笔记本电脑。
这样一台机器能达到的速度由其能量决定。根据E = mc²,一千克物质蕴含约9 ×10^16焦耳,大致相当于整个美国电网每两天消耗的电量。把所有这些都用于计算,终极笔记本电脑的运行速度约为每秒5 ×10^50次运算,比当今领先的芯片快约35个数量级。
问题在于,以那样的速度运行会是什么样子。将一千克的静止能量集中用于纯粹的计算,会把机器变成温度约十亿度的等离子体,这种状态更接近大爆炸后最初几分钟的宇宙,而不是我们所能认出的任何笔记本电脑。
客气地说,这样的机器还非常遥远。下一个极限,即决定一次计算必须浪费多少能量的极限,则近得多,而且企业已经在朝它推进。1961年,IBM物理学家罗尔夫·兰道尔证明,信息与热力学是绑定在一起的:擦除一个比特必须释放最低限度的热量,在室温下约为2.9 ×10^-21焦耳。这个数字很小,但如今一块芯片在每次开关上花费的能量,是这个数字的几十万倍。
存储密度也遵循自身的极限,而这个极限一直延伸到引力。一个空间区域能容纳多少比特?1981年,物理学家雅各布·贝肯斯坦在研究黑洞热力学时确定了这个量:任何有界区域内的信息受其大小和所含能量的限制。对于一个劳埃德终极笔记本电脑大小的区域,这大约是10^42比特,即每立方毫米约10^36比特——比今天同样大小的设备所能存储的信息量高出近30个数量级。
几十年来,我们不断将计算机和通信技术的性能推向越来越接近基本极限。最大的变化在于单次计算所需的能量:自20世纪40年代以来,这一数值已下降了17个数量级,即十万万亿倍。但即便降幅如此之大,我们距离由信息论和热力学定律所设定的基本物理极限仍差几十万倍。差距最大的是计算速度:我们当前的芯片距离量子力学为一千克计算机所允许的极限还差约35个数量级——也就是1后面跟着35个零。
最后一个极限关乎通信——即信息能被移动的速度。每一根导线和每一根光纤最终都依靠量子——能量传播所依托的不可分割的包(在光的情形下即光子)——来承载信号。1973年,苏联数学家亚历山大·霍列沃确定了量子流所能传递的信息量的终极极限。一瓦光每秒只能携带有限数量的光子,而量子力学决定了它们能以多少种可区分的方式到达——即接收方最多能分辨出多少种消息。在霍列沃极限下,单信道传输一瓦功率,每秒可传递约10^17比特。如今的光链路或互连在相同功率下只能达到这一速率的大约百万分之一。但在数据中心内部,这一差距正在迅速缩小:每一代互连都被要求以更低的功耗传输更多的比特,在电子器件上花费更少的能量,并利用光来覆盖更长的距离。
因此,有四个极限标志着真正的底线,它们源自我们所拥有的三个最基本的理论。量子力学决定了一台机器能计算多快。广义相对论限制了它能记住多少。信息论则同时限制了它通信的速度,以及一个不可逆步骤的最低能耗。通往这些极限没有路线图,而且无论是否有人尝试,它们都成立。以这些极限来衡量,下降才刚刚开始。
最大的差距在于计算速度:该技术的当前状态与其极限之间相差35个数量级。这相当于一纳秒与宇宙年龄的2亿倍之间的差别。这也是四个差距中最难弥合的。要弥合它,你必须找到一种完全不同的计算机构建方式,一种能够利用一块物质中所蕴含的全部能量进行计算的方式。
如果量子计算机能够将一块物质中的每一个自由度——每一个原子,以及它运动或自旋的每一种方式——都转化为我们可以可靠操控的计算单元,它们就能带我们走完这段路程的一部分。而在实践中,当前的量子计算机恰恰相反,要耗费大量物质才能造出每一个计算单元。每一个量子比特(qubit,即普通计算机中比特的量子对应物)都要用上万亿个原子。由于每个量子比特都很脆弱,必须将数十到数千个量子比特编织在一起,才能造出一个足够可靠、可用于有用计算的量子比特。
能量是距离底线最近的地方。当今芯片的运行能耗比兰道尔极限高出不到六个数量级。传统计算逻辑只能弥合其中一部分差距。一个可靠的开关必须以足够大的能量翻转,使热涨落永远不会意外将其翻转,而这一余量使晶体管无论怎样改进,都停留在兰道尔极限之上的一百到几千倍。
但有一些想法可以通过改变计算的物理机制来降低这一能量。1973年,IBM的查尔斯·贝内特证明,任何计算都可以被安排成不丢弃任何东西。这种可逆计算完全不需要支付擦除的代价,因为每一步都可以反向运行,以恢复输入的内容。
这种方法被称为绝热逻辑或可逆逻辑,首批商业化尝试目前正在进行中。例如,为将可逆逻辑商业化而创立的初创公司Vaire Computing于2025年测试了其首款芯片;该芯片具有谐振电路,可回收部分开关能量,而不是将其作为热量排放掉。
与此同时,缩小存储密度差距意味着要构建在分子尺度上利用全部三个维度的设备。最具体的例子是DNA,它以自身原子的尺度存储信息,而生物学已将其用作存储介质长达40亿年。费曼出于保守估计,猜测一个比特需要125个原子组成的立方体。DNA只需约30个原子就能存储一个比特。阻碍DNA存储进入数据中心的不是其密度,而是写入的成本和速度,后者仍与任何实用水平相差许多个数量级。费曼所想象的一粒尘埃中的图书馆,在物理上是允许的,只是受制于制造技术。
通信距离Holevo极限大约六个数量级——仅一百万倍——而Holevo极限很可能是业界最先触及的门槛。互连的增长速度快于电网为其供电的能力,因此业界正转向每比特能耗更低的发射器和接收器。英伟达和博通现在出货紧贴硅片构建的光互连,因此信号离开芯片封装时已经以光子形式存在。相比之下,量子计算机开始依赖用量子信号(通常以单光子形式)编码信息的互连。随着经典互连在每比特上消耗的资源越来越少,它们正朝着这些量子互连已经运行的区间下降。Holevo极限正是两者将会相遇之处。
有人有理由提出异议:35个数量级的差距是海市蜃楼——如此遥远的极限并不能说明任何真实机器将来会做什么,指着它就像靠地平线导航。这一异议有其道理。可逆逻辑、量子计算和DNA存储,40年来一直都被说成“还有10年”。而且,建造一台耗尽一块物质中全部能量的计算机,很可能永远都不切实际。
但这些差距是邀请。存在一个由我们能建造多少所决定的天花板:我们能制造的器件数量;我们能为运行它们而发出的电力;以及我们能组装进单一系统的资本、土地和冷却水。也存在一个由一焦耳、一秒和一克物质能被用来计算、存储或传输多少所决定的地板。我们可以通过建造更多来进步,也可以通过接近地板来进步,这意味着让每个器件用更少做更多。
这些差距是邀请。我们可以通过建造更多来进步,也可以通过接近地板来进步,这意味着让每个器件用更少做更多。
在上个世纪的大部分时间里,我们同时沿着这两条道路前进。我们建造了更多计算机,而计算机本身也变得更小、更好。现在我们主要是在建造更多,而天花板正进入视野。电网只能输送那么多吉瓦,一个地区也只能腾出那么多土地和水。然而,关于下一步的每一张路线图都从同一个起点绘制:我们已经拥有的机器。建造更多这样的机器,你就会向天花板攀升;建造更好的机器,你会再下降一点,但只能降到晶体管自身的地板。还有第三个方向。从一个在地板上运行的物理实验开始,然后向上建造。
这件事以前做过。晶体管在成为产业之前是一个物理实验;激光器在承载海底世界通信之前是实验室里的奇珍;巨磁阻在十年内从物理学发现变成了每个磁盘驱动器的读头。在每一个案例中,物理实验都先出现并展示了什么是可能的,然后工程师把它变成一台可以放大的机器。建造在这些基本极限下运行的实验,然后在不损失性能的情况下将它们放大,这就是剩下的工作。下一代机器不会通过下降来达到;它们将从底层向上建造。底层还有充足的空间。
Volkan Gurses是麻省理工学院博士后研究员,也是英伟达访问研究员。他在加州理工学院获得电气工程博士学位。他研究信息技术的基本物理极限,并构建接近这些极限的集成电路和系统。
AlphaGo战胜围棋冠军李世石十年后,今天的人工智能仍未利用上使那场胜利成为可能的机制。