←新闻详情

Latent Space更新于 10月25日 22:00

可编程数据中心:SF Compute CEO Evan Conrad 谈 GPU 合约的物理交割与独立算力市场

The Programmable Data Center — Evan Conrad, SF Compute — Latent Space

AI 导读

SF Compute 正从转租 GPU 集群扩展到自建云运营能力,以实现 GPU 合约的物理交割——买家拿到的是可用算力,而非按指数结算的现金。CEO Evan Conrad 认为,拥有大型硬件或推理业务的公司难以运营中立交易所,因此 NVIDIA 无法自建这一市场。SF Compute 通过匹配不同约束条件的订单让算力在技术迭代期可交易,并支持按需切分 InfiniBand 网络结构。

正文 · AI 翻译

从GPU交易到物理交割、独立市场与可编程算力 Latent.Space 10月20日·37分钟 收听本期对话 37分钟 阅读文字记录 在YouTube上观看

本期录制于AIE纽约站全新“算力交易”分论坛的场边。下一站请关注AIE CODE——我们为全球顶尖智能体工程师打造的最后一站旗舰活动。

在云计算的早期,我们的前嘉宾Martin Casado做出了一项颠覆性创新,以至于思科感受到足够威胁,斥资6亿美元将其收购,而VMware则以13亿美元出价竞购: 在X上查看帖子 ↗

这个概念就是软件定义网络,它通过将控制平面与数据平面分离,实现了路由网络的虚拟化。如今,这场革命正降临到GPU领域——过去,运行自己的超级计算集群需要预先投入5000万至1亿美元,以获得承诺并完成从硬件到固件再到内核的整个技术栈;而如今,SF Compute让你不仅能买卖当下和未来的GPU小时,还能以编程方式控制从网络到内存的一切。

我们上次与Evan聊的是算力商品化。在AI Engineer纽约站,我们聊得更深入:物理交付一份GPU合约需要什么?在算力市场具备流动性之前,哪些条件必须成立?

从卖一间房到经营一家酒店

Evan用酒店作类比来描述SF Compute的扩张。客户想要一间房,接着又要清洁、客房送餐和安保服务。最终你会发现,交付这间房意味着要经营整家酒店。SF Compute最初试图转租一个集群;此后,公司已构建起云服务商的大部分运营能力,以交付其市场上交易的算力。

这项工作就是物理交割:买家拿到的是可用算力,而非简单地按指数获得一笔现金支付。它把集群的物理约束带入了市场本身。工作负载能否被中断?从存储中恢复需要多快?它需要哪一代GPU、什么样的网络和软件配置?这些细节既影响合约,也影响价格。

让算力可交易

SF Compute没有坐等每个GPU集群都变得可互换,而是将约束条件各异的订单进行匹配。Evan认为,这让算力在技术不断变化的过程中仍可交易,代价是流动性被分散到更多变体上。我们还讨论了现货与远期定价、批处理与实时推理,以及为什么某个指数可能会与实际购买算力的成本脱节。

独立性是Evan主张由市场运营商来运营的核心理由。他认为,拥有大型硬件或推理业务的公司,其自身利益使其更难运营一个中立的交易所。我们还谈到了那些不那么光鲜的工程工作:实地考察站点、设计集群、运行背板,以及让基础设施可编程。接近尾声时,他以按需切分InfiniBand网络结构的能力为例进行了说明。

嘉宾:Evan Conrad,SF Compute首席执行官。

节目笔记

我们此前与SF Compute的对话

2020年油价期货为何跌为负值——EIA

SF Compute客户如何转售闲置GPU算力

SF Compute价值2.45亿美元的算力销售

Abel:SF Compute的结算账本

CFTC:巴克莱与LIBOR操纵案

弹性InfiniBand分区

时间戳

0:00 — 为什么NVIDIA不能自建这个市场?

0:25 — 欢迎回到Latent Space

2:23 — 从卖一间房到经营一家酒店

3:47 — 物理交割:真正交付算力

6:00 — 流动性与GPU订单簿

8:42 — 交易非标准算力

10:00 — 中断与迁移工作负载

12:20 — 为什么硬件代际很重要

14:32 — 算力合约能延伸到多远?

16:19 — 批处理与实时推理租约

17:58 — 算力价格的形态

20:33 — GPU代际、规格与SKU

23:30 — 物理交割与现金交割

27:00 — 新兴的算力市场生态

29:03 — 交付一个GPU集群需要什么

32:24 — 主权算力

33:26 — 为什么NVIDIA无法建立这个市场

34:48 — 可编程数据中心

文字记录

自动转录,经过轻度排版;发言者标签尚未核实。

00:00 NVIDIA显然是房间里那头800磅的大猩猩。他们为什么不做SF Compute?我们的印象是,NVIDIA做不了这件事,但能从它的存在中极大受益。他们做不了的原因在于,那样一来他们就不够独立,人们无法在其上交易。

00:25 总之,Evan,欢迎回到Latent Space。谢谢。欢迎回到AIE。其实是第一次来AIE。我想是的,对。这一期很特别,因为我觉得你研究算力交易、算力市场已经有一段时间了。现在正是风口。对。Jump基本上宣布他们要进军算力市场,所以我很兴奋能把大家聚在一起。你见了SemiAnalysis的Oliver,按我的理解,他基本上是在启动对算力市场的覆盖报道。所以大家会去看你的演讲。

01:00 我觉得这很好地解释了你们的起源故事、你们为什么需要存在,以及你们所攻克的所有难题。是的。用非常简单、引人入胜的方式讲清楚了。我很嫉妒你的写作能力,因为你展示了你在New Reps上展示的那张传单。是的。我当时就想,这挺直白简单的,很好。是的。总之,恭喜。谢谢。我很感激。也恭喜AIE。看起来,你们进展得很顺利。我们确实在推进。我刚从明年AIE的场地考察回来。然后你……你有什么线索吗?在Javits中心。就是他们办Comic Con的同一个地方。好。哇。

01:35 哇。哇。天哪。但我觉得聚焦金融确实打动了很多人。是的。所以我们要试着拆分。比如现在,我们把所有金融相关的东西都归在一起。你的金融、他们的金融,保险也算金融,但它们都超级不同。是的。所以未来我们可能会更细致地拆分,因为人们想深入了解对冲基金、银行业务或个人财富。是的。尤其是在纽约。是的。Anthropic就说,对,我们现在全在做RIA。是的。RIA就是注册投资顾问。是的。跟你很不一样。

02:10 不,不,不。我知道这个。是的。是的。好。所以对于不了解的听众,我们两年前做过一期播客,你当时谈到了,你知道,SF Compute当时的情况。嗯,今天你更多地是在做一种物理交割。你在谈你的背板结构,还是叫什么?呃,背板。背板。是的。这显然需要大量硬核工程工作。是的。嗯,你能不能给个状态更新,比如,对于两年前在播客上最后一次听到你的听众来说,SF Compute现在是什么情况?所以,呃,我们刚开始时,我们这家公司叫Junark,然后我们只是想转租我们的集群。

02:45 嗯,我们从技术栈的那个位置起步。嗯,可以这样理解:就像你在一家酒店里,想卖掉那个酒店房间。然后有人问你,嘿,你会帮我打扫房间吗?嗯,然后你说,哦,我大概也需要酒店房间本身。或者我需要,嗯,清洁工具间。于是你去获得清洁工具间的使用权,然后他们又想要客房服务。于是你去获得厨房的使用权,然后,你知道,他们想要,嗯,安保。于是你去获得安保室的使用权,你做这个做那个。到了某个时候,你就是在运营整家酒店了。嗯,而当你运营整家酒店的那一刻,你说,哦,等等。

03:21 嗯,相反,我在这个市场上的供应商,嗯,是更接近基金,嗯,或者云的东西,在我们的情况下,是能接入数据中心的云。而我们要升级了。所以过去几年我们做的就是构建云的全部运营能力,嗯,为了提供,为了真正交付,呃,可靠水平的算力。嗯,我们称之为物理交割。我们借用了期货市场的术语,来自期货市场、其他市场,嗯,在,你知道,

03:57 石油或大豆之类的市场里,物理交割意味着你拿到交付的石油和大豆。是的。嗯,但在某些市场,嗯,比如石油,还有电力,嗯,石油有配送网络。你必须要有管道。如果你想让石油交付给你,就必须有办法把它送到你那里。是的。嗯,在金融方面,对于对金融历史感兴趣的人,新冠期间石油价格变成负值,因为,呃,比如我会付钱让你把我的石油拿走,因为它就堆在港口。呃,而我付不起这个。

04:32 是的。所以我会付钱让你拿走我的石油。是的。这就是物理交割的怪异之处。是的。其他市场也有不少类似的怪异之处。所以在电力市场和电网中,嗯,你填写的订单里有些部分,买单和卖单,嗯,之所以存在,是因为锅炉需要一段时间冷却。嗯,你可以,你知道,停掉锅炉,然后它会在一定时间内,你可以重新启动它。所以这必须被纳入订单簿。嗯,这类事情在算力市场也会发生。所以我们同时设计了物理交割和订单簿,在

05:10 同一时间。这意味着我们能够真正处理算力的真实约束,其中可能包括,哦,我可以接受被中断,但前提是那东西上有存储,我能很快恢复。嗯,非常相似类型的问题。是的。所以,呃,人们可以参考你的演讲,你也做过另外几期播客。嗯,所以我想做的是201级别而不是101级别。当然。呃,也因为我自己做过衍生品交易员,所以我可以给大家一些你通常不会涉及的更多细节。嗯,比如,算力市场今天有多成熟、多深、多有流动性?

05:45 呃,不太成熟,也不太深,流动性也不高。好。所以我们一直在做的是,首先我们得先让大量供给上线,这本身就需要一段时间。然后我们得构建整个平台才能做到这一点。嗯,我们刚刚让这套系统运转起来。所以现在我们转移,嗯,把容量转移到订单簿上,嗯,这使其具有流动性。嗯,所以我们总容量的5%在订单簿上,我们一直在持续转移更多。然后我们还在引入更多容量。这些全都在订单簿上。嗯,好的一点是,嗯,也许我该说的是,实际订单簿上的交易量很小,但,

06:21 嗯,订单簿上的流动性很高。所以对于你拥有的那一小部分容量,嗯,你拥有的是,嗯,非常集中的流动性。所以,嗯,一个标准的指标,我想说,对于使用这个的人来说,就是一位从我们这里购买容量的客户,他们花一百美元购买那份容量。我们平均能通过把它转卖给其他人赚回25美元。嗯,这就是我们,或者说这是我们试图追踪的指标之一,因为我们希望流动性对商业参与者有用,而你可以用很多不同的方式来衡量流动性。你可以说,我只想要大量的做市商之类的。

06:56 嗯,你也可以用很高深的方式来衡量它。我们试图用这样的方式来衡量:这是否解决了,嗯,客户的问题?是的。明白了。那么,呃,我们上次谈话时,也有很多关于合同标准化的,呃,讨论。是的。和,呃,CFTC之类的机构谈过,那些事情的进展如何?嗯,所以我认为合同的标准化总体上仍然相当遥远。嗯,而我们当时试图做的,嗯,或者说基本上我们在过去几年里学到的是,我们只需要

07:31 运营整个东西。否则你无法将这个东西标准化。所以要想更接近可以标准化的东西,你首先需要让这个东西的所有运营都变得一样。对。举一个可能不同的例子,就是单个运营商可以提供两种不同类型的虚拟机。一种类型的虚拟机,嗯,性能可能会比另一种类型的虚拟机,嗯,下降40%。而40%是很大的。当你说性能下降时,你是指MFU之类的东西,还是你经历过的燃烧量之类的,还是什么?它会有影响。所以在这个特定情况下,我说的是GPU内核启动以及它需要多长时间。

08:07 嗯,这是一个在你进行训练或推理时相当频繁发生的过程。嗯,那个,嗯,呃,基本上,最终结果就是你会得到更差的MFU,但是,嗯,就像是在中间层面。基本上就是中间层面。是的。是的。所以,所以我想说的是,所以对于任何交易过大宗商品的人来说,商品有不同的等级。是的。对。就像,它不是石油。它是轻质低硫原油,对比轻质低硫原油的反面之类的,或者就像,你知道的,呃,A级玉米或B级玉米之类的。呃,所以就像人们试图,嗯,你必须建立这些东西的等价物。正确。是的。我想知道它们是否已经建立起来了。

08:42 所以我们取而代之的做法是,嗯,我们创建了一个订单簿,它带有多个不同的约束条件,你可以说,我想要,嗯,你知道,某个介于这个和那个之间的东西。嗯,它的运行时间是从这个时间到这个时间。嗯,就像是,呃,从X到Y,你可以给你的订单附加一堆不同的属性。然后我们在一个大型撮合引擎里,把它与具有这些属性的卖单进行匹配。嗯,我们这样做的原因是,它让我们能够在不预先标准化的情况下生成流动性,你知道,不管技术能做什么。嗯,而且因为技术变化得如此之快,嗯,我们基本上希望能够做到这一点。这样做的代价是,你的流动性会不那么集中。

09:18 所以价格上,买价和卖价之间会有更大的价差。是的。嗯,这很糟糕。是的。但另一方面,这意味着如果你能正确地操作,就有很多套利机会可赚。所以如果你有一个产品可以使用很多不同类型的容量,嗯,那你可能会很喜欢SF Compute,因为你将能够使用很多不同类型的容量,而且你会赚更多钱。嗯,你可以赚取价差。好。在这个网格里,哪些维度是重要的?嗯,有很多不同的东西。嗯,其中之一是维度类别,我会说就像是,现在是否有

09:53 工作负载正在上面运行,还是未来的容量?当然。是现在的容量吗?嗯,现在的容量,为了把它卖出去,嗯,你必须中断你当前的工作负载。所以你必须考虑,我在不在乎我当前的工作负载被中断?一个月后开始的容量,嗯,你可以随时买卖它。所以你能,嗯,很容易地获得那方面的流动性。嗯,确实有一些顾虑,比如,哦不,我下个月有容量,但这和现在中断一个工作负载非常不同。嗯,中断发生的方式很重要。所以一个例子是,如果你在一个集群上,而这个集群的存储没有你希望的那么好。嗯,所以一个例子是,你的底层是不是有Weco或Vast系统?

10:31 嗯,你提供这个吗?还有,它的大小是多少?嗯,这会改变你对被抢占或被移出集群的响应方式。同时,那个存储的位置也很重要。所以,嗯,如果你能够把数据从一个集群快速转移到另一个集群,嗯,那么也许你就能分散在多个不同的集群上。嗯,你可以在这边被中断,然后在那边重新出现。嗯,要实现这一点,你还需要,比如,一个集群与另一个集群之间的快速传输路径。通常这是用广域网实现的,但大多数这类集群并没有

11:06 必然需要,嗯,比如一个广域网。是的。一个广域网。所以,基本上就是连接各个集群的线缆。私有互联网是理解它的另一种方式。呃,如今很多正在搭建的集群,它们并不像传统的 CPU 集群那样,出于延迟原因而紧邻客户。对于 GPU 来说,它们紧邻电力,嗯,也就是,你知道,你把数据中心放在电力旁边,而不是放在客户旁边。嗯,这意味着很多东西正被放到以前人们并不预期会有数据中心的地方。

11:41 因此,你从一处到另一处的传输路径可能就没有那么,嗯,那么出色。所以这,这就开始变得重要了。嗯,其他例子是,嗯,一些奇怪的东西,我们理论上支持,但实际上并不支持,嗯,呃,比如这是我们在考虑但基本上还没做的事。嗯,早期的 GB 200 坏了。早期的 H 100 坏了。嗯,所以如果你买的是 H 100 或买的是 GB 200,你可能真的很想要某个时间之后部署的那些,因为你不会拿到第一批烂货。

12:16 所以如果你是一个非常精明的客户,你可能愿意为此多付钱。哦,所以这关乎它们属于哪一批次,它们随时间变得更好。所以比如,第一批下线的可能有一些故障或问题。对。所以如果你是拿到第一批的人,嗯,或者你拿到的是,嗯,第一批出货中的,嗯,那么是的,它们会坏,或者,嗯,以某种方式出问题。我猜这个过程大概是,你看,到处都有缺陷。就是这样,它就是这么发生的。对。所以比如你收到台积电或谁的新一批货,你就跑测试,然后你弄清楚

12:53 哪些,哪些是坏的,然后把它们扔掉。不就是这么运作的吗?而我之前不知道这种批次划分的要素,比如,假设 2026 年第四季度的,呃,B300 比 2027 年的 B300 差得多。是的。所以,嗯,我举个例子。嗯,你描述的是老化测试。是的。所以当你拿到一个集群,嗯,一个好的云,它会做什么。它会试图把所有 GPU 弄坏,嗯,在它们到客户手里之前。嗯,然后,嗯,坏掉的 GPU 或坏掉的节点,嗯,你会走 RMA。你基本上就是去申请。对。你把它退回去,拿到一个新的,这有交付周期,但

13:30 随便吧,你会拿回一些的。嗯,然后客户就永远不必经历这些。嗯,我指的是,嗯,比如在早期的 H100 上,会有一些固件 bug,它们甚至可能跟具体的,比如它们可能不是 NVIDIA 的问题。可能是 Super Micro 在你买的那个,嗯,那个机器里有个固件 bug。嗯,而且它适用于所有机器,这无所谓。比如,嗯,解决办法就是你需要让他们更新固件。嗯,或者他们需要在每个新机器里,嗯,发一个新的东西。

14:07 是的。我们拿到的那些 B300 就遇到过这种情况。嗯,然后 IQ 那边不得不用 Devin 去修。是的。太好了。所以像这类不同的问题都可能发生。有意思。好。所以我就想,好吧,看,跟整体相比这似乎很小。我只是想,我想让人们理解这个市场的形态,嗯,你提到了抢占,你知道,还有我们谈到了竞价实例,以及那,那个类比是怎样的。是的。然后还有,你知道,提前一个月预订。这些市场能延伸到多远?还有,实时或者那种抢占对你来说更有意思,还是,

14:42 再往远呢,更远?嗯,回答你的第一个问题,三到五年。嗯,哇。我们开始看到。是按月还是按季度,还是怎么样?你是在问现金流怎么运作吗?比如,那些合同,比如,那些期货合约,对吧?就像,再说一次,我以前是合同,呃,衍生品交易员。在,在市场本身,嗯,就像在更广泛的市场里。是的。集群的融资周期是三到五年。好。嗯,所以,那,那,那付款完全是在那段时间内完成的。是的。我们的订单簿里也有,比如成块的容量,嗯,它可以延长到任意时间。是的。有些东西我们得做,嗯,为了,嗯,那方面的现金流

15:18 现在。我们现在做的就是直接要求人们为一块容量全额预付。嗯,对于租约或更长期合同,我们不会要求他们这么做。这就涉及到一些我绝对需要白板才能解释的东西了。嗯,但是,嗯,你还有另一个问题我正要回答。我忘了。你想要实时还是想要,比如,你想要更多,呃,什么对你更有意思?实时还是更远、更远的未来?所以我们更关心更远的未来,因为我们正试图构建一条有大量流动性的远期曲线。嗯,那,嗯,这些差不多是一回事,又差不多不是。嗯,所以我们做的就是,既然

15:54 啊,你可以买断一小时,也可以现在就买到下一个小时,或者现在就买到未来三年,以及这之间的任意时长。这太疯狂了。我知道。嗯,所以,嗯,你知道,或者如果我,你从技术上讲,嗯,每个客户都会遇到某种不同的差异。基本上就像,如果我有一个工作负载,嗯,呃,那是批处理推理,基本上就是说我随时可以被中断。我根本不在乎。嗯,那么我被

16:29 切断的能力,嗯,大概就像,我需要提前一小时知道,嗯,我将会被切断,然后就没问题了。或者甚至可以提前,你知道,一两分钟通知我。嗯,但如果我有,嗯,实时推理客户,他们期望我在线,嗯,那么你可以中断我,但要在一个月后,也许两个月,也许三个月后。嗯,然后我可以在这段时间内适应那个容量。嗯,但你不能在一分钟内中断我。嗯,所以这两件事的定价不同。它们定价不同的原因是,为了中断你的批处理任务,你愿意支付的

17:05 价格,和你为了中断你的,嗯,实时任务而愿意支付的价格非常不同。如果你有实时任务,你很可能在向客户违约时要支付 SLA 赔偿。嗯,这说得通吗?是的,我明白了。所以这实际上是违约租赁的市场。这些是违约租赁的市场。天哪。然后还有未来租赁的市场,或者像是,嗯,那些租赁的市场。哦,我以为这是某种转租的情况。这是违约租赁。所以一种理解方式是,嗯,在电力市场里,实际上有两个市场。嗯,有日前市场,还有

17:40 这就是实时市场。算力也差不多,嗯,它有即将上线的容量,嗯,或者即将,嗯,交付给你的容量。嗯,然后还有当前正在使用的容量。而这些有不同的价格动态。好。有意思。是现货溢价还是期货溢价?现货溢价还是期货溢价?对。那么,呃,算力的远期价格是高于现货还是低于现货?嗯,算力的远期价格?它,它是这样走吗?它是那样走吗,在,呃,你知道,在大概一年、一年后、两年后的时间跨度上?

18:16 会。哦,这,呃,在不同时候两者都有。我觉得你居然不知道,这挺有意思的。对。我是说,两者都有。这取决于你是谁。嗯,好。那么,呃,我来论证一下。嗯,等等,所以你问的是算力现在卖多少钱?今天同一单位的算力。对。呃,也许不是今天,也许是一个月后对比一年后对比两年后。那条曲线是向上还是向下?我们看到,像是一个驼峰。我的天。好。那解释一下,嗯,我觉得这从直觉上说得通,基本上就像如果我有一批牛奶,它快过期了,我就会给它降价。对。嗯,所以这基本上就是我们看到的情况。

18:52 这基本上就像英伟达的发布周期,对吧?呃,嗯,我们更多是在说,如果有一批算力,而且现在快到期了,嗯,它就不能在过去被卖掉。所以它必须降价,才能以某个价格清掉。对。所以一开始你会看到这种下跌,嗯,现在正在卖的东西,任何现在在市场上的东西,嗯,都是还没卖出去的东西。所以价格会下跌。嗯,然后它又涨回去,嗯,涨到它想去的位置。嗯,然后也许未来的算力价值更低,嗯,因为人们不想要,比如人们更想要现在的算力。所以他们算是在为更短的交货时间付费。嗯,而他们对远在未来的算力付得更少。

19:28 这就是我认为一条正常健康的曲线该有的样子。对。让我觉得,哦天哪,不是吧的地方,嗯,是,嗯,现在如果你拿一块B300去跑推理,嗯,你大概每小时能赚40美元,嗯,把它作为推理卖出去。基本上任何模型都行。嗯,所以那是假设你百分之百使用它,也许如果你只有50%的利用率之类的,那就是每小时25美元。对。所以每小时25美元。与此同时,你买B300大概每小时五到六美元。这两个数字里有一个必须变。对。这是巨大的套利。这是巨大的套利。这个在你的演讲里经常提到。

20:04 对。所以,呃,很多人基本上都在看这件事,然后想,呃,如果我认为价格会上涨,那我可能愿意在未来支付比之前预想更高的价格。呃,因为我可能会想,好吧,我现在可以买一个五,但如果我以后买不到了,那也许我愿意在未来买更多,只为了把它锁定,如果它以后才上线的话。所以我们也能看到另一面。呃,这取决于你是谁。好。那么,这样可以吗。而且,我,我只是想在这点上说得非常清楚。当然。你关心的是不同代的芯片,还是只关心总的flops,然后你把它分摊到你想要的任何芯片上?

20:40 呃,我们关心不同代的芯片,因为。你在意。我想,我,我猜你的客户在意吗?是的。对。哦,等等。你说不同代的芯片,你是指像。比如B300、B300。没错。对。或者甚至AMD之类的。对。呃,是的。我认为人们完全在意芯片的代际。呃,呃,我认为部分原因是像VRAM这样的东西。呃,还有部分原因是像,呃,更大的NVLink域。对。诸如此类。所以根本没办法把这一切抽象成某种通用的算力单位,让你随便揉来揉去之类的。我想,就像你说石油的时候,连石油都不是石油。石油实际上只是一堆不同类型的油。

21:16 对。就像航空燃油或者汽车燃油,随便什么。我觉得是一回事。嗯,你会得到一堆不同的类型。确实如此,但你有炼油厂。对。可以有效地拥有黑盒。你可以把油放进去,然后得到随便什么东西出来。嗯,如果是算力,它就是如此异构,我猜这个词是这么说的。就是你必须把底层的复杂性暴露给你的终端客户,这对你作为做市商来说是不利的。也许吧。就像你想找出那个瓶颈点,或者,我不知道瓶颈点更好的说法是什么,就像一个谢林点,所有人都同意,好吧,这算是标准,我们都同意这个标准,呃,你知道,它会

21:53 有点低效。是的。呃,所以我们能够把,嗯,把问题降低到一定程度,但是是的。就像你的工作就是降维。是的。我们降低了很多维度,但尽管如此,仍然有维度。是的。它仍然会存在。你,你知道你有多少个SKU吗?所以,嗯,就像五乘一百乘,比如5,000等于,我不知道。就像什么是,我们实际上把SKU做成了一个概念,嗯,那个,目标是让其他人可以做出他们自己的SKU。所以如果我想买Blackwells,我可以说我愿意

22:31 以每小时6美元或更低的价格买入Blackwells。你可以拿GB300s来匹配我,或者拿B300s来匹配我,我不在乎是哪种Blackwell,只要低于每小时6美元就行。但你刚才说你在意内存和其他东西。完全没错。但不是每个客户都在意。所以有些客户,嗯,就是能用Blackwells就行,不管是什么。有些客户则超级具体,他们需要这个确切的东西,而且他们愿意为此多付钱,因为市场会向他们收取更多费用。好。嗯,这就是我们做的事。所以,人们用你们的API以编程方式定义他们想要什么,然后你们把它与任何卖家组合进行匹配,嗯,他们可能、可能、可能能够满足。

23:08 是的。嗯,有一个附加说明,命名查询是我们正在做的一件新事情。嗯,但查询系统作为一个概念,就是目前订单簿的运作方式。好。有意思。嗯,好的。所以,呃,你知道,我,我觉得这像是很多,我想,细枝末节的东西。有没有什么,我想,你想让人们了解的,不管是金融人士还是工程师,关于算力交易市场的现状,按照你们发展出来的样子?因为实际上你们正在定义它。嗯,主要就是关于实物交割的要求。是的。嗯,我们认为,如果你,我们,我们花了三年时间弄清楚为什么你需要

23:44 实物交割。嗯,而且,嗯,我们今天整个对话的核心就是,嗯,这些东西并不像你以为的那么可替代,而我们会试着让它们变得可替代。这是行业该做的事。嗯,但如果没有这一点,你就会面临很多风险。嗯,如果你试图在行业还没来得及建立,嗯,实物交割之前,就构建,嗯,过多的金融化。嗯,我认为你得到的是,嗯,一个非常容易被操纵的市场,以及一个存在大量基差风险的市场,其中,嗯,你可能用来对冲的价格实际上与

24:22 你实际能够购买容量的那个,嗯,市场价格毫无关系。是的。所以,对听众来说,呃,我们,我们上次简单谈过这个,但是,嗯,人们常常震惊地发现,比如说信用违约互换市场的规模是它们所保险的债券规模的12倍,呃,差不多是这样,或者像,呃,抵押贷款,嗯,某种再保险的市场,或者,呃,所有这些都比标的实物交割规模更大。所以这就是为什么实物交割与现金交割的区别。是的。而且,基本上现金交割就像,呃,你在《大空头》里看到的那种侧注,嗯,在那里,呃,他们,

24:59 它们可能、呃,可能和底层的东西本身有关,也可能无关。而且它可能、可能被用作其他整体情况的代理指标。是的。而且你不想让那个、那个失控。对。所以明确一下,我们认为,嗯,现金结算作为一个未来概念是个好主意。对。嗯,我们只是认为它应该从实物结算中衍生出来。对。因为正如你所说,它是一种侧注。嗯,而且这有点像,我是说,有点像你在做实物结算之前就先做了现金的未来,嗯,我觉得人们已经在这么做了。对。完全没错。人们在实物结算之前就试图从中赚现金。而且人们为各种各样的事情都这么做,包括

25:34 初创公司股票。是的。对。就像你可以买卖 OpenAI 的虚构股份,但它和实际股份毫无关系。是的。嗯,而且很多这类东西结果都很糟糕。嗯,就像如果你做了一个,嗯,如果你开始卖一个尚不存在的股票的,嗯,衍生品,那会很糟糕。嗯,对。对。嗯,所以我是说,我们做的一件事,我以前是个外汇交易员,对吧。对。还有利率也是。而且我们做的一件事是,你有一个委员会聚在一起说,比如,这是伦敦银行同业拆借利率 LIBOR。是的。然后我们都同意,比如这是、这、这个每月的定盘价,然后我们都

26:12 交易到那个定盘价。是的。呃,三年后这还有意义吗?所以关键是LIBOR被操纵了。是的。我们目前的担忧。有12家银行?对。是的。呃,好吧,我们的担忧是存在一个非常类似的问题,呃,就是你可以操纵一个指数。呃,我们的印象是,为什么你能操纵那个指数,是因为很多指数基于非常少量的数据,而这些数据,呃,与购买新储备合约的实际价格,呃,相关性不大。呃,这就是我们担心的。好的。

26:47 有意思。呃,好吧。我想,我想这就是,大致的状况了。呃,嗯,我想今天另一个部分就是,呃,你,你,你,你谈到了一个关于jump的事件,而且你,你和Silicon Data是朋友。呃,你从所有这些其他参与者身上学到了什么?比如哪些主要参与者你会想点名说他们在做有趣的事情?哦。呃,所以我们是Silicon Data和Compute Exchange的忠实粉丝。呃,我想他们也很早就进入了这个领域。呃,而且我想他们在我们认,呃,为我们很可能最终会成为合作伙伴的那条路径上,做出了相当合理的尝试。

27:58 我对这个领域的了解没有你那么清楚。是的。所以,嗯,我们看到的几类参与者是:有些人在试图制定更好的标准。所以 SemiAnalysis 我认为正在努力尝试建立更好的标准。嗯,有些人在尝试做,嗯,残值保险之类的。嗯,这个领域里有不少不同的公司。我对它们没有一家特别了解,但是,嗯,我知道,知道这是一个概念,而且我认为这很重要。嗯,有些人在尝试做,嗯,呃,存款,嗯,贷款,比如他们会为你的云信用风险垫付资金。有一个围绕如何解决算力的财务瓶颈而形成的公司生态系统。

28:34 嗯,看到这些很酷。我认为在这个生态系统里,你实际上想要的是买家和卖家。你想要一个分析师。你想要,呃,我们说过保险,或者,呃,那个叫什么来着,呃,残值。是的。是的。而且你,我们想要这种健康的生态系统存在。嗯,但显然你们在承担物理交割这个问题,这,这真的很有意思。嗯,好的。所以,我是说,我们可以聊聊,硬科技那一面,因为显然你们也在招聘,呃,极其顶尖的工程师。是的。描述一下你们的技术栈。嗯,我们做云所做的一切事情,但不是作为那家

29:10 云。嗯,也就是说,我们不拥有硬件。我们不拥有硬件的原因是,如果我们拥有硬件,我们就能操纵远期市场。所以我们必须做瑞士。我们必须保持独立。嗯,这给公司带来了很多奇怪的事情。嗯,但为了进行物理交割,你必须做现场考察。必须去数据中心实地查看。嗯,你必须,嗯,你必须设计物料清单并确保,嗯,你基本上得做类似供应链咨询的工作,嗯,也就是你要与不同的OEM厂商建立关系,嗯,确保东西按时交付

29:46 嗯,然后你必须,嗯,做集群架构。嗯,呃,所以你要设计集群本身。嗯,然后你要,嗯,部署机架,或者与合作伙伴一起部署机架并监督这个过程。嗯,然后你要做,呃,背板管理。所以你要接管,嗯,呃,PDU、交换机、DPU,还有,嗯,UFM和BMC,你要运营,嗯,你所出售节点周围的整套,嗯,线束系统。你说的“你”是指SF Compute的员工。是的。哇。嗯,所以,呃,当你从云厂商那里购买一个节点时,嗯,有裸金属,但裸金属周围还有一大堆

30:23 东西。是的。嗯,而为了让那个裸金属节点正常工作,你必须运营其他所有东西。然后我们。因为我就像传统上数据中心的工作就是把其中一些东西从你身上剥离出去。是的。我们就是做这件事的人。好的。对。嗯,但你并不是,你并不是在做数据中心业务。你不是那种Equinix之类的公司。我们,我们并不是在做数据中心业务,嗯,我们合作的对象是,我们提供超级计算即服务。嗯,这意味着人们来找我们说,你知道,

30:58 我手里有X,X在哪里,我有,你知道,这里有X兆瓦。也许有时候他们的意思是,我有一个数据中心。嗯,那就像是,嗯,想把它变成一个GPU集群。比如我的选择是,我可以卖掉GPU集群,或者我可以把数据中心卖给某个人,或者我可以成为云。然后我们去找他们说,太好了。嗯,我们会把你变成云。我们是超级计算那一部分。你是数据中心。我们合作吧。然后我们来卖,我就能赚钱。嗯,有时候是那些手里有东西可以变成数据中心的人,这种情况下我们基本上会把那个项目一直管理到那一层。

31:33 嗯,然后我们会和那些远方的,我们会和那些人合作,把他们的带电土地,嗯,或者他们拥有的任何东西,嗯,通过与合作伙伴合作变成数据中心。嗯,然后我们在超级计算那一部分接手。好的。这要求我们在内部拥有某种数据中心专业知识,但我们不自己施工建设。嗯,所以是的。是的。所以它是,呃,有点模块化的,因为你有不同的场景需要应对。是的。呃,有人曾经把我们描述成,嗯,呃,就像算力界的Palantir,嗯,因为就像这些,每一次都是全新的挑战。

32:10 嗯,呃,但是,而且我们喜欢,我们,我们与人们深度合作。在两边。是的。呃,而且主要是在美国,主要是在美国,但我们在世界各地运营。是的。到了某个时候,SF Compute会变成一个名不副实的名字吗?呃,所以当,所以我们在世界各地部署集群。是的。当我们这样做的时候,我们是在与那些自己也想在世界各地成为云服务商的人合作。嗯,他们看起来像是主权算力参与者。嗯,而我们向主权算力的推销非常棒。呃,让我们帮你在你自己的国家建立一个云。嗯,而我们会带来旧金山的承购。我们会带来旧金山的专业知识。

32:45 我们会建立集群。嗯,这就是我们的全部业务。啊,嗯,我们会把它做成。你们主要的,呃,你们能说出名字的最大的已公布合作伙伴是谁?嗯,没有我能说出名字的。真的吗?哇。呃,我们会在一两周内,嗯,有一些公告,嗯,我们预计会公布。是的。各种事情吧。当然。当然。祝好运。是的。不,我是说,呃,我,我觉得这对每个国家来说都真的很有意思,比如,谁,谁在投资主权AI来搞清楚这件事。嗯,而且有意思的是,旧金山仍然算是那个品牌名,呃,那,那非常,那非常有市场吸引力。

33:20 所以我觉得有意思的一点就是,把整个市场想清楚。NVIDIA 显然是这里那个 800 磅的大猩猩。他们为什么不做 SF Compute?答案同样会是市场操纵。但我们还是真正深入看看多方参与者的激励结构。对。所以我们的印象是,NVIDIA 做不了这件事,但会从它的存在中极大受益。他们做不了的原因在于,那样他们就不够独立,人们没法在上面交易。如果你不在上面交易,你就没有足够的流动性让贷款方基于远期市场进行融资。

33:55 这也是为什么 Crusoe、CoreWeave 和 Lambda,为什么超大规模云厂商做不了,为什么 Base 10、Fireworks 和 Modal 做不了,因为他们在那一侧的需求太多了。这件事对整个行业都有利,因为它降低了融资成本。但没人能做,除非他们放弃赚取所有大额推理收入和所有大额云交易的能力。你必须扼杀自己的业务才能做成这件事。这就是为什么没人做。从结构上讲,他们就不是为此而设的。而你基本上是在减少摩擦,而摩擦就是你的全部收入。

34:30 你们已经公布了一些里程碑。其实我一开始忘了说。你能重复一下它们是什么,并稍微来个胜利巡礼吗?我们已经完成了数亿美元的交易量。我们有大量新集群正在路上。然后我觉得我最兴奋的是,我们已经发布了一大堆新功能,让 SF Compute 对平台即服务公司非常可行。一个例子是我们允许客户细分

35:06 他们的InfiniBand网络结构,而无需询问我们。很多云厂商,当你想购买时,他们会给你一个InfiniBand网络结构。然后,如果你想重新划分那个InfiniBand网络结构的线路,你需要联系他们,然后他们会为你做些什么。我们现在可以为客户即时完成这件事,我认为这真的很棒,因为它与市场对接得非常好,你希望能够重新划分资源,以便扩展或缩减你的集群。你会把这描述为像是对数据中心进行虚拟化并使其可编程吗?是的,我们正在对数据中心进行虚拟化并使其可编程。所以,如果你拥有硬件,你本来会得到的所有东西,

35:43 我们正试图将其虚拟化,我认为这对我们来说很令人兴奋。有趣的是,上一次发生这种情况就像是云计算,那真的很酷。然后最后,你知道,我想你对人们的行动号召是什么?你知道,是工程师吗?是像,把你的供应给我?像,是什么?如果你想拥有一个GPU集群,并且你想从中获得剩余价值,你想把它纳入你的投资组合,我们很乐意与你合作,共同构建那个GPU集群。我们将接手,我们将完成其中的超级计算部分,并

36:18 确保一切顺利进行。我们拥有SLA。然后,如果事实证明那是个坏主意,你需要退出那个集群,我们可以立即把那个集群卖给其他人,这样它就不会影响你的资产负债表。非常简单的推介。嗯,非常感谢你抽出时间。你为这个行业做出了巨大贡献,我很高兴能成为你的朋友。我很感激。好的。谢谢。就是这样。感谢阅读

保持领先一步。

来源

Latent Space