NVIDIA's HBM capacity grows only 3%, while AI inference throughput per unit cost improves by up to 30x

HBM容量仅增3%，英伟达AI推理吞吐量提升30倍来源：半导纵横发布时间：2026-11-06 11:15英伟达HBM生成海报从模型压缩到多层存储协同，英伟达探索AI推理内存效率的新路径。

随着模型规模扩大、上下文变长以及智能体应用增加，GPU内存压力正在不断上升。与此同时，内存供应趋紧、价格上涨的趋势预计在短期内仍将持续。

英伟达表示，公司一直与内存合作伙伴保持密切合作，以便快速采用最新内存技术，他们也是率先将HBM3e和HBM4技术引入加速计算系统的厂商之一。

但英伟达的解决思路并非简单地在GPU上堆叠更多内存，而是采用全栈协同设计（Full-Stack Codesign），将GPU、CPU、网络、存储和软件结合起来进行设计，让AI工厂中各个层级的内存都能发挥更大作用。

这是因为AI工厂依赖内存和存储层级体系运行。其中，GPU高带宽内存（HBM）速度最快、成本最高，同时也是竞争最激烈的资源，模型权重和KV Cache都需要占用有限的HBM容量。在此之下，还有CPU内存、本地SSD和共享存储，它们以牺牲一定速度为代价，提供更大的容量和更低的单位存储成本。

每一字节内存能够发挥多少作用，取决于整个存储层级能否得到有效利用，包括减少需要存储的数据量、将数据放在合适的存储层级，以及在数据再次使用之前及时将其调回GPU。

英伟达表示，通过这种方式，公司能够更高效地利用各个层级的内存。从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增长约3%，但根据SemiAnalysis AgentX测试，智能体工作负载的单位成本吞吐量最高提升了30倍。

智能体推理给HBM带来更大压力

与此同时，KV Cache也在不断扩大。KV Cache用于保存模型理解当前请求所需的上下文信息，避免模型重复处理相同内容。在智能体应用中，模型需要反复调用模型和外部工具，之前的上下文会在多次模型调用和工具调用之间持续保留。部分智能体任务的处理轨迹甚至达到300万个Token，因此，单个请求所需的工作内存也会随着任务推进不断增加。

检索增强生成（RAG）同样增加了内存需求。RAG会将相关企业信息加入模型提示词，带来更多需要处理和保存的上下文数据。

在推理过程中，HBM主要存放模型参数和KV Cache，两者共同占用有限的GPU内存，进一步加大了HBM的压力。

增加单颗GPU的HBM容量，是应对内存压力最直接的办法，但容量能够发挥多少作用，还取决于带宽能够传输多少数据。

可以将HBM比作仓库，将内存带宽比作仓库的装卸码头。更大的仓库能够容纳更多库存，但装卸码头决定了货物进出的速度。一旦码头达到处理能力上限，更多库存就意味着更长的周转时间，进而拖慢响应速度。如果延迟超过所要求的服务水平，新增的仓储空间就无法得到有效利用，同时还会增加成本和功耗。

这也是为什么企业不会将所有库存都放在距离生产线最近、速度最快的地方。正在流转的货物留在生产线附近，暂时等待的货物则转移到容量更大、成本更低的空间，并在需要之前重新调回。

更多HBM可以存放更多KV Cache，并支持更多并发用户。但每增加一位用户，都会共同占用系统的计算资源和内存带宽。当用户都要求快速响应时，内存带宽最终可能无法按照计算所需的速度提供数据，这一限制被工程师称为“内存墙”（Memory Wall）。

超过这一限制后，额外增加的HBM容量可能无法得到有效利用，却仍然会增加成本和功耗。数据仍然需要存储，但并非所有数据都必须放在速度最快、成本最高的存储层级。因此，AI工厂需要通过内存和存储层级体系管理不同类型的数据。

全栈协同设计，提升每一字节内存的价值

英伟达的全栈协同设计主要通过减少模型权重、KV Cache和RAG数据对HBM的占用，让有限的HBM承担更多有效工作，具体包括以下几个方面。

第一，缩小模型权重，并将其分布在NVL72系统中。

英伟达推出的NVFP4数据格式，相较于FP8能够进一步减少模型权重所需的存储空间。FP8是英伟达Hopper平台所能支持的最低精度。

近期发布的多款模型已经提供NVFP4检查点，包括Black Forest Labs的FLUX.2 [klein]、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview，以及英伟达的Nemotron 3.5 Super VL。这表明，越来越多模型开发者开始采用4位精度，以实现更快、内存效率更高的推理。

此外，在NVL72系统中，模型权重可以分布在最多72颗GPU上，每颗GPU只需要存放模型的一部分权重，从而为KV Cache和并发用户释放更多HBM空间。

第二， 缩小KV Cache，并将不活跃的上下文转移到成本更低的存储层级。

英伟达将NVFP4应用于KV Cache，与FP8相比，可以进一步减少KV Cache占用的存储空间，让更多上下文能够保留在HBM中。

Vera CPU则从两个方面发挥作用。一方面，更快的工具执行能够缩短KV Cache在工具调用期间处于闲置状态的时间；另一方面，Vera CPU配备的大容量LPDDR内存，通过英伟达NVLink-C2C互联技术与Rubin GPU连接，可以为暂停的上下文提供一个距离较近的存储位置，并在需要时快速调回。

当上下文暂时不再使用时，英伟达Dynamo推理软件可以将其转移到英伟达CMX上下文内存存储系统中，并在再次使用之前调回。

CMX是一种专门为大容量存储设计的层级，其单位数据存储成本远低于HBM。与本地SSD不同，CMX可以在多台服务器之间共享，与企业级存储不同，它省去了短期上下文并不需要的长期数据保护开销。英伟达CMX上下文内存存储的合作伙伴包括Cloudian、DDN、戴尔科技、Everpure（原Pure Storage）、HPE、IBM、NetApp、VAST和WEKA。

与此同时，Dynamo的KV Cache复用功能将不同存储层级连接起来，把GPU内存、CPU内存和存储中的KV Cache作为一个系统级资源统一管理，使已经计算过的上下文能够在整个系统中重复利用。

第三， 压缩RAG向量，并将索引保留在HBM之外。

RAG会将企业文档转换成向量嵌入（Embeddings），即通过数值表示信息，使系统能够按照语义而非关键词进行搜索，并将这些向量组织成可检索的索引。

英伟达Nemotron Retriever模型能够生成体积更小、检索准确率更高的向量嵌入，而英伟达cuVS库则支持在CPU和存储系统上构建及运行这些检索索引。通过这种方式，整个知识库不需要占用HBM，只有模型实际需要的相关文本片段才会进入上下文。

最终，模型权重占用的HBM减少，闲置上下文占用的HBM也随之减少，能够释放更多内存资源来服务并发用户。

每一代平台都在提升单位成本产出

在英伟达不同代际的计算平台之间，每美元能够获得的Token吞吐量增长速度，已经远快于HBM容量的增长速度。

根据SemiAnalysis AgentX的DeepSeek V4 Pro工作负载测试，在每位用户生成速度为100 Token/s的条件下，英伟达GB300 NVL72平台相比H200平台，单位成本吞吐量最高提升10倍，同时单颗GPU的HBM容量大约增长一倍。在每位用户生成速度为125 Token/s的条件下，Vera Rubin NVL72平台相比GB300 NVL72平台，单位成本吞吐量最高提升30倍，而单颗GPU的HBM容量仅增长约3%。

对于AI工厂运营商而言，真正重要的指标是：在满足用户响应时间要求的同时，整个工厂能够在既定功耗预算下输出多少有效Token。每瓦每秒能够处理的Token越多，相同的电力资源就能完成更多工作，并创造更多收入，同时降低每个Token的成本。

英伟达表示，其全栈协同设计通过提高每一字节内存所能完成的有效工作量，降低了Token成本。

本文转自媒体报道或网络平台，系作者个人立场或观点。我方转载仅为分享，不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益，请及时联系客服，我们作为中立的平台服务者将及时更正、删除或依法处理。 评论暂无用户评论最新资讯更多 相关推荐

不止基板，玻璃或将拓展AI封装架构边界2026-11-06 11:21

奕成科技完成数十亿元C轮融资2026-11-06 11:11

中荷出口管制对话机制会议在深圳举行2026-11-06 11:11