Cerebras：延迟债正在拖垮 AI 体验，GPU 已到瓶颈

2026年1月28日

我在世界上最先进的语言模型之一里输入了一句话：“写一个从 markdown 代码块中解析 JSON 的函数。”然后我开始等待。光标闪烁。我在椅子上挪了挪身子。“思考中……”我刷了刷 Instagram 动态。等模型完成时，我已经被拉进了一场会议。

回复很漂亮。体验却远非理想。如果你一直在用前沿 AI 模型做开发，你大概也有同感。这是人类有史以来最出色的技术，可用起来常常像看着油漆变干。

在软件工程中，“技术债”指的是那些今天能用、明天却会制造问题的捷径和劣质代码所累积的成本。工程师们快速推进，自动接受 AI 建议，把清理工作往后拖。

延迟债也是同样的道理。过去几年，我们投入了巨大的资源，让 AI 模型更有能力、更大、更聪明、更具上下文感知能力。我们没做的是更新硬件来支撑这一代新软件。

延迟债是我们在以快于基础设施的速度优化模型时累积起来的隐性成本。我们为智能而优化，但每一次进步——比如更多模型参数或新的推理模型——都要求每次响应消耗更多算力。

账单到期时，表现为迟钝的用户体验、并非真正实时的实时应用，以及理论上能力很强、实际上却慢到没什么用的 AI 智能体。

要理解我们是怎么走到这一步的，不妨回顾过去几年 AI 的进展。每一个趋势都代表着 AI 的进步，但每一个也都在增加我们的延迟债。

模型正变得越来越大。

2018 年，BERT-Large 有 3.4 亿参数。如今，Kimi-k2 等前沿模型已超过 1 万亿参数，增长了 3,000 倍。更大的模型能力更强，但每生成一个 token 也需要更多计算。

推理 token 已占据主导。

如今，现代 AI 模型不只是生成回复，它们会先思考。

这些中间的“推理 token”是模型在给出最终答案前一步步推演问题的过程。一年前，推理 token 占总 token 生成量的不到 10%。如今，它们占比超过 50%。

上下文窗口正变得越来越长。

2019 年的 GPT-2 大约能处理 1,000 个 token 的上下文。如今的模型可以处理 1,000 万个 token，大致相当于三十本 500 页的书。对于需要基于大型文档或整个代码库进行推理的应用来说，这是变革性的。

这也意味着模型在能够响应之前要处理的信息量大大增加。

开发者正在利用这些上下文。

仅在过去一年，平均输入 token 长度就翻了两番。用户会把整个代码仓库、完整的文档集和完整的对话历史喂给模型。

输出长度也爆炸式增长。

另一方面，过去一年平均输出 token 数也增长了两倍。这要归功于测试时计算。

延迟债就是那个打断你心流的编程助手，因为你要等五分钟才拿到一行建议。它就是那个理论上能帮你订机票、查日历、起草邮件的 AI 智能体，但每一步都耗时太久，你自己做反而更快。

人类一直对延迟极其敏感。IBM 于 1968 年开展的一项用户体验研究发现，计算机响应延迟超过 2 秒会导致参与度显著下降，而超过 4 秒的延迟“会令人尴尬，因为这意味着交流的线索被打断了”。超过 15 秒，对话式交互就变得不可能，用户会在心理上走神。

更近一些，中佛罗里达大学 2025 年一项关于 LLM 驱动的智能体的研究发现了同样的阈值。超过四秒的延迟会降低用户体验的每一个测量维度，74% 的用户表示他们根本不会使用慢系统。

这种模式以前也出现过。在计算领域，工作负载决定硬件。每当工作负载发生变化，服务于旧工作负载的硬件就会成为新工作负载的瓶颈。

1985 年（定制硬件 → CPU）：计算从专门的科学模拟转向需要可编程的通用软件。

2003 年（CPU → GPU）：机器学习和图形渲染等新工作负载要求大规模并行。结果，CPU 成了瓶颈，GPU 成了解决方案。

2026 年（GPU → Cerebras WSE）：如今，随着我们构建多智能体系统、编程助手、语音界面和人在回路的工作流，我们的工作负载再次发生转变。这些工作负载是顺序的、受内存带宽限制的，并且对延迟极其敏感。GPU 并非为此而设计。

幸运的是，硬件层面的转型已经开始了。Cerebras 的晶圆级引擎（WSE）是一块餐盘大小的单芯片，属于更新一代的架构，专为需要低延迟的 AI 工作负载而优化。GPU 需要在芯片与内存之间来回搬运数据，而 WSE 则把所有数据都保留在片上，从而消除了制约 GPU 推理的内存带宽瓶颈。

以下是你如何判断延迟债确实存在的方法：跟着钱走。

在过去六个月里，AI 领域最重要的四家公司都押下了数十亿美元的重注，赌的是更快的推理，而这些押注没有一笔落在目前已经主导 AI 的 NVIDIA 硬件上。Google 尽管是 NVIDIA 最大的客户之一，却自研了 Ironwood TPU，在推理工作负载上比 NVIDIA 的 GPU 快 4 倍。Anthropic 承诺向 Google 的 TPU 基础设施投入数百亿美元，而不是扩充其 NVIDIA 算力。NVIDIA 自己则斥资 200 亿美元，掏空了 Groq 的知识产权和顶尖人才，而这家公司的全部价值主张就是推理速度。这是 NVIDIA 迄今为止最大的一笔收购。而 OpenAI 刚刚从 Cerebras 购买了 750 兆瓦的算力。Cerebras 制造的晶圆级芯片，正是专为 AI 推理所需的那种顺序式、受内存带宽限制的工作负载而设计的。

四家在一切事务上都相互竞争的公司，刚刚做出了同一个押注。这绝非巧合。

延迟债并非永久状态。上述的收购和投资，正是向更新、达到 SOTA 水平的 AI 优化硬件设计转型的开端。

更妙的是，回报立竿见影且显而易见。当你在专为推理设计的硬件上运行前沿模型时，那种体验是直击感官的。同一个让你等了三十秒的模型，如今不到两秒就能响应。AI 从瓶颈变成了协作者。

我们在教机器思考方面已经取得了可衡量的进展。但要真正把它们融入我们的工作流程和生活，我们需要专为思维速度交互而设计的硬件。这就是我们偿还延迟债的方式。

对于那些已经准备好不再等待 AI 的人？你可以在这里免费体验 Cerebras 推理 API ：)

注：

感谢 Emma Call、James Wang、Alycia Cary、Zhenwei Gao、Swyx 和 Bill Chen 的反馈与贡献。

性能对比基于第三方基准测试或内部测试。与基于 GPU 的系统相比所观察到的推理速度提升，可能因工作负载、配置、日期和所测试的模型而有所不同。

1237 E. Arques Ave Sunnyvale, CA 94085