跳转到主要内容
  • AI代理可能在几乎一夜之间使实时查询量成倍增长,而团队想知道他们的账单是否也会随之成倍增加。
  • Lakehouse//RT 有意构建为能够吸收这种需求,而不会带来成比例的成本增长
  • 选择 Lakehouse//RT 而非独立实时服务层的客户报告称,基础设施成本降低了 6 倍到 10 倍

AI代理正在挑战数据仓库的极限。人类分析师一个下午可能只运行几十个查询。而一个代理可以全天候每秒运行数百个查询。随着对面向客户的毫秒级刷新仪表板和嵌入式分析应用等用例的需求不断增长,实时工作负载正迅速成为企业使用数据的标准组成部分。

大多数数据仓库是为人类规模的查询量设计的,而不是代理所产生的持续并发量。而且,即使仓库能够提供低延迟,账单也会随着需求一样快速增长:查询量增加 10 倍很可能意味着成本增加 10 倍。

我们构建了 Lakehouse//RT ,不仅是为了直接在 湖仓上服务实时工作负载,而且是为了在不使成本以与查询相同的速度增长的情况下做到这一点。 

为什么 Lakehouse//RT 上的实时分析具有成本效益?

大多数数据仓库的容量随需求同步扩展:查询越多,计算越多,成本越高。这对许多分析工作负载来说效果很好,因为查询量跟踪的是提出问题的人数。实时工作负载则不同。当AI代理和数千名并发用户都需要在毫秒内获得答案时,查询量的增长可能远远快于人员数量的增长,成本也随之增长。

实时工作负载通常还具有尖峰特性。处理这种情况的通常做法是过度配置:以大块方式增加容量并保持运行,以便在峰值时维持延迟。结果是你一天中大部分时间都在为闲置计算付费。

Lakehouse//RT 颠覆了这一等式。它不是让成本随需求扩展,而是让效率扩展。其引擎的架构设计是在相同资源上服务多得多的查询,因此当需求翻倍(或增长十倍)时,你的基础设施能够跟上,而不会出现成比例的支出激增。 

Animation of a demand curve. Agent demand grows at a steep angle, with traditional warehouse costs following the same curve. Lakehouse//RT cost is a much flatter curve, with the gap indicating savings.

Lakehouse//RT 通过在四个方面采取不同方法来实现这一点:

  1. 高并发支持,因此更多查询共享相同资源
  2. 更快的执行,因此每个查询占用计算的时间更短
  3. 以小增量自动扩展,因此容量紧密跟随需求,而不是以整集群为步长跳跃
  4. 一个系统而非多个,因此你不再为重复的基础设施以及保持系统同步的工作付费

组织将无法在支出上超过需求曲线。唯一可持续的路径是让系统在每单位计算上做更多事情。

1. 更高并发让每个仓库服务更多查询

并发通常是实时成本增长最快的地方。传统仓库一次只能运行有限数量的查询;其余的排队等待或触发更多容量。要服务数百个代理,就意味着运行多个集群仅仅是为了保持响应时间稳定。即使这些查询大多是小型查找、不需要那么强的算力,情况也是如此。

Lakehouse//RT 旨在让每个仓库并行运行多得多的查询。在我们的 发布博客 中,我们分享了可以在每秒 12,000 个查询下提供低于 100 毫秒的延迟,而且我们只会从这里变得更好。

每个查询也能快速完成,因此容量能更快释放给下一个查询。相同的峰值可以容纳在少得多的计算上,而代理仍然能在毫秒内获得答案。

客户正在真实工作负载中体验到这一点。Aurasell 从每秒 200 个查询的多个集群迁移到一个小型 Lakehouse//RT 仓库,持续支撑超过 250 QPS,查询执行速度提升 4-5 倍,同时成本降低 10 倍。

继续阅读更多客户成功案例!

2. 更快的查询使用更少计算

假设你雇了一个承包商。一个人每小时收费 20 美元,需要 10 小时。另一个人每小时收费 22 美元,五小时完成。第一个花费 200 美元,第二个花费 110 美元。你为完成的工作付费,而不是为小时付费。

计算也是同样的道理:你的账单是费率乘以运行时间。Lakehouse//RT 旨在快速完成实时查询,包括执行周围的步骤,如规划、路由和返回结果。每个查询占用计算的时间更短。每天数百万次代理查询累积起来,效果显著。

3. 当你需要更多容量时,只添加你需要的量

随着流量增长,每个仓库最终都需要更多容量。重要的是每一步的大小。

传统仓库通常通过启动自身的完整副本来扩展。在大型仓库上,就是再启动一个大型仓库。虽然集群级扩展对稳定的分析工作负载效果很好,但实时需求更具尖峰特性。当突发只需要一个集群的一小部分时,添加整个集群意味着为突发过去之前你并不使用的容量付费。

Lakehouse//RT 可以灵活添加容量,甚至一次一个节点,无论你选择什么规格。实时需求很少以集群大小的块到达。代理流量的激增可能需要多 10% 的容量,而不是 100%,而 Lakehouse//RT 可以添加那样大小的步长,而不是翻倍。

以小步扩展而不损害延迟说起来容易做起来难。这正是 Lakehouse//RT 的设计目标,它让容量与需求同步增长,而不是超前于需求。

Animation showing growth by clusters vs. growth by executors, with growth by executors resulting in less excess compute and therefore cost

4. 一个系统消除重复基础设施

实时过去意味着在你的仓库上附加一个独立的服务层,例如 Apache Druid、Apache Pinot 或缓存。这意味着始终运行的基础设施、数据的第二份副本、同步管道,以及保持一切一致的工程师。 

Lakehouse//RT 直接查询受治理的湖仓数据,因此随着数据量增长,不会有第二个技术栈随之增长。

A chart comparing the cost of a separate real-time stack to Lakehouse//RT. The separate stack includes costs like pipeline syncs, data duplication, and extra engineering time. Lakehouse//RT has a lower total cost of ownership.

客户正在看到的效果

Aurasell:成本效率提升 10 倍,查询速度最高提升 5 倍

Aurasell 的 AI 原生市场进入平台运行着全天候进行潜在客户开发、管理销售管道和辅导销售代表的智能体。这些智能体工作流依赖高查询吞吐量,而 Aurasell 希望在不将数据迁移或索引到外部系统的情况下获得实时性能。借助 Lakehouse//RT,团队通过单个小型集群直接在 Databricks 中承载该工作负载。

“高查询吞吐量对 Aurasell 的智能体工作流至关重要。在使用 Lakehouse//RT 之前,要达到每秒 200 次查询,我们需要启动多个独立集群,这增加了复杂性。借助 Lakehouse//RT,单个小型集群就能轻松持续支撑超过 250 QPS,同时查询执行速度快 4-5 倍。除了通过整合集群实现基础设施和成本效率 10 倍的提升之外,最大的收获是架构上的简化;我们无需将数据迁移或索引到外部系统,就能直接在 Databricks 中获得所需的实时性能。”——Srinivas Bandi,Aurasell 首席技术官

VisionHeight:成本降低 90% 以上,三天内投入生产

VisionHeight 是一个攻击前情报平台,可实时映射公共互联网上的对手基础设施。其此前的实时层运行在 Apache Pinot 上,使用全天候运行的常开 EC2 集群。切换到 Lakehouse//RT 的无服务器模式后,VisionHeight 的成本降低了 90% 以上。在其最重的查询上,Lakehouse//RT 实现了亚秒级响应时间,比 Pinot 快近 3 倍。整个迁移仅用了三天。

“用上 Lakehouse//RT 之后,速度非常快。无需导出数据,无需维护基础设施,成本降低约 90%。现在这一切都能在 Databricks 中直接运行。”——Nitsan Daniel,VisionHeight 首席技术官兼联合创始人

阅读 完整案例研究.

nOps:基础设施成本降低 6 倍,消除 40TB 重复数据

nOps 为数百家客户管理着超过 50 亿美元的年度云支出,支撑着企业实时追踪每一笔资金去向的实时仪表盘。其此前的实时查询层运行在 Apache Druid 上,需要一套单独的全天候运行集群,以及从湖仓同步而来的 40TB 重复数据。迁移到 Lakehouse//RT 后,nOps 将基础设施成本降低了 6 倍以上,同时彻底消除了重复数据。由于 Lakehouse//RT 直接在数据所在位置查询数据,此次迁移无需复制数据、无需新建摄取管道,也无需新增基础设施。

“任何人都知道,把超过 380TB 的数据搬到不同平台是一场噩梦,而且成本高昂。借助 Lakehouse//RT,我们在底层数据零改动的情况下获得了实时能力。”——Jordan Stein,nOps 工程总监

阅读 完整案例研究.

核心结论

AI 和用户需求的浪潮不是即将到来,而是已经到来。查询量将呈数量级增长。问题不在于你能否负担实时性能,而在于你能否承受没有一个为规模化效率而构建的系统。

Lakehouse//RT 为你提供:

  • 满足实时分析需求的性能 在受治理的湖仓数据上,以低于100毫秒的延迟和数千并发QPS运行
  • 账单增长慢于查询量的增长 因为每次查询使用的计算更少,而且容量以小步幅增加
  • 无需单独的基础设施 来购买、同步或维护;与使用独立的实时服务层相比,客户的总基础设施成本降低了6倍到10倍

开始使用

Lakehouse//RT 现已推出测试版。创建一个新的Lakehouse//RT仓库,开始测试你最严苛的实时工作负载。

  • 启用 Lakehouse//RT:了解 如何开始使用 Lakehouse//RT
  • 查看定价:截至 2027 年 1 月,试用 Lakehouse//RT,享受 30% 折扣. 
  • 联系您的客户团队它们可以帮助你针对自己的特定工作负载来建模成本影响。
相关标签:

数据仓库 以及 Lakehouse//RT

订阅我们的博客,最新文章将直接发送到您的收件箱。

订阅我们的博客,最新文章将直接发送到您的收件箱。

订阅

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"