跳转到主要内容
  • Databricks 实时模式是一种 Spark Structured Streaming 触发器,可在记录到达时立即处理,实现毫秒级端到端延迟。
  • 只需修改一行触发器即可启用。数据源、转换和检查点保持不变,因此无需重写。
  • 它适用于欺诈检测、个性化推荐和实时 AI 功能,Spark 现在覆盖了过去需要 Apache Flink 才能实现的延迟水平。

实时模式是 Apache Spark™ 的一个触发器 Structured Streaming ,它在每条记录到达时立即处理,而不是等待下一个微批次。它将 Spark 流处理的端到端延迟从秒级降至毫秒级,且使用与批处理和微批流处理相同的引擎和 API。

在实时模式出现之前,需要亚秒级响应的团队通常会额外引入一个仅用于流处理的引擎。实时模式为大多数工作负载消除了这一需求。只需更改现有查询的触发器,Spark 便会持续运行它。

实时模式如何工作?

实时模式用长时间运行的任务取代微批调度,这些任务持续读取和处理数据。微批查询会等待批次边界、调度任务,并在各阶段之间执行阻塞式 shuffle,这使延迟下限约为 1 秒。实时模式通过三项改动消除了这一开销,详见 突破微批屏障:Apache Spark 实时模式的架构.

Diagram of the three Real-Time Mode innovations: continuous data flow, pipeline scheduling of all stages at once, and a non-blocking streaming shuffle between stages.
图 1. 实时模式结合了持续数据流、流水线调度和流式 shuffle,使记录从数据源流向数据汇,而无需等待批次边界。
Timeline comparing Spark micro-batch execution with gaps between batches to Real-Time Mode, where long-running tasks process records continuously between checkpoints.
图 2. 微批会等待批次边界和阻塞式 shuffle。实时模式持续运行各阶段,并在后台执行检查点。

触发器间隔控制 Spark 提交检查点和报告进度的频率。它并不控制一条记录等待多久。记录始终在长时间运行的任务中流动,检查点在后台提交。

如何开启实时模式?

将 Structured Streaming 查询的触发器改为 realTime,并设置 update 输出模式。查询的其余部分保持不变。

最小触发间隔为5秒,5分钟是常见的生产环境设置。在Databricks上,需在 经典计算 上启用实时模式,运行Databricks Runtime 16.4 LTS或更高版本,关闭Photon、自动扩缩容和竞价实例,并将spark.databricks.streaming.realTimeMode.enabled设为true。你也可以在 Lakeflow Spark Declarative Pipelines 中以持续模式在无服务器计算上运行它。

一次性为所有阶段规划规模。由于所有阶段并发运行,集群需要为查询中的每个任务提供一个任务槽。一个包含8个分区的Kafka数据源加上一个包含20个分区的shuffle,需要28个槽位。

实时模式支持哪些功能?

实时模式支持基于Kafka的数据源和数据汇、行级foreach数据汇以及大多数流处理算子,包括有状态算子。下表总结了Databricks上当前的支持情况。参见 实时模式参考 以获取完整列表。

区域支持不支持
数据源Apache Kafka、AWS MSK、Amazon Kinesis、通过 Kafka 连接器的 Event HubsDelta 表作为数据源
数据汇Kafka、foreach(ForeachWriter)Delta 表、foreachBatch
输出模式更新追加、完整
无状态算子投影、过滤、UDF、流-静态连接无重要项
有状态算子聚合、滚动窗口和滑动窗口、去重、transformWithState(基于行)会话窗口、transformWithStateInPandas、事件时间定时器
计算(Databricks)经典计算、运行于经典或无服务器上的 Lakeflow 管道无服务器笔记本和作业、免费版

表 1. Databricks 上的实时模式支持情况。来源: Databricks 实时模式参考.

要将实时模式的结果写入 Delta 表,请将其写入 Kafka,然后从 Kafka 到 Delta 运行单独的微批查询。

哪个 Spark 版本支持实时模式?

实时模式已在 Databricks 上正式可用,并正在各开源 Apache Spark 版本中逐步推出。在 Databricks 上,它自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。 自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。

发布新增内容
Apache Spark 4.1无状态 Scala 查询的实时模式
Apache Spark 4.2PySpark 实时模式触发器
Apache Spark 4.3有状态算子:聚合、去重和 transformWithState
Databricks(正式可用,2026 年 3 月)无状态和有状态查询、初始状态加载、Lakeflow 管道支持

表 2. 实时模式可用性。来源: Spark 4.1.0 发行说明, Apache Spark 实时模式文档.

实时模式有多快?

根据已发布的基准测试,实时模式在无状态查询中可达到个位数毫秒延迟,在有状态查询中 p99 约为 140 毫秒。实际延迟取决于数据源、算子、状态大小、接收端和集群容量。

工作负载公布的 p99 延迟来源
无状态转换3 毫秒Databricks 延迟基准测试
流-静态连接9 毫秒Databricks 延迟基准测试
有状态聚合(特征计算)14 毫秒Databricks 延迟基准测试
dropDuplicates136 毫秒Databricks 有状态基准测试
窗口聚合139 毫秒Databricks 有状态基准测试
transformWithState141 毫秒Databricks 有状态基准测试

表 3. 已发布的实时模式延迟结果。来源: 延迟基准测试仓库 以及 实时模式教程.

要监控正在运行的查询,请使用实时模式的延迟指标,而不是批处理持续时间。批处理持续时间指标不反映端到端延迟,而所报告的端到端指标不包含接收端写入时间。参见 优化并监控实时模式的性能.

在生产环境中, MakeMyTrip 将 P50 延迟从约 1.23 秒降至 44 毫秒,并将 P99 从超过一分钟降至约 500 毫秒,这推动点击率提升了 7%。

Bar chart showing MakeMyTrip P50 latency falling from about 1.23 seconds to 44 ms and P99 from over a minute to about 500 ms with Spark Real-Time Mode.
图 3. 采用实时模式后,MakeMyTrip 将 P50 延迟从约 1.23 秒降至 44 毫秒,并将 P99 从超过一分钟降至约 500 毫秒。
报告

企业级智能体 AI 实战指南

立即阅读
ai

如何在实时模式中使用状态?

使用标准的流式算子进行聚合和去重,并使用 transformWithState 来实现自定义的按键逻辑。状态保存在长时间运行的任务内部,因此有状态的工作仍留在低延迟路径上。设置水位线,以便 Spark 可以释放旧状态。

对于 Python 中的自定义有状态逻辑,请使用基于行的 transformWithState API,该 API 需要 Databricks Runtime 17.3 LTS 或更高版本。pandas 变体 transformWithStateInPandas 在实时模式下不受支持。参见 构建自定义有状态应用.

何时应使用实时模式?

当业务操作必须在一秒内完成时,请使用实时模式;如果不需要,则使用成本更低的触发器。实时模式在专用计算资源上持续运行,因此其成本是稳定的。

  • 欺诈与风险评分。DraftKings 在实时体育博彩中使用实时模式与 transformWithState 进行欺诈检测。
  • 个性化与推荐。MakeMyTrip 以 44 毫秒的 P50 延迟提供个性化酒店结果。
  • 实时 AI 功能与智能体上下文。同一管道为模型训练和在线推理计算特征,并持续向 AI 智能体提供最新事件。
  • 运营告警与物联网监控。传感器和安全信号可在毫秒内触发操作。

当秒级或分钟级延迟可以接受时,微批或 availableNow 触发器是更好的选择,而且成本更低。由于代码相同,你可以先使用成本更低的触发器,之后再切换。

实时模式是 Apache Flink 的替代方案吗?

是的,对大多数工作负载而言。Real-Time Mode 为 Spark 带来了毫秒级延迟——这正是 Apache Flink 曾成为运维流处理默认选择的原因,同时还能用同一个引擎处理批处理、SQL 和机器学习。在 Databricks 的基准测试中,Real-Time Mode 在无状态工作上与 Flink 持平,并在有状态聚合和流-静态连接上具有更低的 p99 延迟,Databricks 将其总结为 最高快 92%。如需完整对比,请阅读 Apache Spark 与 Apache Flink.

Databricks 上的实时模式

Databricks 由 Apache Spark 的原始创建者创立,并将 Real-Time Mode 作为正式可用功能运行。在开源 Spark 之上,它增加了:

  • 今日的有状态实时模式:聚合、去重以及带初始状态加载的 transformWithState
  • Lakeflow Spark 声明式管道:在经典或无服务器计算上运行实时流
  • Unity Catalog:面向实时表和批处理表的治理与血缘

为开源 Spark 编写的代码可在 Databricks 上原样运行。如需试用,请按照 Apache Spark 教程:实时模式.

常见问题

Spark 中的实时模式是什么?

Databricks 实时模式是一种 Structured Streaming 触发器,它会在记录到达时持续处理记录,而不是按微批处理。它无需重写代码,就能将 Spark 流处理的端到端延迟降至毫秒级。

实时模式与连续处理是一回事吗?

不是。连续处理是一种更早期的实验性模式,对运维人员的支持有限。实时模式是一种全新设计,具备长时间运行的任务、流水线调度和流式 shuffle,并且支持有状态算子。

实时模式是否支持有状态操作?

是的。在 Databricks 上,Databricks Real-Time Mode 目前支持聚合、去重和 transformWithState。在开源 Apache Spark 中,有状态支持将随 Spark 4.3 到来。

实时模式能写入 Delta Lake 吗?

不能直接写入。Real-Time Mode 会写入 Kafka 或 foreach 接收器。若要将结果写入 Delta 表,需要另外运行一个从 Kafka 到 Delta 的微批查询。

Real-Time Mode 是在无服务器环境还是 Free Edition 上运行?

Databricks 实时模式可在经典计算和 Lakeflow Spark 声明式管道(包括无服务器管道)中运行。它无法在无服务器笔记本或作业中运行,因此在 Databricks Free Edition 笔记本中不可用。

开始使用 Databricks 上的实时模式

订阅我们的博客,将最新文章直接发送到您的收件箱。

订阅我们的博客,最新文章将直接发送到您的收件箱。

订阅

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"