- Databricks 实时模式是一种 Spark Structured Streaming 触发器,可在记录到达时立即处理,实现毫秒级端到端延迟。
- 只需修改一行触发器即可启用。数据源、转换和检查点保持不变,因此无需重写。
- 它适用于欺诈检测、个性化推荐和实时 AI 功能,Spark 现在覆盖了过去需要 Apache Flink 才能实现的延迟水平。
实时模式是 Apache Spark™ 的一个触发器 Structured Streaming ,它在每条记录到达时立即处理,而不是等待下一个微批次。它将 Spark 流处理的端到端延迟从秒级降至毫秒级,且使用与批处理和微批流处理相同的引擎和 API。
在实时模式出现之前,需要亚秒级响应的团队通常会额外引入一个仅用于流处理的引擎。实时模式为大多数工作负载消除了这一需求。只需更改现有查询的触发器,Spark 便会持续运行它。
实时模式如何工作?
实时模式用长时间运行的任务取代微批调度,这些任务持续读取和处理数据。微批查询会等待批次边界、调度任务,并在各阶段之间执行阻塞式 shuffle,这使延迟下限约为 1 秒。实时模式通过三项改动消除了这一开销,详见 突破微批屏障:Apache Spark 实时模式的架构.
触发器间隔控制 Spark 提交检查点和报告进度的频率。它并不控制一条记录等待多久。记录始终在长时间运行的任务中流动,检查点在后台提交。
如何开启实时模式?
将 Structured Streaming 查询的触发器改为 realTime,并设置 update 输出模式。查询的其余部分保持不变。
最小触发间隔为5秒,5分钟是常见的生产环境设置。在Databricks上,需在 经典计算 上启用实时模式,运行Databricks Runtime 16.4 LTS或更高版本,关闭Photon、自动扩缩容和竞价实例,并将spark.databricks.streaming.realTimeMode.enabled设为true。你也可以在 Lakeflow Spark Declarative Pipelines 中以持续模式在无服务器计算上运行它。
一次性为所有阶段规划规模。由于所有阶段并发运行,集群需要为查询中的每个任务提供一个任务槽。一个包含8个分区的Kafka数据源加上一个包含20个分区的shuffle,需要28个槽位。
实时模式支持哪些功能?
实时模式支持基于Kafka的数据源和数据汇、行级foreach数据汇以及大多数流处理算子,包括有状态算子。下表总结了Databricks上当前的支持情况。参见 实时模式参考 以获取完整列表。
| 区域 | 支持 | 不支持 |
|---|---|---|
| 数据源 | Apache Kafka、AWS MSK、Amazon Kinesis、通过 Kafka 连接器的 Event Hubs | Delta 表作为数据源 |
| 数据汇 | Kafka、foreach(ForeachWriter) | Delta 表、foreachBatch |
| 输出模式 | 更新 | 追加、完整 |
| 无状态算子 | 投影、过滤、UDF、流-静态连接 | 无重要项 |
| 有状态算子 | 聚合、滚动窗口和滑动窗口、去重、transformWithState(基于行) | 会话窗口、transformWithStateInPandas、事件时间定时器 |
| 计算(Databricks) | 经典计算、运行于经典或无服务器上的 Lakeflow 管道 | 无服务器笔记本和作业、免费版 |
表 1. Databricks 上的实时模式支持情况。来源: Databricks 实时模式参考.
要将实时模式的结果写入 Delta 表,请将其写入 Kafka,然后从 Kafka 到 Delta 运行单独的微批查询。
哪个 Spark 版本支持实时模式?
实时模式已在 Databricks 上正式可用,并正在各开源 Apache Spark 版本中逐步推出。在 Databricks 上,它自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。 自 2026 年 3 月 19 日起正式可用,包括有状态算子和 transformWithState。
| 发布 | 新增内容 |
|---|---|
| Apache Spark 4.1 | 无状态 Scala 查询的实时模式 |
| Apache Spark 4.2 | PySpark 实时模式触发器 |
| Apache Spark 4.3 | 有状态算子:聚合、去重和 transformWithState |
| Databricks(正式可用,2026 年 3 月) | 无状态和有状态查询、初始状态加载、Lakeflow 管道支持 |
表 2. 实时模式可用性。来源: Spark 4.1.0 发行说明, Apache Spark 实时模式文档.
实时模式有多快?
根据已发布的基准测试,实时模式在无状态查询中可达到个位数毫秒延迟,在有状态查询中 p99 约为 140 毫秒。实际延迟取决于数据源、算子、状态大小、接收端和集群容量。
| 工作负载 | 公布的 p99 延迟 | 来源 |
|---|---|---|
| 无状态转换 | 3 毫秒 | Databricks 延迟基准测试 |
| 流-静态连接 | 9 毫秒 | Databricks 延迟基准测试 |
| 有状态聚合(特征计算) | 14 毫秒 | Databricks 延迟基准测试 |
| dropDuplicates | 136 毫秒 | Databricks 有状态基准测试 |
| 窗口聚合 | 139 毫秒 | Databricks 有状态基准测试 |
| transformWithState | 141 毫秒 | Databricks 有状态基准测试 |
表 3. 已发布的实时模式延迟结果。来源: 延迟基准测试仓库 以及 实时模式教程.
要监控正在运行的查询,请使用实时模式的延迟指标,而不是批处理持续时间。批处理持续时间指标不反映端到端延迟,而所报告的端到端指标不包含接收端写入时间。参见 优化并监控实时模式的性能.
在生产环境中, MakeMyTrip 将 P50 延迟从约 1.23 秒降至 44 毫秒,并将 P99 从超过一分钟降至约 500 毫秒,这推动点击率提升了 7%。
企业级智能体 AI 实战指南
立即阅读
如何在实时模式中使用状态?
使用标准的流式算子进行聚合和去重,并使用 transformWithState 来实现自定义的按键逻辑。状态保存在长时间运行的任务内部,因此有状态的工作仍留在低延迟路径上。设置水位线,以便 Spark 可以释放旧状态。
对于 Python 中的自定义有状态逻辑,请使用基于行的 transformWithState API,该 API 需要 Databricks Runtime 17.3 LTS 或更高版本。pandas 变体 transformWithStateInPandas 在实时模式下不受支持。参见 构建自定义有状态应用.
何时应使用实时模式?
当业务操作必须在一秒内完成时,请使用实时模式;如果不需要,则使用成本更低的触发器。实时模式在专用计算资源上持续运行,因此其成本是稳定的。
- 欺诈与风险评分。DraftKings 在实时体育博彩中使用实时模式与 transformWithState 进行欺诈检测。
- 个性化与推荐。MakeMyTrip 以 44 毫秒的 P50 延迟提供个性化酒店结果。
- 实时 AI 功能与智能体上下文。同一管道为模型训练和在线推理计算特征,并持续向 AI 智能体提供最新事件。
- 运营告警与物联网监控。传感器和安全信号可在毫秒内触发操作。
当秒级或分钟级延迟可以接受时,微批或 availableNow 触发器是更好的选择,而且成本更低。由于代码相同,你可以先使用成本更低的触发器,之后再切换。
实时模式是 Apache Flink 的替代方案吗?
是的,对大多数工作负载而言。Real-Time Mode 为 Spark 带来了毫秒级延迟——这正是 Apache Flink 曾成为运维流处理默认选择的原因,同时还能用同一个引擎处理批处理、SQL 和机器学习。在 Databricks 的基准测试中,Real-Time Mode 在无状态工作上与 Flink 持平,并在有状态聚合和流-静态连接上具有更低的 p99 延迟,Databricks 将其总结为 最高快 92%。如需完整对比,请阅读 Apache Spark 与 Apache Flink.
Databricks 上的实时模式
Databricks 由 Apache Spark 的原始创建者创立,并将 Real-Time Mode 作为正式可用功能运行。在开源 Spark 之上,它增加了:
- 今日的有状态实时模式:聚合、去重以及带初始状态加载的 transformWithState
- Lakeflow Spark 声明式管道:在经典或无服务器计算上运行实时流
- Unity Catalog:面向实时表和批处理表的治理与血缘
为开源 Spark 编写的代码可在 Databricks 上原样运行。如需试用,请按照 Apache Spark 教程:实时模式.
常见问题
Spark 中的实时模式是什么?
Databricks 实时模式是一种 Structured Streaming 触发器,它会在记录到达时持续处理记录,而不是按微批处理。它无需重写代码,就能将 Spark 流处理的端到端延迟降至毫秒级。
实时模式与连续处理是一回事吗?
不是。连续处理是一种更早期的实验性模式,对运维人员的支持有限。实时模式是一种全新设计,具备长时间运行的任务、流水线调度和流式 shuffle,并且支持有状态算子。
实时模式是否支持有状态操作?
是的。在 Databricks 上,Databricks Real-Time Mode 目前支持聚合、去重和 transformWithState。在开源 Apache Spark 中,有状态支持将随 Spark 4.3 到来。
实时模式能写入 Delta Lake 吗?
不能直接写入。Real-Time Mode 会写入 Kafka 或 foreach 接收器。若要将结果写入 Delta 表,需要另外运行一个从 Kafka 到 Delta 的微批查询。
Real-Time Mode 是在无服务器环境还是 Free Edition 上运行?
Databricks 实时模式可在经典计算和 Lakeflow Spark 声明式管道(包括无服务器管道)中运行。它无法在无服务器笔记本或作业中运行,因此在 Databricks Free Edition 笔记本中不可用。
订阅我们的博客,将最新文章直接发送到您的收件箱。
订阅我们的博客,最新文章将直接发送到您的收件箱。