- Apache Spark 是大多数团队的默认选择:一个引擎即可运行批处理、SQL、机器学习和流处理,如今借助 Real-Time Mode 将延迟降至毫秒级。
- 在 Databricks 的一项基准测试中,Spark Real-Time Mode 在无状态、聚合和 join 工作负载上的 p99 延迟与 Apache Flink 持平或更优。
- Flink 仍适用于特定场景,例如超大的 keyed state,或在现有 Flink 平台上进行复杂事件处理。
对大多数团队而言,Apache Spark™ 是更好的选择。Spark 在一个引擎上运行批处理 ETL、SQL 分析、机器学习和流处理,并且 Real-Time Mode 现在将 Spark 流处理的端到端延迟降至毫秒级。Apache Flink 是一个流原生引擎,适合专门的事件处理工作负载,但选择它通常意味着要在 Spark 之外再运行一个引擎。
过去,延迟差距是团队引入 Flink 的主要原因。借助 Real-Time Mode,这一原因已基本消失,真正的问题变成了你想构建、运维和治理多少个引擎。
Apache Spark 和 Apache Flink 有什么区别?
Spark 是一个统一的批处理、流处理、SQL 和 AI 引擎,而 Flink 是一个专门的流处理器。两者都是 Apache 软件基金会的开源项目,均支持精确一次处理、有状态算子和 SQL API。区别在于范围。
Spark 最初是一个批处理引擎,后来加入了 Structured Streaming,它将流视为一张不断增长的表。相同的 DataFrame 和 SQL 代码可以作为定时批处理作业、微批流或 Real-Time Mode 流运行。Flink 以流处理为先设计,将批处理视为有界流。
Spark 和 Flink 在各项功能上如何比较?
下表从通常决定选择的维度对两个引擎进行比较。
| 维度 | Apache Spark | Apache Flink |
|---|---|---|
| 引擎范围 | 统一:批处理、流处理、SQL、ML 和 AI 数据准备 | 流优先,批处理作为有界流 |
| 流处理延迟 | 微批为秒级,Real-Time Mode 为毫秒级 | 毫秒级 |
| 批处理和大规模 ETL | PB 级批处理的行业默认选择 | 支持,但实践中较少使用 |
| 语言 | Python、SQL、Scala、Java,以及通过 Spark Connect 支持 Go、Rust 和 Swift 客户端 | Java、SQL、Python(PyFlink) |
| 有状态处理 | 聚合、去重、join、transformWithState、RocksDB 状态存储 | Flink 2.x 中的 keyed state、定时器、分离式状态(ForSt) |
| 复杂事件处理 | 使用 transformWithState 的自定义逻辑 | 内置 CEP 库和 SQL MATCH_RECOGNIZE |
| 机器学习和 AI | MLlib、特征流水线、SQL 中的向量搜索、LLM 数据准备 | 原生 ML 能力有限,通常需搭配其他系统 |
| Lakehouse 集成 | 原生读写 Delta Lake 和 Apache Iceberg | Iceberg 及其他格式的连接器 |
| 托管选项 | Databricks、AWS EMR 和 Glue、Google Cloud、Microsoft Fabric | AWS、Confluent、Ververica 等 |
表 1. Apache Spark 与 Apache Flink 对比。来源: Apache Spark Real-Time Mode 文档, Apache Flink 2.0 发布说明 和 Flink CEP 文档.
Spark 在流处理上比 Flink 更快吗?
在 Databricks 公布的基准测试中,Spark Real-Time Mode 在无状态工作上与 Flink 持平,在有状态聚合和流-静态表 join 上 p99 延迟更低。该 基准测试代码 是公开的,使用源自客户的特征计算工作负载,以每秒 10,000 条记录运行 30 分钟,测量 Kafka 输入到输出的延迟。Databricks 将结果总结为 比 Flink 最高快 92%.
| 工作负载 | Spark Real-Time Mode p99 | Apache Flink p99 |
|---|---|---|
| 无状态转换 | 3 毫秒 | 3 毫秒 |
| 有状态聚合 | 14 毫秒 | 45 毫秒 |
| 流-静态表 join | 9 毫秒 | 95 毫秒 |
如何解读这些数字: 基准测试由 Databricks 运行。Spark 运行在 Databricks 上,Flink 运行在 AWS Managed Service for Apache Flink 1.18 上。结果将 Spark 的最差运行与 Flink 的最佳运行进行比较。请将其视为针对这些工作负载模式的证据,并在做决定前测试你自己的流水线。
生产结果也印证了这一点。 MakeMyTrip 曾考虑 Flink,最终选择 Spark Real-Time Mode 以避免引入第二个引擎,并将 P50 延迟降至 44 毫秒,P99 从一分多钟降至约 500 毫秒。Coinbase 和 DraftKings 也在生产环境中运行 Real-Time Mode。关于该引擎如何实现这一点,请阅读 打破微批处理壁垒.
如何在 Spark 中获得类似 Flink 的延迟?
你只需更改触发器。Real-Time Mode 是现有 Structured Streaming 查询上的一个触发器,因此相同的代码可以在不同延迟层级之间切换,无需重写。
Real-Time Mode 需要 update 输出模式,并从 Kafka 读取、向 Kafka 或行级 foreach 接收器写入。有状态算子将随 Apache Spark 4.3 在开源中提供,目前在 Databricks 上已正式可用。在 Databricks 上,它运行于 经典计算 或 Lakeflow Spark 声明式流水线中。完整支持矩阵请参阅 Real-Time Mode 参考 。
报告企业智能体 AI 实战指南
立即阅读
何时应选择 Apache Flink 而非 Spark?
对于少量专门的流处理工作负载,Flink 可能是更合适的选择。当以下大多数条件成立时,可考虑使用它:
- 超大的 keyed state。 Flink 2.x 的分离式状态专为远大于本地磁盘的状态而构建。
- 复杂事件处理。 你需要使用 Flink CEP 或 SQL MATCH_RECOGNIZE 在事件序列中进行模式匹配。
- 低延迟路径上的事件时间定时器。 你的逻辑严重依赖事件时间定时器,而 Spark Real-Time Mode 目前在 transformWithState 中尚不支持。
- 一个现有的 Flink 平台。 你已经在生产环境中运行 Flink,而且该流不会向批处理、SQL 或 ML 提供数据。
如果该流还向分析、ML 特征或湖仓表提供数据,Spark 可以避免在两个引擎之间重复逻辑、运维和治理。
为什么只运行一个引擎很重要?
每增加第二个引擎,就会增加第二套代码库、第二套技能组合和第二套治理规则。将 Spark 用于批处理、Flink 用于流处理的团队,往往会把同一业务逻辑重写两遍,并调试两者之间的偏差。
- 一套代码库。 相同的 DataFrame 和 SQL 逻辑可作为批处理、微批处理或 Real-Time Mode 运行。
- 一个团队。 Python 和 SQL 开发者无需学习新的运行时,即可构建实时流水线。
- 一套治理模型。 流式表和批处理表在 Unity Catalog 中共享血缘和访问控制。
- 一条通往 AI 的路径。 相同的流水线可为训练和在线推理构建 ML 特征,正如 DraftKings 使用 transformWithState 所做的那样。
流水线也可以声明式定义,而无需手工连接。 Spark 声明式流水线 负责管理流式表的依赖关系和增量刷新。
在 Databricks 上运行 Spark 流处理
Databricks 由 Apache Spark 的原始创建者创立,并将 Real-Time Mode 作为正式可用功能运行,包括有状态算子和 transformWithState。它增加了 Lakeflow Spark 声明式流水线、Unity Catalog 治理和无服务器流水线。为开源 Spark 编写的代码可在 Databricks 上原样运行。要开始使用,请遵循 Apache Spark 教程:Real-Time Mode.
常见问题
Apache Spark 比 Apache Flink 更快吗?
在 Databricks 发布的基准测试中,Spark Real-Time Mode 在无状态工作负载上与 Flink 持平,并在有状态聚合和流-静态连接上具有更低的 p99 延迟。结果取决于工作负载,因此请对你的流水线进行基准测试。
Spark 流处理仍然是微批处理吗?
不完全是。Spark Structured Streaming 默认采用微批处理,而 Real-Time Mode 以毫秒级延迟持续处理记录。你可以通过设置触发器为每个查询进行选择。
如果我已经使用 Spark,还需要 Flink 吗?
对于大多数工作负载,不需要。Real-Time Mode 在你用于批处理、SQL 和 ML 的同一引擎上为 Spark 提供毫秒级延迟,因此你只需运行一个系统而不是两个。
什么时候 Flink 是更好的选择?
Flink 可以适用于专门的工作负载,例如超大的 keyed state、复杂事件处理,或者已经为独立流运行 Flink 平台的团队。
我可以将 Flink 作业迁移到 Spark 吗?
可以。大多数 Flink SQL 和 DataStream 逻辑可映射到 Structured Streaming 中的 Spark SQL 和 DataFrame,而 Real-Time Mode 覆盖了低延迟路径。先从无状态和聚合作业开始,然后将有状态逻辑迁移到 transformWithState。
在 Databricks 上开始使用 Real-Time Mode
在收件箱中获取最新文章
订阅我们的博客,将最新文章发送到你的收件箱。