先了解这件事
AI 综述
Databricks宣布Spark Structured Streaming的Real-Time Mode正式可用。该模式以realTime触发器逐条处理到达记录,将端到端延迟从秒级降至毫秒级,且无需重写查询;使用时需将触发器改为realTime并采用update输出模式,最小触发间隔为5秒。该模式随Apache Spark 4.1至4.3逐步覆盖无状态与有状态查询。基准测试中,无状态转换p99为3毫秒,有状态聚合约140毫秒;MakeMyTrip采用后P50从约1.23秒降至44毫秒。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Databricks Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月13日
Databricks Blog一手精选
Databricks 推出 Spark Real-Time Mode,流处理延迟降至毫秒级
Databricks 发布 Spark Structured Streaming 的 Real-Time Mode 触发器,逐条处理到达记录,把端到端延迟从秒级降到毫秒级,且无需重写查询。开启方式是把触发器改为 realTime 并使用 update 输出模式,最小触发间隔 5 秒;该模式已在 Databricks 正式可用,并随 Apache Spark 4.1 至 4.3 逐步覆盖无状态与有状态查询。基准中无状态转换 p99 为 3 ms,有状态聚合约 140 ms;MakeMyTrip 采用后 P50 从约 1.23 秒降至 44 ms。