跳转到主要内容
  • 来自气隙工厂的实时工厂数据:Bright Machines 在边缘用 Debezium 捕获 PostgreSQL 变更,并将其写为 Apache Iceberg。数据通过一条可审计的出站路径传出,Databricks 通过 Unity Catalog federation 与 AWS Glue 原地读取。
  • 一个受治理的平台取代了九服务管道:旧管道在模式变更时就会中断,故障无人察觉,而且没有真正的访问控制。现在,一个由 Unity Catalog 治理的平台提供基于角色的 AI/BI 仪表板和零拷贝共享。
  • 结果:产线写入数据后 1–2 分钟即可在 Databricks 中查询,仪表板每 10 分钟刷新一次。心跳检查可在 30 分钟内发现管道故障,而非数天;首个客户仪表板在项目启动约两个月后上线。

Bright Machines 为客户提供其工厂数据的实时、受治理仪表板,同时不向其气隙工厂开放任何入站访问。它在工厂边缘用 Debezium 捕获 PostgreSQL 变更,将其写为 Apache Iceberg,通过一条可审计的出站路径发送出去,并在 Databricks 中通过 Unity Catalog federation 原地读取。首个客户可见的仪表板在项目启动约两个月后上线。

  • 问题: 客户希望获得工厂数据,而唯一的共享方式是在本地重新运行报告并通过电子邮件发送。
  • 解决方案: Debezium 变更数据捕获、Apache Iceberg、AWS Glue、Unity Catalog、Databricks SQL、AI/BI 仪表板和 OpenSharing。
  • 结果: 九个松散耦合的服务被一个受治理平台加一条边缘路径取代,工厂零入站端口。
  • 新鲜度: 产线上提交的一行数据可在 1 到 2 分钟内在 Databricks 中查询,仪表板每 10 分钟刷新一次。
  • 监控: 心跳检查可在 30 分钟内检测到管道故障,此前需要数天。

为什么客户无法看到自己的工厂数据?

每次客户参观我们的一个工厂车间时,都会发生同样的情况。他们会站在装配仪表板前,看着产线运行,然后要求一份数据副本:各工位良率、周期时间趋势、按原因划分的停机时间、批次谱系。

我们拥有所有这些数据。我们为自己的运营团队构建了这些仪表板,它们在车间现场针对产线数据库运行。客户无法通过互联网直接访问其中任何内容。工厂在设计上就是气隙隔离的:没有入站访问,只有一条严格受控的出站路径,以及限制入站访问的基于角色的访问规则。

每份新报告都需要数据工程通过多个 ETL 作业重塑数据,耗费数小时到数天的工程时间。

Bright Machines 是谁?

Bright Machines 构建软件定义、自动化优先的生产线,运行在客户的工厂内。这些工厂在设计上处于锁定状态:无入站访问、最小化出站,且对风险零容忍。每条产线运行一组本地服务(我们的自研 MES、与客户 MES 的集成、操作员屏幕、机器人工作流编排器和装配仪表板),这些服务都持久化到工厂本地集群上的 PostgreSQL。运行这些的软件团队是一个精简团队,端到端管理数据管道以及数据应用软件栈。这些数据驱动各种 KPI 仪表板、财务报告、运营、质量、供应商组件质量、NCR 跟踪、谱系、OEE,以及每个班次背后的停机时间和周期时间分析。

旧的工厂数据管道是什么样子,为什么失败?

在我们解决这个问题的第一次尝试中,我们通过九个松散耦合的服务,从应用事件重建了每个工厂数据库的云副本。在工厂车间,情况看起来不错。车间之外的一切都是这个复杂架构和管道的问题所在。

这九个服务是消息代理、自定义搬运器、队列、对象存储、几个无服务器函数、云关系数据库、调度器、ETL 管道,以及一个支持非常基础 RBAC 的流行开源 BI 工具。

该管道因以下原因失败:

  • 模式演进。模式经常变化,除非每次本地仪表板或模式变化时都更新 ETL 作业,否则管道会静默丢弃变更的数据。
  • 缺少监控。管道有故障,而死信队列难以监控,因此丢失或重复的事件无人察觉。
  • 数据验证。一旦数据落入存储桶,没有人能确信它是否准确、是否来自正确的源。
  • 数据治理。对我们共享的视图和数据拥有适当的治理和基于角色的访问控制。

修复上述所有功能需要从头重新架构。

新架构的要求是什么?

除上述原因外,这些约束也塑造了新设计:

安全模型。无入站连接到工厂,所有访问可审计。

可展示的治理。客户将确切看到其角色在车间允许的内容,我们必须能够证明适当的限制已到位。

分钟级新鲜度。本地仪表板视图将在几分钟内通过互联网可见,且数据相同。

新架构

为什么 Bright Machines 选择边缘捕获和联邦而非直接摄取?

Bright Machines 选择边缘变更数据捕获与 Unity Catalog federation,因为这是唯一一种在应用治理之前,客户和/或 Bright Machines 自有账户之外的任何计算都不会接触工厂数据的方案。

我们的标准按顺序为:与车间已执行的访问控制相匹配、一条可向任何安全团队解释的可审计出站路径、分钟级新鲜度,以及边缘的开放格式。

在编写任何代码之前,我们与 Databricks 解决方案架构师一起梳理了各种方案。两个显而易见的选择是:由 Lakeflow Connect 直接从 PostgreSQL 摄取数据,以及由 Auto Loader 拾取 Postgres 导出文件。这两种方案搭建起来都会更快。我们的威胁模型遵循这样一条规则:数据可以被推送出去,但外部任何东西都不能进来。基于拉取的摄取模式需要一条从云端到工厂数据库的网络路径,并且要在数据所在账户之外的环境中运行摄取。于是问题变成了:我们如何在不把任何接触原始工厂数据的组件移出我们自有环境的前提下,获得同样受治理的结果?

答案是反转方向。在边缘捕获变更,将其落地为开放格式,通过一条可审计的路径推送出去,然后让 Databricks 原地读取它们。

我们在一条复制的产线上验证了这一点,该产线类似于生产现场,由两名工程师花了大约六周时间。验收标准有两部分。第一,产线上提交的一行数据必须能在五分钟内被查询到,且不开放任何入站端口。第二,客户主体必须只能看到其角色所允许的表和仪表板,除此之外什么都看不到。

决定性因素是 Databricks 已经强制执行了与我们一致的安全模型:Unity Catalog 决定谁能看到什么,OpenSharing 用于在不复制数据的情况下发布受治理的表。在开始之前,我们担心联邦表上的治理对于审计来说不够严格。事实证明它很严格,而在切换期间让我们栽跟头的这种严格性,正是我们现在所依赖的严格性。

数据如何从气隙工厂进入 Databricks?

数据通过单一出站路径分五步离开工厂,Databricks 原地读取它,无需复制作业。操作员保留本地装配仪表板,因为他们需要实时数据。Databricks 云端为客户和内部团队提供服务。

在边缘用 Debezium 捕获。Debezium Server 跟踪 PostgreSQL 复制槽,并将仅追加的 Apache Iceberg 变更日志写入本地对象存储。如果广域网中断,积压会变成落地的对象,而不是在生产数据库上堆积的预写日志。

通过一条路径发送出去。单个边缘组件将每个对象复制到站点云账户中的一个存储桶。这是工厂唯一的出站数据路径,其凭证只能写入那一个存储桶,别的什么都写不了。跨账户复制将对象传送到分析账户。

将其联邦到 Unity Catalog。Iceberg 表注册在 AWS Glue 中,Unity Catalog 将 Glue 联邦为只读目录。这使得工厂 PostgreSQL 数据库中一百多张表可以在 Databricks 中查询,而无需复制。

在 Databricks SQL 中建模。Bronze 视图将变更日志折叠为当前状态。Lakeflow 作业每十分钟重建一次 silver 模型,全部使用 SQL,并通过 Databricks Asset Bundles 从 Git 部署。

用仪表板和 OpenSharing 提供服务。多个 AI/BI 仪表板基于角色权限从 silver 层读取处理后的数据。这使得外部客户和内部团队都能看到相同的数字。OpenSharing 允许将同一份数据安全地共享给我们的客户。

为什么在 AWS Glue 中注册 Iceberg 表,而不是让 Databricks 直接指向存储桶?

在 AWS Glue 中注册表使 Bright Machines 能够精确控制每张表何时向前推进。对象存储上的变更日志是一连串新的元数据文件。一个小函数仅在新元数据文件完全复制后,才在 Glue 中推进每张表的指针,而且只向前推进。Glue 持有指针,Unity Catalog 持有权限,Databricks 只读取我们已经验证过的版本。

如何区分空闲的生产线和损坏的管道?

使用心跳。当产线因换班而停止时,没有新行到达,这看起来与损坏的管道一模一样。行数无法区分这两种极端情况。

Debezium 每五分钟更新每个源数据库中的单行心跳表,无论产线是否在运行。该更新走与生产数据相同的路径。Lakeflow 作业的第一个任务检查心跳,如果任何一个超过三十分钟未更新,该任务就会失败,整个作业就会变红。仪表板继续显示最后的好数据,而不是将陈旧数据当作当前数据呈现。

迁移是如何分阶段进行的,我们学到了什么?

我们分四个步骤进行:1.) 在 PoC 产线上试点,2.) 在价值最高的生产产线上线,3.) 与旧的快照路径并行运行以逐行检查一致性,4.) 为客户硬切换仪表板。

让我们意外的地方。 规模出现在错误的维度上。我们每天移动几百 GB 的数据,但却是以数十万个小对象的形式,因此每个设计决策最终都围绕对象速率,而不是由字节数决定。

我们会做得不同的地方。 在第一天就构建对账流程。由创建事件驱动的同步永远不会回头去找它错过的对象,下游也没有任何东西会注意到,直到某个查询触及它。

Bright Machines 看到了什么结果?

那些客户拜访的关注点变了。没有人再要求一份仪表板的副本,因为他们已经有了,在他们可用的角色下。客户分析师从自己的办公桌打开质量仪表板,看到的数字与产线负责人在车间看到的相同,延迟大约十分钟。我们从不运行报告。第一个客户可见的仪表板在项目启动约两个月后上线。

其他团队应该从中学到什么?

给任何从锁定站点共享数据的人的五条经验:

  1. 从你已有的安全模型出发。 我们的数据治理要求定义了角色和限制。我们选择了恰好强制执行这些要求的平台,而不是近似实现它们。
  2. 先设计好唯一的一条出路,并在其后面做缓冲。 一条可审计的出站路径,让之后与安全团队的每一次沟通都变得可控。在边缘进行缓冲意味着 WAN 的短暂抖动永远不会演变成生产数据库事故。
  3. 掌控表何时向前推进。 由你掌控、并对指针设有防护的目录跳转,意味着湖仓只会看到你已验证过的版本。
  4. 数据只构建一次,其余交给权限。 过去耗费大量时间的,正是为每份报表同时维护客户版本和运营版本。
  5. 基于心跳而非行数来断言数据新鲜度。 没有新行意味着产线空闲。没有新心跳意味着管道故障。

Bright Machines 的下一步是什么?

既然数据已受治理且可访问,下一步就是通过 Genie 的自然语言分析、面向运营的自定义 AI 代理,以及将工厂数据转化为前瞻性决策的预测分析,让 AI 功能更易使用这些数据。

为运营分析和调查构建自定义 AI 代理。在这些产线上工作的人——操作员、质量工程师、维护技师——拥有领域专业知识,但不是 SQL 用户。自定义 AI 代理(通过 Databricks Apps 或 Agent Bricks)可以让产线负责人提问“为什么 4 号工位本班次的停机时间更高?”Bright Machines 提供的知识文档连同运营数据,可以基于同一份受治理的 silver 数据给出答案。这就是“改善利润”的玩法——缩短工厂车间从提问到行动的时间。

常见问题部分

Databricks 能否用于气隙隔离的工厂?可以。Bright Machines 不为数据传输向工厂开放任何入站端口。变更在工厂内部捕获,并通过一条可审计的出站路径推送出去,Databricks 则通过 Unity Catalog federation 原地读取生成的 Apache Iceberg 表。

Databricks 中的工厂数据有多新鲜?在稳定状态下,产线上提交的一行数据可在 1 到 2 分钟内在 Databricks 中查询。Silver 模型和仪表板每十分钟刷新一次。需要实时视图的操作员继续使用本地装配仪表板。

客户如何访问数据?有两种方式:与 Bright Machines 的 SSO Federation 集成的、基于角色的权限的 AI/BI 仪表板,以及提供 OpenSharing 访问的额外能力,后者将零副本的受治理 silver 表发布给拥有 Databricks 账户的客户。

什么取代了旧的九服务管道?一个受治理的平台 Databricks,加上由 Debezium、本地对象存储和一个同步组件组成的单一边缘路径。Bronze 视图、silver 模型、作业、仪表板和共享全部从一个 Databricks Asset Bundle 部署。

此设计专门构建在 AWS 上,该设计能在 Azure 或 Google Cloud 上运行吗?云相关的部分是边缘同步目标、跨账户复制和目录跳转。Databricks 侧的一切在任何云上都是相同的,因此迁移它只需更改少量资源,而不是重建。

花了多长时间?概念验证大约用了六周,由两名工程师完成。第一个客户可见的仪表板在项目启动约两个月后上线。

想要从锁定站点共享受治理的数据而不开放入站访问?了解 Unity Catalog 如何联合来自 AWS Glue 的 Apache Iceberg 表,或与你的 Databricks 客户团队讨论你的架构。

相关标签:

解决方案, 客户, 最佳实践, 制造业 和 数据工程

在收件箱中获取最新文章

订阅我们的博客,将最新文章发送到你的收件箱。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"