跳转到主要内容
  • Procore 用 Databricks 上的 OpenSharing 替换了原先由 API 驱动、每天仅刷新一次的分析产品,打破了每日一次刷新的上限,使客户能够每小时为其下游系统和业务流程拉取数据。
  • OpenSharing 现在分发数百张精选表,按客户维护分区访问权限,从而在规模化场景下管理数十万条不同的数据共享。
  • 终端客户和内部产品团队的数据可用性翻倍,加速了新产品体验的推出,并让房地产设施业主、总承包商和专业承包商能够以单一可信视图查看每个项目。

连接一个建立在割裂数据之上的行业

建筑行业的运转依赖数据,而这些数据很少集中在一处。信息分散在各个平台、地区和团队之间,往往被锁在生成它的那一方的系统里。当现场数据未与财务系统连接时,这种割裂可能掩盖财务风险。当项目经理、数千英里之外的建筑高管和施工现场的主管无法看到项目的同一视图时,决策就会基于过时或不完整的信息做出。

Procore 是一家领先的全球建筑管理软件提供商,服务于美国、欧洲、中东、亚洲和澳大利亚的数万名客户,其创立初衷正是弥合这些鸿沟——将建筑行业中的每个人连接在单一平台上。这尤其意味着三类群体:业主(房地产开发商以及任何自行拥有并运营房地产设施或基础设施的人)、端到端管理项目的总承包商,以及像电工和水管工这样在现场执行工作的专业承包商。

但仅在 Procore 内部连接数据只是故事的一半。客户还需要将这些数据引入自己的环境,与其开展业务所依赖的其他一切系统并列使用(例如,总承包商将 Procore 数据拉入 Power BI,以跟踪在建项目的劳动力和人员指标;或者客户将其与自己的 ERP 和财务系统连接,在一处查看项目执行情况和成本)。这正是 Procore Analytics 所提供的:以编程方式访问已连接的 Procore 数据集,并将其拉取到客户已经在使用的任何工具中——Power BI、Tableau、Snowflake、BigQuery、他们自己的 Databricks 工作区或本地 SQL Server——用于报表和下游分析。

超越第一代 Procore Analytics

第一代 Procore Analytics 完全早于 OpenSharing。它构建在 SQL Server 后端之上。数据从 Procore 的公共 API 中提取,并加载到客户可查询的 Azure 数据库中。

该架构行之有效,但存在硬性上限。刷新被限制为每天运行一次,即便是付费购买额外刷新的客户,每天最多也只能刷新三次。对于状况每小时都在变化的建筑项目而言,这种延迟是最大的单一限制因素。

由 API 驱动的提取在规模化时还会带来成本和可靠性问题。通过公共 API 为数万名客户拉取数据意味着要运行深度递归调用,这些调用成本高昂、脆弱,且容易出现超时或触及限制。

为什么选择 OpenSharing

当 Procore 开始设计下一代 Procore Analytics 时,Databricks 已经在为 Procore 平台的其他部分提供支持。这使得 OpenSharing 也成为面向客户的提取产品的自然选择,并且相比旧的 API 路径具有若干具体优势。

运营效率。 就地共享精选文件,消除了为每位客户运行深度递归 API 调用所带来的成本、脆弱性和超时风险,而正是这种压力限制了 Procore Analytics 1.0 的刷新频率。

规模。 Procore 现在可以向每位客户共享数百张精选表,按客户维护分区访问权限,从而在规模化场景下管理数十万条不同的数据共享。其中一些公司同时运行着数百或数千个项目,而每一个项目都需要当前的工作视图。

覆盖范围。 Procore 的客户运行在每一种主流云和几乎所有能想到的 IT 技术栈上,从 Excel 和 Power BI 到完整搭建的 Databricks 环境。OpenSharing 的开放协议能够满足所有这些场景。Power BI 和 Tableau 等 BI 工具开箱即用,已经在 Databricks 上运行的客户无需移动任何数据即可获得原生的 Databricks 到 Databricks 体验。使用其他数据仓库和平台的客户可以通过开放的 OpenSharing 客户端库消费相同的共享。

可靠性和性能。 客户消费的是经过整理和治理的数据,这些数据已经过清洗、建模和质量检查,而无需串联 API 调用并拼接结果。

安全与治理。 共享通过 Unity Catalog 运行,因此每张表都受到集中治理,访问权限按用户和按项目强制执行。总承包商可以与业主共享项目进度,同时对自己的财务数据保密。

实施 image1.png

Procore 在 Databricks 内部基于 medallion 架构 构建了 Procore Analytics 2.0。来自 Procore 应用数据库的原始事件和集成事件原封不动地进入 bronze 层。Silver 层应用清洗、验证和数据质量检查,生成下游一切所依赖的已确认数据集。Gold 层则是对数据进行聚合、优化并为分析建模的地方。

Bronze、silver 和 gold 均跨多个区域运行,因此处理发生在靠近源数据的地方。随后,Gold 表从各个区域被拉取到单一的 primary analytics 区域,OpenSharing 正是在这里将数据分发给客户。

两条接收方路径。 没有 Databricks 的客户直接在 Procore 应用内生成 OpenSharing 令牌,并使用开放协议进行连接。已经拥有 Databricks 的客户则添加其工作区标识符,通过 Databricks 到 Databricks 共享原生接收共享。

自动化授权。 一个定时任务会监视新的共享和权限变更,从 Procore 应用中读取每个用户的权限,并相应地协调 OpenSharing 授权。结果是按用户、按项目强制执行,无需手动配置,因此总承包商可以与业主共享项目进度,同时对自己的财务数据保密,或者只与特定贸易伙伴共享限定于该贸易伙伴的数据。

粒度与增量性。 Procore 在 schema、视图、表和分区级别进行共享。表启用了变更数据馈送(Change Data Feed),因此接收方可以选择消费完整数据集,或只消费自上次同步以来发生变化的数据,这在单张表包含数百万条记录时尤为重要。

统一的语义层。 由于同一个 gold 层同时为 Procore 的应用内报表和客户提取提供支持,各产品之间的 schema 和命名约定保持一致。客户在 Procore UI 中看到的值,在其提取数据中会以相同的名称呈现相同的值。

可预测的变更节奏。 将数据交付到数千个下游客户环境,意味着破坏性变更必须被谨慎地提前告知。破坏性变更是指任何可能扰乱客户下游管道的变更,例如重命名字段、更改列的数据类型或重构表。Procore 最终确定每年发布四次破坏性变更,提前六周通知;每年发布十二次非破坏性变更,提前三周通知,并与更广泛的组织发布日历保持一致。

重组后的数据团队。 过去有两套并行的管道,一套用于分析,一套用于应用内报表,各自拥有自己的摄取、建模和治理。新的模式将其整合为一条路径。一条统一的管道负责摄取、落地、建模和治理,然后分发给按业务领域(如财务)对齐的数据领域团队。每个领域团队端到端地拥有自己的数据,并与相关的应用团队合作处理每个工具的细节,而不是在独立的分析、报表和智能团队之间重复这些知识。

可衡量的影响

最切实的业务成果是数据可用性。Procore Analytics 1.0 花费数年时间才通过 OpenSharing 构建起可用表和字段的基线目录,而 Procore Analytics 2.0 在不到一半的时间内将该目录扩展到数百张表,实际上使客户能够大规模提取的数据范围翻了一番。这很重要,因为 Procore 不断推出新功能,而每项新功能都会产生客户希望拉取到自己环境中的数据。更广泛的目录意味着更多新功能可供下游客户使用,而无需一次性的集成工作。

对于终端客户而言,迁移到 OpenSharing 打破了每天一次刷新的上限,重塑了工作节奏。客户现在可以根据自身业务节奏安排刷新,许多每天拉取数据的客户实际上每天拉取多次,具体取决于其下游工具支持的频率。一位项目经理在为重要的客户演示做准备时,可以在当天早上接收高管发来的一连串最后一刻的更新,并让实时仪表板在会议前及时反映这些更新。在旧模式下,这些细节只能在会议本身中解释。

对于内部产品团队而言,单一共享管道意味着工具团队可以构建新功能,并几乎在功能发布的同时就让客户能够提取其数据,而不必等待并行的分析管道数月之久。Procore 期望工具数据可用性的每一次提升都能直接转化为客户的新产品体验。

面向报表、分析和 AI 的数据基础

除了在刷新频率、规模和覆盖范围方面的直接收益之外,Procore 在 Databricks 和 OpenSharing 上构建的数据架构为客户提供了一个受治理、持续可用的基础,用于企业级报表和智能。无论客户是在标准化所有活跃项目的报表、将项目数据输入企业 BI,还是在此基础上构建 AI,价值的起点都是一样的:数据干净、经过建模、受治理,并可在所有需要它的系统中使用。

这正是 Procore Analytics 2.0 所产出的成果。一个单一的多区域 gold 层,既为 Procore 自身的应用体验提供支持,也流入客户在其 Procore 数据之上构建的产品,并通过 OpenSharing 和 Procore 的其他数据路径,触达各大云平台上数千家建筑公司。有了这一基础,企业报表、分析和新兴的 AI 用例都从同一个可信、最新的真相来源中获取数据,而不是依赖一系列一次性集成。

长期目标与 Procore 从第一天起就秉持的使命一致:在一个全球平台上连接建筑行业的每一个人——让每个项目上的每个团队都能获得他们所需的可信数据,从而更安全、更快速、更智能地建设。

“OpenSharing 帮助我们提高了数据可用性,这意味着建筑行业的每一个人,从高管到项目经理再到现场人员,都能更好地了解他们所从事的工作。这帮助他们按时、按预算、安全地交付项目。”——Matthew Guptill,Procore Analytics 产品经理

正在构建客户会在自己的工具中消费的数据产品?OpenSharing 为您提供一种开放、受治理的方式,在客户运行的每个云、区域和平台上交付实时数据,无需维护副本。了解 OpenSharing 如何运作,然后探索 Databricks Marketplace 来共享和发现实时数据集。 探索 OpenSharing 

让您的数据发挥作用。Procore Analytics 将您的项目数据转化为可执行的商业智能,连接每个项目的信息,并将其交付到您的团队已经在使用的工具中。了解 Procore Analytics 如何帮助您在整个项目组合中做出更快、更确定的决策。 探索 Procore Analytics 

相关标签:

客户

在您的收件箱中获取最新文章

订阅我们的博客,最新文章将直接发送到您的收件箱。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"