跳转到主要内容
  • Databricks 提供三种主要的数据与 AI 资产共享方式:OpenSharing、Clean Rooms 和 Marketplace。每一种都适用于与对方不同性质的关系。
  • 选错工具可能会浪费一个工程冲刺,或者暴露你本想保护的数据。这些工具还免去了过去为每个数据消费方复制数据、构建管道的繁琐工作。
  • 让关系来决定你如何共享数据:使用 OpenSharing 与已知接收方进行实时、只读访问。当合作伙伴希望在不暴露全部数据的情况下联合数据时,使用 Clean Rooms。使用 Marketplace 来触达或发现你尚不认识的受众。

共享的范畴早已远远超出表。我们现在可以安全地共享各种数据和 AI 资产,从模型到 Notebook 再到 AI 代理,而且这种需求只增不减。过去,可能很难与合作伙伴企业之间传输哪怕一张表,而如今提供访问比以往任何时候都更容易。

随着这种需求的增长,我们在 Databricks 中看到了三种共享方式的出现:OpenSharing、Clean Rooms 和 Marketplace。随着这三者的出现,问题也随之而来:“我什么时候该用其中一个而不是另一个?”选错可能会让你浪费一个工程冲刺,更糟的是,暴露你本想保护的数据。在这篇博客中,我们将深入探讨这三种不同的共享选项,以及它们如何应用于你的业务和合作伙伴关系。正如我们将看到的,正确的选择通常归结为一件事:你与数据另一端那个人之间的关系。

OpenSharing

首先是 OpenSharing,这是共享数据资产最简单的方式。本质上,你创建一个共享,将资产与之关联,并向接收方提供对该共享的访问权限。OpenSharing 会处理访问,即使该接收方不在 Databricks 上。这改变了范式,因为你不再需要搭建管道来向每个消费方传输数据。相反,一旦你授予权限,消费方就能直接以只读方式访问原始的实时资产,因此他们看到的始终是最新的。

甚至像 Power BI 和 Tableau 这样的流行 BI 工具也能直接读取 OpenShared 表。因此,合作伙伴可以将其 BI 直接连接到你与他们共享的数据。

你可能注意到我用了“数据资产”这个词。这是因为你可以与组织外的企业共享的不仅仅是表,还包括表(Delta 或 Iceberg)、视图、卷、Notebook、UDF,甚至 AI 模型。这也不限于外部组织;一些企业使用 OpenSharing 与不同的业务部门共享数据。

在各行各业,我们都看到企业通过 OpenSharing 利用或摄取来自合作伙伴企业的数据:

  • 零售:企业与快消品供应商共享销售点数据
  • 医疗:医院网络将去标识化数据交给指定的研究合作伙伴
  • 制造:与关键供应商共享需求预测和库存状况

你可能会想,你可以自己搭建管道来对外共享数据并管理凭据。你说得没错,但 OpenSharing 的意义就在于消除这种开销。你无需复制数据,也无需花费不必要的金钱。你可以在几分钟内完成共享,也能同样快速地撤销。

image3.png

Databricks Clean Rooms

接下来是 Databricks Clean Rooms,顾名思义:一个封闭的中立空间,两个或多个企业(最多十个)可以在这里将各自的数据汇集在一起,并且只运行各方都批准的代码。所有人都能从结果中受益,但没有人能看到另一方的完整底层数据。假设我的公司拥有专有数据,而我们经常合作的一家企业拥有他们想与我们的数据结合以最大化价值的数据。我们双方都不想共享完整数据集,但我们相信共享数据片段或按选定字段连接我们的数据是有价值的。与其发送完整数据集,我们双方互相共享表的名称和列,并协作编写一个 Notebook。任何内容要运行,我们双方都必须给出批准。

从本质上讲,这就是 Clean Rooms 的运作方式。它们让我们能与另一家企业协作,将各自专有的数据混合在一起,同时将我们共享的内容限制在我们在那次握手中所同意的范围内。这在几个行业中极为常见:

  • 广告和媒体:在不交换完整客户名单的情况下衡量活动触达和受众重叠
  • 医疗:在严格的隐私控制下跨组织合并患者或临床试验数据
  • 零售和快消品:匹配忠诚度和销售数据以规划联合促销

当合并数据有价值,但双方都不愿暴露其完整底层数据时,就应使用 Clean Room。关键区别在于,你不是让接收方直接访问对象本身,而是只能看到双方都批准的代码的运行结果。

image4.png

Databricks Marketplace

最后是 Databricks Marketplace。可以把它看作一个公共店面,你可以在其中共享文件、表、模型、MCP(模型上下文协议)服务器、Notebook、应用和 SaaS 软件。OpenSharing 和 Clean Rooms 适用于你与客户已有关系的情况。Databricks Marketplace 则针对你尚不认识的客户。它是一个开放的交易平台,数据提供商、软件供应商和技术合作伙伴在此发布产品,任何 Databricks 客户都可以直接从其工作区发现、评估并连接。

如果你是提供商,它是一个将你的资产展示给广泛受众的店面。另一方面,如果你是消费方,你可以找到数据和 AI 产品来接入自己的工作。无论哪种方式,Marketplace 的独特之处在于它是公开且可发现的:使用 OpenSharing 和 Clean Rooms 时,你已经知道对方是谁,而在 Marketplace 上,任何人都能找到你的列表,而你甚至从未与他们见过面。

Marketplace 的常见示例:

  • 一家将市场数据集变现的金融数据供应商
  • 一个列出全球天气数据集的天气预报服务
  • 一家打包行业特定机器学习模型或 Genie 代理的咨询公司
  • 一家发布即用型分析应用的软件供应商,客户可在自己的工作区中启动该应用
  • 一家发布 MCP Server 的 SaaS 供应商,该服务器可接入你自己的 AI 代理

当你没有特定的接收方时,就应使用 Marketplace:你要么希望被找到,要么想自己去寻找数据和 AI 产品。

image2.png

以下是快速对比:

image1.png

结论

如果你仍在犹豫该采用哪种方式,就让关系来决定。如果你已经明确知道谁应该接收数据,并且愿意共享只读版本,就使用 OpenSharing。如果你有特定的合作伙伴,但双方都不愿暴露完整的底层数据,就使用 Clean Room。如果你还没有特定的接收方,但希望被他人发现,或者你想自己去发现数据和 AI 产品,那就是 Marketplace。最后,这些方式并非互斥;同一家企业可以针对不同的关系使用不同的工具。

归根结底,这些都是旨在赋能你的业务、避免因传统数据共享负担而拖慢进度的工具。因此,如果有客户向你索要数据,请考虑你们之间的关系,并匹配正确的工具!

相关标签:

最佳实践

在收件箱中获取最新文章

订阅我们的博客,最新文章将直接发送到你的收件箱。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"