- 联合，而非复制：Databricks Lakehouse Federation 让您可以直接从 Databricks 使用标准 SQL 查询本地数据库。数据始终不会移动。
- 订阅，而非构建：来自 Databricks Marketplace 的 FactSet 财务数据以原生目录的形式呈现。无需数据摄取管道。
- 一次查询，全景呈现：跨两个目录的单条 SQL join 即可驱动仪表盘和 Genie 自然语言查询，无需持久化任何中间对象，即可提供丰富的投资组合与投资信息。
Lakehouse Federation：随处查询，无需移动数据
在当今的企业环境中，数据很少只存在于一个地方。金融机构、资产管理公司和个体投资者都面临一个共同的挑战：他们最敏感的数据——包括投资组合持仓、交易头寸和客户信息——往往位于企业防火墙后的本地数据库中、云端，或同时存在于这两种环境中。而他们分析所需的第三方数据——包括市场数据、分析师预测和财务基本面——越来越多地存在于云端，这使挑战更加复杂。
传统方法迫使人们做出一个令人为难的选择：将敏感数据复制到云端、搭建脆弱的 ETL 管道，或者干脆放弃整合这两者。
如果您可以直接联合本地数据源、订阅云端的第三方数据，并直接从这两个目录生成仪表盘和自然语言对话，全程无需管道、无需物化视图、中间也不持久化任何对象，会怎样？
这就是 Databricks Lakehouse Federation 最简明的用法。
解决方案：随处查询，不移动数据，不构建任何东西
Databricks Lakehouse Federation 让您可以创建到 SQL Server、PostgreSQL、MySQL、Snowflake 等外部数据库的联合连接，并直接从 Databricks 使用标准 SQL 查询它们。数据完全留在原处。无需复制。无需同步。没有合规方面的麻烦。
在此基础上再添加一个 Marketplace 数据共享，您就在 Unity Catalog 中拥有了并排的两个目录——一个是联合的，一个是共享的——一条普通的 SQL 查询就能像连接任意两张普通表一样对它们进行 join。
真实案例：客户投资组合分析
让我们来看一个具体示例。假设您是一家财富管理公司，拥有：
- 第一方数据: 您的投资组合持仓——您持有哪些股票以及持有多少股，存储在本地 SQL Server 数据库中。
- 第三方数据: 来自 Databricks Marketplace 的 FactSet 财务数据，包括盈利基本面和分析师预测。
您的目标：构建一个投资仪表盘，展示您的预测盈利、识别高风险头寸并给出行动建议，同时不将您的持仓数据暴露到云端。
第 1 步：设置对投资组合数据和 FactSet 数据的访问
第 1a 步：设置联合连接
通过 Databricks UI 设置联合连接非常简单。导航到 Catalog → External Data → Connections ，并创建一个到您本地数据库的新连接。
该连接会安全地存储您的凭据。
第 1b 步：创建外部目录
连接建立后，创建一个 外部目录 ，将其映射到您的本地数据库。这会让您的外部表以原生 Unity Catalog 对象的形式呈现。
完成此步骤后，您的本地数据会以一个目录的形式呈现，但数据永远不会离开您的 SQL Server。每次查询都会针对源数据库实时执行。
第 1c 步：从 Marketplace 订阅 FactSet 数据
Databricks Marketplace 提供对 FactSet 全面财务数据的即时访问。搜索 FactSet，查看可用的数据集，并申请访问权限。提供商批准您的请求后，您就可以订阅相关数据集。
订阅后，数据会以共享目录的形式出现在您的工作区中，并按 schema 组织：
- fe_v4 - FactSet Estimates：分析师一致预期 EPS 预测、盈利预测和预测数量
- ff_v3 - FactSet Fundamentals：年度财务报表，包括收入、净利润、利润率和债务水平
- sym_v1 - Symbology：股票代码到实体的映射，将您的投资组合代码连接到 FactSet 的内部标识符
这些表会与您联合的投资组合目录一起出现在 Unity Catalog 中。您可以浏览它们、预览数据并检查 schema，全程无需任何数据摄取或数据复制。
第 2 步：探索合并后的数据
第 2a 步：使用 SQL 探索合并后的数据
两个数据源都可通过 Unity Catalog 访问后，资产管理人员可以打开 SQL 编辑器，编写 一条跨两个数据源的查询 ，一侧是联合的持仓数据，另一侧是 FactSet Marketplace 表。对 SQL 编写者来说，它们看起来就像同一个仓库中的两张普通表。
无需编写管道，无需调度物化视图，也无需维护金层。每次运行查询时，它都会实时重新联合本地数据源，并将其与 Marketplace 共享重新 join。
第 3 步：使用数据
第 3a 步：创建投资仪表盘
该仪表盘由同一条合并查询驱动，该查询直接内联到每个 widget 的数据集中。不创建视图，也不持久化任何表。每个 widget 在每次刷新时都会重新联合数据源。
它可以即时回答以下问题：
- 投资组合健康状况: 总持仓、当前年化盈利、预测年化盈利、高风险数量
- 风险分布: 投资组合中高风险 / 中风险 / 低风险各占多少？
- 投资建议: 有多少股票应该增持，多少应该减持？
- 表现最佳者: 哪些持仓产生的盈利最多，当前盈利与预测盈利相比如何？
- 完整持仓表: 每只股票的盈利、增长率 %、利润率 %、D/E、风险和行动建议。
第 3b 步：使用 Genie 启用自然语言查询
最后一步：一个 Genie 代理，直接连接到相同的联合持仓表和 FactSet Marketplace 表。Genie 在其指令中接收 join 链和数据质量过滤器。它将自然语言转换为仪表盘所运行的相同查询。
结果：数据访问实现民主化。投资组合经理、财务顾问和个人投资者都能获得答案，无需编写 SQL，也无需任何人物化任何内容。
完整图景
Databricks Lakehouse Federation 从根本上改变了混合数据分析的经济性。无需采用昂贵、高风险且耗时的流程将数据迁移到云端，也无需承担同样繁重的在其上构建和维护管道的流程，您可以改为将计算带到数据所在之处，并让单条查询驱动所有下游环节。
在本示例中，该演练构建了一个完整的投资分析解决方案，它可以：
- 实时查询本地持仓数据
- 用来自 Marketplace 的 FactSet 金融情报对其进行丰富
- 在单条 SQL 查询中合并两者，不产生任何持久化的中间对象
- 在交互式仪表盘中可视化所有内容
- 支持使用 Genie 进行自然语言查询
全程无需将任何一行投资组合数据复制到云端。
数据分析的未来不在于把所有数据迁移到一个地方，也不在于构建复杂的管道来重塑数据。而在于无论数据位于何处，都能直接查询。虽然本博客以投资组合为例，但这种模式——联合敏感的专有数据、订阅云端第三方数据，并在不移动或复制任何内容的情况下进行分析——具有广泛的适用性。医疗机构可以将受 HIPAA 保护的患者记录与药物相互作用数据库联合，用于治疗建议。制造企业可以将本地 IoT 遥测数据与云端供应链数据联合。零售商可以将店内 POS 系统与第三方人口统计数据结合.共同点在于：敏感的专有数据始终受到保护，同时又能借助第三方数据实现丰富的分析。
准备好开始了吗？请浏览以下链接：
- 设置联合 — 请遵循 Lakehouse 联合文档 连接你的外部数据库
- 浏览 Marketplace — 在以下网址浏览可用的数据产品： marketplace.databricks.com
- 创建仪表盘 — 使用 AI/BI 仪表盘 将洞察可视化
- 启用 Genie —— 让您的用户以 自然语言
- 在 GitHub 上查看完整代码 — 本博客的代码
在您的收件箱中获取最新文章
订阅我们的博客，即可在您的收件箱中获取最新文章。