跳转到主要内容
  • 一项使用 OpenSharing 的新集成将 AWS HealthLake 的 FHIR 数据直接连接到 Databricks,作为共享目录,无需导出管道或复制数据。
  • 此前,将临床数据存储在 HealthLake 中的医疗机构无法在不构建昂贵导出工作流的情况下,为其 FHIR 数据实现统一治理、AI 或跨平台查询。
  • HealthLake 数据现在可以通过 Unity Catalog 进行治理,在 notebook 和仪表板中查询,并通过 Genie One 以自然语言进行探索,为技术和非技术用户解锁临床洞察。

许多医疗和生命科学组织已标准化采用 AWS HealthLake 来管理临床数据,但将数据扩展到其他平台进行分析和 AI 传统上需要更多工作。对于希望将 HealthLake 中的数据与外部分析工具结合使用的公司,这一过程需要构建导出管道、复制数据,并在每个位置单独管理治理。这限制了 HealthLake 管理的 FHIR 数据在其他工具和平台之间的互操作性。

在本博客中,我们介绍一种利用 OpenSharing (Linux 基金会 AI & Data 项目)的新解决方案,实现 HealthLake 与 Databricks 之间首创的集成。该架构允许用户从 Databricks 实时查询 HealthLake 数据,将 Databricks 的治理、分析和 AI 能力引入临床数据集。通过与 HealthLake 集成,Databricks 可以帮助组织从 FHIR 数据中挖掘更深入的洞察,并为更广泛的分析和 AI 用例打开大门。此外,同样的临床数据现在可以通过 Genie One 以自然语言进行探索,使用户无需专门的技术工作流或数据复制即可获得洞察。

临床数据分析中的当前挑战

快速医疗互操作性资源(FHIR)标准是一种数据格式,用于在不同应用和护理环境之间交换健康信息。AWS HealthLake 是一项托管医疗数据服务,用于存储和处理 FHIR 格式的数据。医疗机构通常使用 HealthLake 来规范化这些 FHIR 数据,同时也利用其符合标准的 API 来访问患者记录、观察和就诊等资源。

HealthLake 将其分析表存储为 Apache Iceberg 表,位于 HealthLake 服务拥有的 Amazon S3 存储桶中。客户 IAM 角色无法直接读取该存储桶,因此 Unity Catalog 等外部工具没有直接路径访问底层数据。因此,此前在外部平台上访问这些数据进行分析需要导出管道,在查询之前将 FHIR 数据从 HealthLake 复制出来。

虽然许多组织依赖 HealthLake 专门构建的 FHIR 数据存储,但为其扩展治理、分析和自然语言探索能力一直不太直接。这一与 Databricks 的新集成从这些临床数据中解锁了有价值的新洞察。

将 Databricks 引入 HealthLake 数据

我们的新集成如下方架构图所示,使用 OpenSharing 安全地暴露 HealthLake 中的数据,无需任何导出管道或数据复制。这允许 Databricks 直接读取 HealthLake 数据,并由 Unity Catalog 作为共享目录进行治理。 

image4.png
图 1. 解决方案架构

目前,HealthLake 提供对其底层 Iceberg 表直接访问的唯一方式是通过 Lake Formation 生成的临时凭证,而 Unity Catalog 无法自行请求这些凭证。该解决方案通过一个作为 Databricks App 运行的自定义 OpenSharing 服务器填补了这一空白,这是一个完全托管的无服务器部署。在每次表请求时,服务器使用 Lake Formation 凭证,解析表的当前 Iceberg 快照,预签名数据文件,并以标准 OpenSharing 响应返回。然后 Databricks 计算直接从 S3 读取文件,因此没有数据经过服务器。AWS 通过 OIDC 联合信任应用自身的 Databricks 身份,保护敏感的医疗数据。Databricks 像挂载任何其他共享一样在 Unity Catalog 中挂载该共享,使数据可用于受治理的分析、notebook、仪表板、AI 以及通过 Genie One 进行的自然语言探索。

image3.png
图 2. Unity Catalog 中 HealthLake 管理的 FHIR 数据,在 Unity Catalog Explorer 中显示

用 Databricks 扩展 HealthLake 的优势

通过 Unity Catalog 实现受治理的访问

HealthLake 数据现在可在 Databricks 中读取,组织可以将其临床数据直接纳入 Unity Catalog 治理。Unity Catalog 成为访问入口,通过共享目录上的授权、细粒度访问控制(FGAC)、基于属性的访问控制(ABAC)和基于角色的访问控制(RBAC)来指定谁有权查看和查询每个表。访问和使用情况也可以像 Unity Catalog 中的任何其他数据资产一样进行审计,使临床数据更易于治理和保护。

通过 Genie One 进行自然语言探索

同样的共享数据现在可以为 Databricks 中的 Genie One 提供支持,将 HealthLake 数据的分析扩展到非技术用户。这意味着临床分析师、运营团队或战略领导者现在可以直接探索 HealthLake 数据,无需向数据团队提交工单或等待自定义报告。

组织可以通过定义核心临床表、添加通俗语言描述,并教会它们如何定义和解读 A1C 等临床概念,在共享目录上创建和管理 Genie Agents。随后,用户可以提出诸如“平均 A1C 按月趋势如何?”之类的问题,Genie One 会理解上下文、找到经过管理的 Genie Agent、生成 SQL,并返回带有表格和图表的汇总答案,同时全程遵守 Unity Catalog 权限。过去需要 SQL 技能或自定义仪表板创建才能回答的问题,现在可以在几秒内得到答案,而 HealthLake 管理的 FHIR 数据中蕴含的洞察也能为更广泛的临床、运营和业务用户所用。

image2.png
图 3. Genie One 为最终用户提供对 HealthLake 管理的 FHIR 数据的洞察

为 HealthLake 客户解锁新机遇

此集成将 HealthLake 扩展到传统上可用的分析路径之外。组织不再需要将数据复制并导出到外部分析工具,也不再需要仅依赖 Athena 或 Redshift 进行分析。相反,用户现在可以选择直接在 Databricks 中处理 HealthLake 数据,用于受治理的分析、notebook、仪表板和 AI,从而从临床数据中解锁新的价值和洞察。

对于管理复杂临床数据环境的 Databricks 客户而言,这一潜力尤为显著。借助此解决方案,医疗保健和生命科学客户现在可以在 HealthLake 中的临床数据之上应用 Databricks 原生能力。有了集成 HealthLake 与 Databricks 的路径,这些客户现在可以按业务需求的速度加速推进,而无需再承受管理复杂数据管道带来的摩擦。这为 HealthLake 与 Databricks 的共同客户开启了新的用例。通过创建与 Databricks 的集成路径,此解决方案可以帮助医疗保健和生命科学组织从其 HealthLake 数据中获取额外价值,加速整个领域的分析与洞察。

开始使用

与你的临床数据对话:立即使用我们的完整参考实现,将 AWS HealthLake 数据连接到 Databricks。该实现是一个以 Declarative Automation Bundle 形式部署的 OpenSharing 服务器,可在 官方 Databricks Industry Solutions 仓库.

相关标签:

医疗保健与生命科学

在收件箱中获取最新文章

订阅我们的博客,将最新文章直接发送到你的收件箱。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"