跳转到主要内容
  • Genie Migrate for Lakehouse 现已正式可用。可将来自 Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery 的专有 SQL 转换为 Databricks 上的开放 ANSI SQL。
  • Genie Migrate 显著缩短了迁移所需时间,可正确转换超过 80% 的源文件。
  • 在您的 Databricks 工作区中开始:上传代码,在后台进行转换,并在一个迁移项目中跟踪每个文件及其状态。

各公司正竞相构建 AI 智能体和应用。每一个此类用例都依赖于便捷地访问其数据,但对许多企业而言,AI 所需的数据被锁在遗留数据仓库中。迁移传统上既昂贵又耗时,因此许多公司选择原地不动,错失了充分利用 AI 潜力的机会。

Genie Migrate 正在改变这一局面。 Genie Migrate for Lakehouse 是一个专用编码智能体,构建于 Genie Code 之上,可自动化从遗留数据仓库进行的端到端迁移生命周期。我们很高兴地宣布,Genie Migrate 现已支持将来自 7 种数据仓库的 SQL 代码转换为开放 ANSI SQL,且全部正式可用:Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery。

您的整个迁移尽在一处

Genie Migrate for Lakehouse 承担迁移中的重复性工作,例如评估应先迁移哪些文件、转换 SQL 脚本以及确定转换失败的原因,从而让您的工程师能够专注于审查和批准结果。四项功能让整个体验从首次上传到最后一次批准都保持简单:

  • 整个迁移集中在一处: Genie Migrate 在迁移项目中组织您的工作,该工作区将每个文件、其状态和转换后的输出保存在一起,使整个团队能够在一处跟踪进度。
  • 查看代码之间的关联: 在迁移项目中查看血缘关系,了解哪些表和文件相互依赖,以便您的团队在转换任何内容之前就知道哪些必须一起迁移。
  • 一键转换: 点击 Convert,Genie Migrate 会在后台并行转换文件。 
  • 在一个视图中审查: 在 SQL 编辑器中并排比较原始代码和转换后的代码。用自然语言向 Genie Code 提出请求,以调整任何需要人工判断的内容,然后逐个或批量批准文件。

随着团队将 AI 引入工作,Databricks 迁移已经在加速。过去 6 个月中,Databricks 从入门到生产的迁移中位时间下降了 25%。借助 Genie Migrate,客户可以淘汰昂贵的遗留平台,并比以往更快地停止为其付费。

准确高效的 Databricks Lakehouse 迁移

在全部七种来源的基准测试中,Genie Migrate 正确转换了超过 90% 的文件。推动高准确率的有三个因素:

  1. 内置对每种源方言的知识: Genie Migrate 内置了对每种方言专有函数和过程式代码的知识。它利用这些知识将代码转换为对应的 Databricks 等价形式。
  2. 检查与修订循环: Genie Migrate 会自动检查其自身输出的语义正确性和语法。当检查失败时,它会利用错误来诊断问题、修订代码并再次检查。
  3. 您团队的自定义标准: 自定义技能允许您定制 Genie Migrate 的转换输出。如果某次转换不符合您的偏好,或者同一问题反复出现,添加一个自定义技能,Genie Migrate 就会将其应用于它转换的每个文件。

结果是可在 Databricks 上运行、遵循您团队标准并保留原始逻辑的开放 ANSI SQL,让您更快地从转换走向验证。

MIXI 如何加速其 BigQuery 迁移

在 Beta 阶段,Genie Migrate 就已帮助客户更快地迁移到湖仓。 MIXI 是一家日本数字娱乐、体育和生活方式公司。其 MONSTER STRIKE 团队运营着日本最大的手机游戏之一,正在将该游戏的数据集市管道从 BigQuery 迁移到 Databricks。该团队每天运行约 120 个 BigQuery 数据集市,涵盖用户属性、物品主数据、登录、游戏玩法和购买。对于此次迁移,团队需要保留其项目约定,例如表的命名方式、每个每日作业如何按日期筛选以及数据类型如何转换。

为了迁移到湖仓,MIXI 在其整个数据资产中推广了 Genie Migrate。直观的体验使上手和扩展数据集市的转换变得容易。借助自定义技能,团队还可以轻松应用项目特定标准,加速从 GoogleSQL 的转换。该智能体承担了大量重复性工作,从分析源代码、应用团队规则到转换代码、检查结果,并在发现问题时重试。这使流程保持简单,并减少了团队的手动工作。

“Genie Migrate 为我们提供了一条快速、有效的路径,将管道从 BigQuery 迁移到 Databricks。我们测试的文件中有 85% 无需手动编辑即可成功运行,将我们的时间从劳动密集的翻译转向审查和优化结果。通过将 AI 驱动的转换与我们项目特定的标准相结合,我们得以快速、一致且大规模地完成迁移。” - 渡边大辉,MIXI, Inc. MONSTER STRIKE 运营部数据工程师

Genie Migrate 的易用性与转换的准确性相得益彰。在团队测试的已转换文件中,约 85% 运行无错误且无需手动编辑。其余测试文件仅需简单的一行修复。Genie Migrate 在各文件间一致地应用了团队的指令,生成了准确、可审查的代码。这使工程师能够专注于验证结果,让这个两人的团队能够自信地高效推进其数据集市迁移。

开始使用 Genie Migrate

Genie Migrate for Lakehouse 现已正式面向全部七种数据仓库来源开放。对 ETL 来源的支持即将推出。体验 Genie Migrate 功能的最快方式是在你自己的代码上试用:在你的 Databricks 工作区中创建一个迁移项目,上传几个 SQL 文件,然后并排比较转换后的代码。

当你准备好规划完整迁移时,请联系你的 Databricks 客户团队,或阅读 Genie Migrate for Lakehouse 文档 ,了解支持的来源、前提条件、限制以及端到端工作流程。 

常见问题

什么是 Genie Migrate for Lakehouse? 

Genie Migrate for Lakehouse 是 Databricks 推出的 AI 编码智能体,基于 Genie Code 构建,可自动将数据仓库迁移至 Databricks Lakehouse。它在你的 Databricks 工作区内运行。它会映射文件与表之间的依赖关系,并行地将专有 SQL 转换为开放的 ANSI SQL,检查并修复自身的输出,并让工程师比较和批准每一个转换后的文件。Genie Migrate for Lakehouse 现已正式可用。

Genie Migrate 可以将哪些数据仓库转换到 Databricks?

Genie Migrate for Lakehouse 可将七种数据仓库的 SQL 转换为 Databricks 上的开放 ANSI SQL:Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery。全部七种来源均已正式可用。对 ETL 来源的支持即将推出。

Genie Migrate 的 SQL 转换准确度如何?

在基准测试中,Genie Migrate 对七种受支持来源中的每一种都正确转换了超过 90% 的文件。它会检查自身输出的语法和语义正确性,在检查失败时修改代码,并将你团队的自定义技能应用于它转换的每一个文件。在 MIXI,约 85% 的受测 BigQuery 文件无需手动编辑即可运行,其余文件仅需一行修复。

将数据仓库迁移到 Databricks 需要多长时间?

随着团队将 AI 引入迁移工作,Databricks 迁移的中位时间缩短了 25%。Genie Migrate 通过在后台并行转换文件来缩短代码转换阶段,使工程师将时间用于审查和批准结果,而不是手动重写 SQL。

如何使用 Genie Migrate 将遗留数据仓库迁移到 Databricks?

Genie Migrate 在你的 Databricks 工作区内分五步执行数据仓库迁移:

  • 1. 创建一个迁移项目。
  • 2. 上传你的源 SQL 文件。
  • 3. 查看血缘关系,了解哪些表和文件需要一起迁移。
  • 4. 点击 Convert。Genie Migrate 会在后台并行转换文件。
  • 5. 在 SQL 编辑器中并排比较原始代码和转换后的代码,使用 Genie Code 或自定义技能调整任何内容,并逐个或批量批准文件。
相关标签:

数据仓库

在收件箱中获取最新文章

订阅我们的博客,最新文章将直接发送到你的收件箱。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"