- Genie Migrate for Serverless 可自动完成将经典工作负载迁移到无服务器计算时最棘手的环节——扫描工作负载集、转换计算配置和依赖库,并以可逆方式应用更改,支持 30 天回滚。
- 每一项拟议更改都会在写入任何内容之前以可审查的差异形式显示,因此迁移变成了一个审查并批准的步骤,而不再需要数周的手动反复试错。
- 你现在就可以开始使用。该智能体不会改动你的工作负载代码,并会标记不确定的 Spark 配置供你决定,而不是悄然删除它们,让你始终掌控生产环境中运行的内容。
Databricks 中的无服务器计算提供了一种更简单、更快速的数据和 AI 工作负载运行方式。它免除了管理基础设施的运维负担,自动处理资源预置、扩缩容和优化,使团队能够专注于业务成果。借助无服务器计算,组织可以更快地行动、提高效率,并在无需管理和维护复杂集群的情况下获得云原生计算的优势。
仅在过去一年,我们的无服务器计算使用量就增长了数倍,如今已有数千家客户在其上运行笔记本和作业。大多数团队仍有一批经典工作负载,希望将其迁移到无服务器环境,从而在不必自行管理基础设施的情况下获得成本和运维优势。逐个迁移工作负载所需的工作,常常使客户无法让现有工作负载享受到无服务器计算的优势。
你可能已经见过这种情况:选中一个作业,将其切换为无服务器计算,随后却遇到错误、访问模式不兼容、不适用的 Spark 配置,或者某个依赖库已安装在经典计算环境中,却未安装在无服务器环境中。原本一个下午就能完成的工作拖成了数周,而其中大部分时间都耗在你早已做过多次的转换工作上。
现在不会了! 今天,我们很高兴地宣布推出 Genie Migrate for Serverless(Beta 版),这是一个 Databricks 智能体,能够轻松省力地将你的作业和笔记本从经典计算迁移到无服务器计算。工作负载迁移将变成一个审查并批准的步骤,而不再是一项研究项目。
过去,迁移完全依赖从业者亲自操作
在此之前,将工作负载迁移到无服务器计算需要手动完成。如何将经典集群配置映射到无服务器计算、哪些依赖库可以解析、哪些 Spark 配置仍然适用,以及工作负载需要哪种访问模式,这些知识都存在于从业者的头脑中,也只能通过运行笔记本或作业并查看故障来反复试错。
Genie Migrate for Serverless 将这种转换工作从你手中转移到平台上,就像无服务器计算把资源预置和扩缩容工作转移到平台上一样。仍由你负责的是判断:是否现在迁移某个工作负载、拟议更改是否合理,以及迁移后的运行是否健康。智能体负责转换本身,并在做出任何更改之前,以差异形式提出方案供你审查。
为构建成功的无服务器迁移工具,我们始终牢记以下关键原则:
- 确保生产环境不会受损: 业务关键型工作负载出现无声回归,比完全不迁移更加糟糕,因此智能体会先评估每个工作负载,并标明哪些可以安全迁移。
- 掌控每一项更改: 能够看到哪些内容会更改、哪些不会,接受或拒绝每一项拟议编辑,并确信任何未经你批准的代码都不会被触碰。
- 轻松还原: 如果无服务器运行出现问题,只需点击几次即可恢复到迁移前的状态。
这三项需求决定了迁移智能体的工作方式,以下工作流则定义了它如何执行迁移:评估哪些内容可以迁移、进行转换,并以可逆方式应用更改。
Genie Migrate for Serverless 的功能
- 评估: 扫描你的作业并对工作负载集进行分类,让你了解哪些现在可以迁移、哪些需要管理员介入,以及哪些尚未做好迁移准备。
- 转换: 提出工作负载在无服务器计算上运行所需的基础设施和代码更改,每项更改均以带标签的差异形式呈现(并排显示哪些内容会更改、哪些保持不变),供你审查。
- 应用(可逆): 验证转换结果并进行应用,同时不会抢占正在运行的工作负载;保留原始工作负载不变,以便在无服务器运行不健康时还原。

该智能体可通过任何作业或笔记本的 Genie 中的 /compute migrate 斜杠命令运行。它采用完全托管方式,无需任何设置即可开始扫描。由于由 Databricks 负责管理,该智能体会在你自己的工作区内读取作业配置和工作负载代码。
下面让我们更深入地了解上述各个方面。
评估
在你改动任何内容之前,智能体会扫描你的作业和笔记本,并标注每个工作负载的无服务器就绪状态。你可以直接看到哪些工作负载是理想的迁移候选对象,而不必手动审查整个工作负载集,从而免去繁琐的人工发现和分类工作。

关于外部来源,需要简要说明:如果工作负载的事实来源位于工作区之外,例如由 Databricks Asset Bundles 管理的作业或 Git 文件夹中的笔记本,智能体目前还无法迁移它。对这些来源的支持即将推出。
转换
选定符合条件的工作负载后,迁移智能体会提出其在无服务器计算上运行所需的更改,并在写入任何内容之前呈现这些更改供你审查。在你批准之前,不会应用任何更改。
迁移智能体实际上会转换经典计算与无服务器计算之间存在差异的部分:
- 计算配置: 将经典集群配置映射为无服务器计算选项。
- 环境和依赖库: 根据无服务器运行时解析依赖库列表,并为无服务器计算生成环境定义。
- Spark 配置: 仍然适用的配置会被保留,而不适用的配置则会显示出来供你决定如何处理,而不会被悄然删除。
- 工作负载代码: 如果代码使用了无法在无服务器计算上运行的模式,例如与 Spark Connect 不兼容的 API,智能体会重写这些代码,并以差异形式显示更改。
每项更改(包括代码重写)都会以可审查的差异形式呈现。应用前,智能体会并排显示将更改和不会更改的内容,形成一份可交给经理或值班团队的明确约定。
查看最新演示,了解如何使用 Genie Migrate for Serverless 轻松迁移经典工作负载。
如果智能体无法确定某项内容,例如某个 Spark 配置是否仍有必要,它会报告该配置,而不是将其删除。静态扫描可能认为某项配置未被使用,但运行时加载的监听器可能依赖它。悄然删除会导致团队赖以使用的遥测数据丢失。智能体会将决定权留给你。
应用
应用迁移是风险最高的环节,因此 Genie Migrate for Serverless 在此阶段最为谨慎。它目前会执行确定性正确性检查,之后还将推出更深入的运行时验证。
- 应用前验证: 智能体会检查转换结果是否连贯、依赖库能否在无服务器运行时中正确解析,以及配置能否顺利应用,从而使故障在工作负载运行前暴露,而不是在明天的 SLA 执行期间才出现。
- 受监控的首次运行: 由于更改会应用到克隆的作业,你可以先按需运行一次克隆作业,确认其在无服务器计算上运行正常,然后再将更改应用到原始作业。这样,首次无服务器运行会在你的监控下进行,而不是无人值守。
如果你选择不迁移,克隆的作业或对笔记本建议的更改将不会被应用。
需要注意一点:如果你使用更改后的版本进行测试,这并不会撤销无服务器运行在此期间写入生产表的数据。
目前的验证是静态验证。它无需运行工作负载即可确认转换结果是否合理,并会如实说明已经和尚未得到验证的内容。之后将通过以下功能提供更深入的检查: 沙箱验证。 借助此功能,智能体将能够在隔离的沙箱中运行迁移后的工作负载,而不会影响生产表,并将其输出与经典计算基线进行比较——这样,你就能在应用之前而非之后,了解关键作业的运行时表现和正确性。
批量迁移作业
对于少量作业,在 Genie 中逐个迁移工作负载的方式很有效。对于规模更大的工作负载集,你可以使用 Databricks CLI 在后台运行 Genie Migrate for Serverless。通过脚本使用 compute-migrations 命令组启动多个作业的迁移,智能体无需保持 Genie 会话开启,即可为每个作业创建一个无服务器工作副本。在你审查并批准迁移之前,原始作业不会发生变化;批准后,作业的 ID、调度计划和权限均会保留。批量迁移目前支持作业(即将支持笔记本),并且需要 Databricks CLI 1.24.0 或更高版本。
完整概览
让我们把 Genie Migrate for Serverless 的三项关键能力重新整合起来:
- 评估: 识别工作负载集中各项作业迁移至无服务器计算的资格,并对其进行分类。
- 转换: 以带标签、可审查的差异形式提出基础设施和代码更改。
- 可逆应用: 目前执行确定性验证,之后还将推出沙箱验证。
下面简要总结了目前哪些工作负载适合使用该智能体进行迁移,以及未来将推出哪些功能。

立即开始使用
你现在就可以使用 Genie Migrate for Serverless 将工作负载迁移至无服务器计算。具体操作如下:
- 启用 Beta 版: 在工作区预览设置中启用 Genie Migrate for Serverless,然后对某个作业或笔记本在 Genie 中运行
/compute migrate,扫描哪些内容符合迁移条件。 - 先选择低风险工作负载: 先迁移一个非关键作业或笔记本,熟悉并建立对该流程的信心,然后再处理任何业务关键型工作负载。
- 应用前进行审查: 阅读“将更改的内容”和“不会更改的内容”面板,并接受或拒绝每项建议的更改。
- 监控首次无服务器运行: 确认迁移后的工作负载运行正常;原始工作负载会保持不变,因此如果运行异常,你可以还原。
- 然后逐步扩展: 迁移工作负载集中其余符合条件的项目,并根据“需要管理员操作”横幅完成设置,以解除相关工作负载的迁移障碍。
Genie Migrate for Serverless 现已可通过 Genie 中的 /compute migrate 命令用于任何作业或笔记本。我们正与预览版客户共同积极完善沙箱验证功能,并会继续改进该智能体,让无服务器迁移更快速、更简单、更轻松。
了解更多:
将最新文章发送到你的收件箱
订阅我们的博客,将最新文章发送到你的收件箱。
AI 热点