- Genie ZeroOps 基于对超过 80,000 个客户管道问题的观察构建并持续完善。
- 通过直接访问 Unity Catalog、元数据和管道血缘,其自主解决引擎得以高效运行。
- 全新的团队协作和一键创建 PR 功能现已上线,任何工作区均可在公开测试中启用。
今年 6 月,我们 推出了 Genie ZeroOps,这是一个能够检测、调查和解决数据管道问题的自主智能体,例如上游架构变更或数据质量异常。根据对数百家客户开展的大规模有限预览测试,我们新增了一些功能,帮助数据团队更快地分流处理问题,包括共享收件箱、通知、一键创建 PR,以及添加自定义业务指令以遵循特定公司工作流程的能力。如今,Genie ZeroOps 已进入公开测试阶段,您的工作区管理员可从工作区的“预览”页面将其启用。
ZeroOps 如何分流处理数据管道问题
数据工程团队不堪重负,每天要管理成千上万条管道。有些管道故障很容易发现和修复——作业失败、管道更新出错,随后有人收到告警。另一些问题则悄无声息——某个表停止更新,或昨夜的数据加载量只有平时的一半,直到仪表板显示错误数字时才有人发现。
无论哪种情况,后续工作通常都大同小异:系统发出通知,工程师在接下来的几个小时里手动调查日志、上游表及相关资产,最后生成包含修复内容的 PR。
Genie ZeroOps 可自动完成这整套手动工作流程,同时保障安全性、治理和建议质量,并通过以下五个核心步骤,专门引导团队从最初的问题告警一路处理到拉取请求:
- 检测: 持续监控作业、管道和表是否发生故障。通过作业监控检测明确的作业失败,并通过数据质量监控发现无明显告警的数据新鲜度和完整性问题。
- 调查: 汇集日志、源代码、表元数据和血缘中的上下文。运行 SQL 查询以查明根本原因、建议修复方案,并根据对下游的影响确定洞察的优先级。
- 验证: 在沙箱中使用单元测试和试运行来测试拟议的修复方案,以便在应用更改前安全地验证假设。
- 通知: 向 Slack、Teams 或 PagerDuty 发送告警,其中包含问题摘要和建议的修复方案。过滤低优先级问题,帮助团队专注于紧急事项。
- 修复: 提出代码修复方案;对于由 Git 支持的 Jobs,自动创建已预先填好详细信息的 PR。
团队需要什么才能更快地解决管道问题?
在有限预览期间,ZeroOps 观察了数百家公司中超过 80,000 个真实客户问题,凸显了管道维护已变得多么棘手。我们发现,超过一半的问题需要组织特有的知识才能得到妥善分流、排序和解决,这表明自定义上下文是一项根本需求。根据这些反馈,我们确定并构建了每个团队成功使用 ZeroOps 所需的几项关键功能:
- 共享收件箱: 管道管理需要团队协作。与团队共享您的 ZeroOps 收件箱,让每个人都能看到相同的事件,消除覆盖盲区。

- 带摘要的通知: 每当出现新的洞察时,ZeroOps 都会发送告警,并附上简短的问题摘要和建议,让用户能够立即作出明智决定。通过自定义指令筛选通知,以减少干扰。

- 自定义智能体指令: 每个团队运行管道的方式都不同,因此需要引导建议遵循各自的业务规则。添加自定义指令,例如已知不稳定的数据源、首选修复方案或命名约定,让 ZeroOps 获得所需上下文,使其建议反映您团队的工作方式。

- 一键创建 PR: 只需单击一下,即可从诊断进入解决阶段。ZeroOps 会自动生成拉取请求,其中包含代码修复,并预先填好详细信息。

- 内置治理: ZeroOps 遵循您现有的 Unity Catalog 权限,因此只能查看获准访问的内容,共享的洞察也遵循相同规则。任何通知在离开 Databricks 之前,其中的个人身份信息(PII)都会被隐去。

自行构建的解决方案难以规模化
在有限预览期间,我们与一些正在制作内部 AI 分流工具原型的客户进行了交流。我们了解到,虽然构建简单原型已变得更加容易,但要将自动分流扩展到各个生产环境,会带来复杂的运营挑战,而且这些挑战会随着时间推移不断累积:
- 系统维护: 监控一个跨多个团队管理数千条管道的系统,需要持续维护、跟踪服务级别协议,并在不同的利益相关方之间协调通知。
- 治理与安全: 有效的分流需要访问源代码仓库、数据表和内部工具。要大规模、安全地配置这些系统中的用户和智能体访问级别,是一项重大挑战。
- 自定义上下文扩展: 可付诸行动的 AI 建议需要文档、团队隐性知识和历史行为等自定义上下文。要大规模摄取、扩展和管理这些上下文十分困难。
- 准确性与漂移: 上下文过度膨胀可能会导致幻觉,或使准确性随着时间推移而下降。维护评估套件和监控建议质量需要持续投入工程资源。
Genie ZeroOps 原生处理这些复杂问题——利用对您的 Unity Catalog、元数据和管道血缘的直接访问,在完整上下文的支持下解决问题。
立即开始使用
亲自试用 ZeroOps!请让工作区管理员启用 ZeroOps 功能,然后在管道页面顶部找到 ZeroOps 横幅:

如果您的团队需要获得将 ZeroOps 引入生产环境的帮助,请联系您的客户团队,咨询我们提供的相关研讨会。
常见问题
Genie ZeroOps 能否直接更改我的管道?
不,未经您的直接批准,ZeroOps 绝不会更改您的代码或数据。目前,它会调查故障、提出修复方案,并可将该修复推送到新分支以创建拉取请求。在未经人工审核的情况下,它绝不会更改生产代码或数据。
ZeroOps 如何检测未被察觉的数据质量问题?
它使用 数据质量监控 来标记提交到达时间异常延迟(新鲜度)或行数低于预期范围(完整性)的表。
ZeroOps 与让 Claude Code 等编程智能体调试故障有何不同?
ZeroOps 会在检测到问题后立即自动触发,无需提示,因此在任何人查看之前,分析结果就已准备就绪。它还内置了对运行历史记录、Unity Catalog 血缘、Delta 历史记录和 DQM 信号的访问能力,并在您的 Unity Catalog 权限范围内运行。
ZeroOps 会读取哪些数据?这些数据在哪里处理?
根据文档, 它会在遵循 Unity Catalog 权限的前提下,读取运行日志、源代码、上游表元数据和样本。它使用由 Databricks 托管、位于我们安全边界内的模型。模型调用始终在您工作区所在的区域内进行,模型提供商不会保留提示或响应。
我能否让 ZeroOps 停止针对预期故障向我发出提醒?
可以。添加自定义指令以筛除不需要的通知,或将某条洞察标记为“不是问题”。
在收件箱中获取最新文章
订阅我们的博客,即可让最新文章直接发送到您的收件箱。
AI 热点