- 一个全新的、可共享的基准,由 Turing 构建,在实时 Databricks 工作区中针对业务问题将 Genie 与两个前沿智能体进行比较。
- Genie 通过了 91% 的运行,而两个前沿智能体分别为 45% 和 58%,同时使用的 token 不到一半,完成速度快三到四倍。
- Genie 的卓越性能归因于 Genie Ontology 提取的 notebook、dashboard 和已保存 SQL 查询中存在的业务上下文。
我们与 Turing 合作开发了一个新的企业数据智能体基准,在实时 Databricks 工作区中针对业务问题将 Genie 与两个主要前沿智能体及其各自的 harness 进行比较。该评估衡量答案准确性、token 使用量和完成任务所需时间。Genie 的通过率为 91%,而其他前沿智能体分别为 45% 和 58%,同时使用的 token 不到一半。
与以往通常只包含表的数据智能体基准不同,此基准还包含 notebook、dashboard、已保存的 SQL 查询、文档以及其他分析资产,这些资产捕获了企业知识、业务定义和计算规则。这些资产提供了仅靠表模式无法建立的关键企业上下文。 Genie Ontology 是企业上下文层,让每个 AI 智能体对业务形成共同理解. 它会自动提取并组织这些知识,为 Genie 在回答问题时提供相关上下文。
我们 之前对 Genie 与 ontology 的评估 使用了专有数据集。此基准使用为共享而设计的任务和支持性分析资产来评估 Genie,因此其他人也可以运行该评估。
正确回答业务问题需要获取关于组织如何解读和使用其数据的机构知识。团队通过日常分析工作积累这些知识:确立收入定义、维护反映当前报告规则的 dashboard,以及编写处理业务特定例外的查询。此基准中的问题要求智能体访问并推理这些知识,以正确执行任务。
为什么需要新的基准
已经有许多现有的数据智能体基准,但没有一个真正模拟真实世界的使用情况。我们需要一个基准来测试智能体发现和使用分布在 notebook、dashboard、已保存 SQL 查询和其他文档中的业务知识的能力。
现有的数据智能体基准大多聚焦于一组表以及构建这些表的管道代码,各智能体在这些基准上的表现相似。在真实的企业任务中,正确答案很少仅来自表。它需要利用来自许多不同来源的信息,例如构建报告表的特定 notebook、团队 dashboard 背后的 SQL 或已保存的查询。此基准中的问题要求智能体推理这些资产中蕴含的知识,并将它们结合起来以正确回答问题。
结果
为此基准,我们开发了一家名为 Calderwick Energy 的虚构公司,这是一家英国电力和天然气供应商,其挑战与许多典型数据团队的情况非常相似。这里有数百张表(最大的一张约有 1.2 亿行半小时电表数据),以及不同团队在其上构建的资产,例如 notebook、计划作业、dashboard、已保存的 SQL 查询、代码、指标、文档和 Genie Agents。它还具有真实世界场景的杂乱性,例如复制的 notebook、被放弃的分析、旧文档和开发副本、冻结的报告表和数月无人触碰的 dashboard。
我们创建了多个数据分析问题和查询作为基准任务,并在同一个实时 Databricks 工作区上对每个智能体针对每个任务运行 5 次。
我们在三个主要指标上比较各智能体:
- 准确性 (满足任务评分标准的响应百分比)
- Token 使用量 (每次运行平均使用的 token 数)
- 实际耗时 (每次运行平均花费的时间)
下表显示了三个智能体在此基准上的整体表现。Genie 正确解决了 91% 的任务,而前沿 Agent A 为 45%,前沿 Agent B 为 58%。此外,Genie 明显更快(相比 Agent A 快 4 倍,相比 Agent B 快 3 倍),并且 token 效率高得多,因为它可以利用 Genie Ontology 更高效地识别和推理相关的企业上下文。
| 智能体 | 通过率 | 平均实际耗时(每次运行) | 平均 token 数(每次运行) |
|---|---|---|---|
| Genie | 91.0% | 100.3 | 431,829 |
| Agent A | 45.0% | 434.6 | 889,019 |
| Agent B | 58.0% | 306.5 | 1,051,070 |



中了解更多关于 Genie Ontology 工作原理的信息。如果您想在自己的工作区复现此基准,请联系您的客户团队,他们可以帮助您进行设置,以帮助实施此基准并展示 Genie 在实时 Databricks 工作区上的表现。
评估方法
除 Genie 外,我们还在结果中评估了来自前沿 AI 实验室的两个领先的编码/知识智能体,即“Agent A”和“Agent B”。Genie 原生运行,而其他智能体通过 Databricks toolbelt 连接。它们都收到了相同的问题。该 toolbelt 特意排除了 Genie MCP,因为那会使其他智能体访问到我们正在测试的所有 Genie 能力。
我们使用经过校准的评分标准检查每个智能体是否回答正确,该标准捕获了期望的答案和智能体行为。在数字上允许微小差异的地方,我们事先设定了这些限制。只有当答案满足评分标准中要求的检查时,才算通过。我们还记录了智能体如何找到并使用回答问题所需的业务上下文。追踪记录显示了 Genie 检索了哪些片段以及智能体选择运行了哪些查询。除准确性外,我们还测量了每个智能体的延迟和 token 使用量。
从结果中,我们观察到 Genie 的正确答案通过率显著优于两个前沿智能体,Agent A(+46%)和 Agent B(+33%)。它同时也显著更快(3-4 倍),而平均使用的 token 不到一半。我们现在对 Genie 如何高效地正确回答这些问题进行定性分析。
示例演示:找到正确的规划费率
以下是基准测试中的一个示例任务,要求智能体识别 Calderwick Energy 历史上的一个商业规划费率:

这看起来像是一个简单的查找。账单成本堆叠表中有一列名为 cfd_rate_p,而 FY24/25 的行包含 0.31 便士/千瓦时。智能体可以找到相关表格,筛选到所请求的期间,并返回该数字。检查更多行会强化答案:相同的费率出现在整个表格中。
改变答案的细节已经记录在构建账单成本堆叠的 notebook 中。

它解释了 Commercial 每年设定规划费率,并且该 mart 使用 FY25/26 假设,包括当这些假设应用于更早的账单期间时。一个单独的部分“按年份的规划费率”保留了历史记录:
| 财年 | CfD 规划费率 |
|---|---|
| FY24/25 | 0.52 便士/千瓦时 |
| FY25/26 | 0.31 便士/千瓦时 |
| FY26/27 草案 | 0.45 便士/千瓦时 |
问题问的是 Commercial 团队为 FY24/25 设定了哪个规划费率。当前应用于这些行的费率反映了 FY25/26 假设。该 notebook 已经记录了这一区别,并保留了回答问题所需的历史费率。
Genie Ontology 呈现了一个包含历史规划费率的片段,并将其链接到源 notebook, 45_mart_bill_cost_stack。当我们运行该任务时,Genie 检查了该 notebook 以确认费率,并在其首次回复中返回了 0.52 便士/千瓦时。Ontology 面板显示了相关信息及其来源 notebook,使我们能够检查来源。

在 5 次 Genie 运行中,第一次答案每次都是 0.52。其他智能体在其运行中都没有得到正确的历史费率。一个始终返回 0.31。另一个报告了 0.31,质疑是否记录了特定年份的规划费率,或两者兼有。
正确回答需要理解表格中的费率代表什么,并找到 Commercial 团队记录的历史规划假设。Genie Ontology 使这些现有知识可作为 Genie 回复的上下文。

成本与质量的权衡
前沿智能体非常擅长基于书面文本完成大多数事情。为可以用计算机完成的任务输入文字,LLM 就会理解需求,然后创建并执行完成该任务的计划。每个新模型版本都会逐步增加更多能力,而前沿实验室似乎在各种基准测试中互换第一名的位置。
这实际上使生成 token 的“智能”商品化,并将智能体力量和能力的来源置于 harness 及其可以检索的上下文中。这就是为什么此基准测试显示了上下文的重要性,以及 Genie Ontology 如何针对为手头任务提供相关上下文进行优化。对于竞争智能体来说,检索提取相关上下文所需的所有工件和元数据既耗时又昂贵,而且不一定保证正确结果。这些基准测试结果为使用 Genie(UI 和 MCP)以及 Genie Code 作为最可靠、最具成本效益的数据智能体以及 AI 同事的入口提供了依据。
该基准测试旨在测试 Genie 和其他智能体在已建立的 Databricks 部署中运行的情况,相关数据由 Unity Catalog 治理,业务知识捕获在工作区资产中。智能体需要发现并使用正确的上下文。在尚未有时间积累工作区知识的新部署中,或者当问题可以直接从表和模式回答时,智能体之间的差异可能较小。这解释了为什么其他现有数据智能体基准测试显示智能体之间的差异较小。
了解更多
要了解更多信息,请联系您的客户团队以获取此基准测试的访问权限,他们可以帮助您进行设置,以帮助展示 Genie 在繁忙的 Databricks 工作区上的表现。
Genie Ontology 现已 正式可用。更多信息:
- 访问 Genie Ontology 产品页面
- 阅读 产品文档
- 参加我们的 Data + AI Live:上下文只是开始 活动,与 Ali Ghodsi 和 Greg Brockman 一起
- 下载 电子书:运营化企业上下文层
此基准测试只是我们 Genie 周的一部分,更多关于 Genie、Genie Agents 和 Genie MCP 的新闻即将发布,所有这些都由 Genie Ontology 的共享业务上下文提供支持。
我们很高兴看到客户如何使用 Genie Ontology 在其组织中扩展可信 AI。
在您的收件箱中获取最新帖子
订阅我们的博客,将最新帖子发送到您的收件箱。