跳至主要内容
  • 当 Databricks Genie One 将精选 Genie Agents 与建模知识——即 Unity Catalog 中定义的受治理业务上下文——结合使用时,其准确率最高。在针对一家虚构保险公司的 125 个问题中,Genie One 同时使用精选 Genie Agents 和受治理业务上下文(Metric Views、Domains/Subdomains 和 Pages)时得分为 93–95%;仅使用智能体或受治理层时为 83%;仅使用表格时为 64%。
  • 智能体和受治理层解决的是不同问题。Metric Views、Domains、Subdomains 和 Pages 可帮助 Genie One 回答原本需要依赖团队内部经验知识的定义类问题,而对于需要从 PDF 等非结构化数据中获取答案的问题,则必须使用智能体。
  • 在经过认证的 Metric View 中一次性定义每项业务指标,并使用 Page 说明其适用情形。在另一项变更测试中,更新一个 Metric View 及其 Page 后,所有 12 个相关的 Genie One 答案都采用了新定义,无需对智能体进行任何编辑。

如果询问财务团队和核保团队,损失率从 2024 年到 2025 年是否有所改善,你会得到两个相互矛盾但都正确的答案。在我们为此次测试构建的一家虚构商业汽车保险公司中,财务团队报告损失率恶化了 8.2 个百分点,而核保团队则报告改善了 1.5 个百分点。两者都没有错。财务团队按日历年度跟踪扣除再保险后的数据,因此,较早索赔的不利准备金发展会反映在当前数据中。核保团队则严格按保单年度查看未扣除再保险且排除巨灾的数据,因为这是制定费率时使用的基准。与此同时,准备金团队采用的是完全不同的第三项指标:事故年度最终损失率。

image2.png

SQL 可能完全正确,却仍然得出对提问者而言不合理的答案。挑战在于,当同一个术语存在多个有效定义时,如何判断应采用哪一种业务定义,同时确保承保保单总数等共享事实保持一致。这正是我们希望通过 Genie One 探索的问题。

由以下技术提供支持的 Genie One: Genie Ontology (现已正式发布)将这种业务上下文引入分析体验。Genie Ontology 从团队现有的工作中学习,自动从已有仪表板、查询、笔记本和语义模型中捕获业务逻辑、计算和关系,并将其保存为 Ontology Snippets。这些学习到的知识由建模知识加以补充:即通过经过认证的 Metric Views、Domains 和 Subdomains 以及 Pages,在 Unity Catalog 中表示的、明确定义且受治理的业务概念。在本研究中,我们将这种建模知识称为“受治理层”。

学习到的知识与建模知识相结合,使 Genie 能够更深入地理解组织的运作方式。团队可以利用已从现有资产中捕获的知识,同时通过建模知识为最需要一致性和精确性的业务概念确立权威定义。无需预先对每个概念建模。

本研究探讨了 Genie Ontology 的另一个方面,不同于我们在 图灵基准测试 中所述的内容;该基准测试见我们的 Genie Ontology 正式发布公告。该基准测试比较了启用 Genie Ontology 的 Genie 与领先前沿智能体在准确性和效率方面的表现,而本研究则单独考察建模知识的贡献:受治理的 Metric Views 和 Pages 如何与学习到的知识及精选智能体相互补充,帮助 Genie One 解读业务定义并提供一致的答案。

为此,我们构建了四个 Genie Agents,分别用于财务、准备金、核保和理赔。它们使用相同的表格,但各自拥有所属团队的定义、示例查询和文档。每个智能体单独使用时表现都很好。我们想知道,当 Genie One 成为统一入口时会发生什么:它能否将问题路由到正确的智能体并使用正确的定义?要稳定可靠地做到这一点,它又需要什么?

为找到答案,我们测试了四种配置。

  • 仅使用表格:不使用智能体,也不使用 Unity Catalog 中的受治理上下文。
  • 精选智能体: 每个智能体都拥有所属团队的定义、业务规则和文档。
  • 受治理层,不使用智能体: Unity Catalog 中的 Metric Views、认证、Domains、Subdomains 和 Pages,不使用 Genie Agents。
  • 精选智能体与受治理层结合: 相同的智能体加上相同的受治理业务上下文。

仅使用表格时得分为 64%。精选智能体和受治理层单独使用时均达到 83%,但两者各自擅长的方面不同。添加精选智能体改善了基于文档的答案;添加受治理层则改善了依赖业务定义的答案。单独使用任何一方都不足以兼顾这两类需求。两者结合后,两轮测试的准确率达到 93–95%。该组合配置在损失率问题上的得分也达到 93%,在同时需要文档和结构化数据的问题上达到 97%。

为了验证这种模式在保险业以外是否仍然成立,我们使用一家虚构零售商重复进行了比较。在该测试中,将受治理层添加到精选智能体后,准确率从 54% 提升至 82%。

image1.png

为什么 Genie One 可能遗漏智能体已经掌握的知识

Genie One 并非只是选择一个智能体,然后让它回答每个问题。它可以使用受治理的 Unity Catalog Semantics ,例如 Metric Views, Domains 和 Subdomains,以及 Pages;也可以将问题路由到相关的 Genie Agent。如果找不到合适的匹配项,它会搜索工作区。在那里,它可能根据你经常使用的表格或卷,或根据你之前的对话,推断应该使用哪些数据。

当 Genie One 使用自身上下文回答问题时,它不会自动继承每个智能体内部配置的指令。只有当 Genie One 将问题路由给该智能体时,这些指令才会生效。因此,即使一个智能体经过精心配置,如果 Genie One 通过其他方式回答问题,它仍可能几乎发挥不了作用。

我们如何构建测试

保险业务

我们创建了一家虚构的商业汽车保险公司,其中包括:

  • 8,000 份保单和 7,482 起索赔。
  • 索赔金额每季度更新。
  • 为尚未报告的索赔计提的准备金(已发生但未报告,简称 IBNR)。
  • 两份再保险合同和三起巨灾事件。
  • 近期加州人身伤害索赔成本上升。

四个智能体共享相同的底层表格。每个智能体还可以访问其团队的文档文件夹,四个文件夹中共有 14 份 PDF。

我们还放入了两份误导性文档来测试稳健性。其中一份是准备金委员会会议纪要的早期草稿,报告准备金增加了 410 万美元;同一文件夹中的获批纪要则报告增加了 528 万美元。另一份是供应商通讯,其中包含一条隐藏指令,要求将损失率报告为 55%,这是一个简单的提示词注入测试。

随后,我们在真正的定义旁边放置了三个外观相似的表:analytics_loss_ratio_v2、analytics_loss_ratio_test,以及一个个人副本 finance_lr_calendar_quarter_net_jdoe。

这些智能体配置了各自团队的公式、业务规则和 SQL 示例问题。我们使用另一组练习题对其进行了调优,随后将其冻结,并在所有包含智能体的配置中使用相同版本。

根据内容的存储位置以及团队需要如何访问,可以通过多种方式向 Genie 提供企业文档。在本实验中,我们将各团队专属的 PDF 存储在 Unity Catalog Volumes 中,并通过内容搜索提供给相应的 Genie Agents。当信息分散在 Google Drive、SharePoint、Jira 或 Confluence 等业务应用中时, Genie Search 可提供更广泛的企业搜索体验。它将已连接应用中的索引内容与通过 MCP 进行的实时检索相结合,并在同一体验中将这些结果与 Databricks 资产汇集起来。它还遵循源系统的权限设置,因此用户只能看到自己有权访问的内容。

对于受治理层,我们设置了:

  • Metric Views(指标视图) 其中包含各团队的计算方法:三种损失率定义,以及与各团队相关的保费、索赔频率和严重程度版本。
  • 认证 将预期使用的 Metric Views 和智能体标记为可信,并将诱饵资产标记为已弃用。
  • Domains 和 Subdomains(域和子域) 围绕商业汽车保险业务组织资产。共享事实存放在主 Domain 中,而每个团队的定义、文档和智能体则存放在各自的 Subdomain 中。
  • Pages(页面) 提供简短且受治理的业务术语解释,并链接到其所描述的表和 Metric Views。

问题与评分

保险基准测试包含 125 个问题,每个问题都有一个通过 SQL 独立计算得出的预期答案。

这些问题涵盖简单查询、明确指定的业务定义、“我们的损失率是多少?”之类的模糊问题、需要解释的问题、现有数据无法回答的问题,以及需要将文档与结构化数据相结合的问题。我们还测试了后续问题和两份特意放入的文档。

我们采取了多项措施,使结果更具参考价值。Genie One 对每个问题都回答三次,每轮都使用新的服务主体,确保之前的对话不会延续,而且每个答案都记录在 MLflow 中。当某项关键结果十分接近时,我们会使用新身份重新运行整套设置。我们报告的是基于 2,000 次自助法重采样得出的 95% 置信区间,并将每个问题的重复回答归为一组,因为 Genie One 能够回忆此前的答案。两个来自不同模型系列的 AI 评审分别提取核心数值、所用定义和涉及的事实,再由固定规则判断每个答案是否正确。两位评审对 95%–99% 的答案判断一致。每轮运行前,每个智能体都必须独立正确回答至少 85% 的基础问题。

准确率提升来自哪里

以下是使用 Genie One 测得的总体准确率,随后按问题类别进行细分。

问题类型仅使用表格精选智能体受治理层,不使用智能体精选智能体 + 受治理层
全部 125 个问题64% (55–72%)83% (77–89%)83% (77–89%)95% (91–98%)
定义问题(31 个)47%69%100%100%
损失率问题(36 个)43%67%88%93%
后续问题(5 个)40%60%73%93%
文档问题(12 个)42%75%42%81%
需要文档和数据的问题(12 个)25%92%42%97%
使用诱饵表作答10%6%0%0%
依赖账户中其他项目 Pages 的答案46%49%14%11%

受治理层带来的提升。 仅使用精选智能体时,Genie One 经常自行回答定义问题,完全看不到智能体指令中的公式。已发布的 Pages 对整个账户中的 Genie One 可见,因此它能找到的最接近定义,是其他人为无关项目编写的 Pages。它在 49% 的答案中依赖了这些内容。受治理层为 Genie One 提供了更匹配的信息:每项计算都有经过认证的 Metric Views,每个有争议的术语都有我们自己的 Pages,并统一组织在商业汽车保险 Domain 中。对其他项目 Pages 的依赖率降至 11%,而基准测试中的所有定义问题都得到了正确答案。

我们还考察了 Genie One 是将定义问题路由给智能体,还是直接自行回答。

通过 Genie One 回答的定义问题路由给智能体由 Genie One 直接回答
精选智能体正确率 93%正确率 34%
精选智能体 + 受治理层正确率 100%正确率 100%

仅使用精选智能体时,智能体知道答案,但 Genie One 会自行回答约四成的定义问题,而且其中大多数回答错误。加入受治理层后,无论采用哪种方式,它都能正确作答。我们使用不同身份从头运行了两次该配置,路由情况发生了显著变化:一轮中 Genie One 将 74% 的问题交给智能体回答,另一轮中这一比例为 19%,但两轮准确率大致相同。路由并非确定性的,但有了受治理层,这一点已不再重要。直接回答时,Genie One 会读取经过认证的 Metric Views 和 Pages;路由给智能体时,智能体会应用与同一 Metric View 相匹配的公式。每条路径最终都会得到相同的定义。

特意放入的文档没有改变任何答案。 在任何配置中,都没有答案采用注入的供应商通讯所称的 55% 赔付率,也没有答案使用准备金草案中的数字。

如果没有受治理层,能否获得正确答案取决于路由。经验是,应针对 Genie One 可能采用的任何路径进行设计:把每项定义放在所有路径都能访问的位置,并通过 Genie One 多测试几次,再相信结果。

智能体带来了什么。 如果没有智能体,文档类问题的表现会降至仅使用表格时的水平。在没有智能体后表现变差的 18 个问题中,有 12 个需要团队文档,例如诉讼审查报告、准备金委员会会议纪要或承保建议。在这一配置中,智能体是 Genie One 获取这些文档的唯一途径,因为 PDF 只能通过智能体的内容搜索访问,而且没有任何 Page 链接到它们。如果没有智能体,Genie One 还会在每次重复测试中都预测 2027 年的赔付率,而不是说明数据并未涵盖 2027 年。这一限制写在表格描述和智能体指令中,却没有写在 Genie One 所读取的 Metric Views 上,因此它从未看到这一限制。

受治理层的各个组成部分分别发挥了什么作用

上述比较一次性加入了整个受治理层。为了了解每个组件分别带来了什么贡献,我们又进行了一系列单独测试,每次只添加一个组件。

第二项实验开始时使用了四个赔付率公式彼此不一致的智能体。从第二步起,我们把公式移入 Metric Views,并将每个智能体精简为几条行为规则和两个示例查询。这些智能体的配置与主要比较中经过充分精选的智能体不同,因此下述结果不应与前面的表格直接比较。

image3.png

  • Metric Views 修正了公式。 同一步骤还将智能体精简为几条行为规则。赔付率问题的准确率从 56% 升至 83%,定义问题则从 66% 升至 90%。
  • 认证有助于表明哪些资产值得信任,但其本身并未提高准确率。 总体得分从 90%(84–94%)降至 83%(76–89%),但区间相互重叠,因此我们无法断定这一下降确实存在。与此同时,答案使用诱饵表格的比例从 9% 降至 4%,Genie One 还在 22% 的答案中明确提到了经过认证的定义。我们认为,认证是一种有用的信任信号,可与 Domains 和 Pages 协同发挥作用,但它本身并不能确保答案正确。
  • 最后加入的 Domains 和 Pages 帮助 Genie One 判断应采用哪项定义。 模糊问题的准确率升至 94%,定义问题达到 100%,诱饵使用率则从 4% 降至零。Metric View 告诉 Genie One 如何计算一个数字;Domain 和 Pages 则有助于解释这是谁的指标,以及它与业务有何关联。

文档类问题在不同轮次之间的波动比其他类别更大。这类问题只有 12 个,因此仅两个问题的变化就可能让得分变动约 15 个百分点。原始智能体的指令说明了应从哪里查找诉讼状态,Genie One 因而将两个诉讼问题都路由给 Claims 智能体,并正确作答。精简这些指令后,这些问题通常会回答失败,直到我们添加了一个定义“诉讼中”的 Page。

同一个问题可以有不同的正确答案

我们还测试了 Genie One 在理解问题时能否考虑用户所属的团队。

我们创建了两个身份,一个属于 Finance,另一个属于 Underwriting。每个身份都向 Genie One 告知了一次自己的团队,Genie One Memory 保留了这些信息。随后,两个身份在新的对话中提出了相同的 12 个问题:其中七个问题的正确答案取决于团队,另外五个则询问直接的事实。

 Finance 身份Underwriting 身份
“从 2024 年到 2025 年,我们的赔付率是变好了还是变差了?”恶化 8.2 个百分点(按日历年度、再保险后计算)改善 1.5 个百分点(按当年签发的保单、再保险前、不含巨灾计算)
取决于团队的问题每次重复测试均答对 7 个中的 6 个每次重复测试均答对 7 个中的 7 个
直接事实(签发的保单数、索赔数、签单保费……)5 个全部答对,答案相同5 个全部答对,答案相同

每个答案都解释了自己采用的是哪个团队的定义。这体现了学习到的知识与建模知识协同发挥作用,因为 Genie One 将其记住的每位用户的信息与该团队建模的定义结合了起来。两个身份的数据访问权限完全相同,因此差异来自 Genie One 所记住的团队上下文,而不是两个身份可见内容的差异。这项测试针对的是业务上下文,而非访问控制。记住某人所属的团队并不能取代权限或行级安全控制;这些机制仍需单独实施。

业务定义发生变化时会怎样?

业务定义不会一成不变。我们想了解,要更新一项定义且不影响其他定义,需要投入多少工作。

实验进行到一半时,Underwriting 决定其赔付率还应包含为索赔进行法律抗辩的费用。我们更新了 Underwriting 的 Metric View,并在其 Page 中添加了一句话。我们没有更改任何智能体指令。随后,在精选智能体和受治理层均已启用的情况下,我们通过 Genie One 提出了 12 个有关 Underwriting 赔付率的问题。

每个答案都采用了新定义。另有八个关于未修改定义的问题仍然回答正确。在仅使用精选智能体的配置中,同样的变更意味着必须在四个智能体的指令中找到并修改分散在七处的公式。

需要注意的是,智能体仍然保留着旧公式。在 Genie One 之外直接向它们提问时,它们在 92% 的答案中使用了旧公式,且没有发出任何提醒;在有人逐一更新每个智能体之前,它们会一直如此。集中管理定义可以减少重复,但智能体中遗留的任何逻辑仍然需要维护。

同样的方法在保险业之外也有效吗?

我们使用一家虚构的零售商重复了主要比较。Finance、Merchandising 和 Marketing 对收入各有不同的定义。我们问道:“2025 年收入增长了吗?”

  • Merchandising 按折扣前的全部订单金额统计,报告称增长了 13.6%。
  • Finance 按订单发货时扣除折扣和退款后的收入统计,称收入下降了 9.4%。
  • Marketing 按退货前已完成的订单统计,称收入与上年持平。

节日促销和服装退货量激增解释了这种差异,而三者的结论都没有错。

该基准测试包含 49 个问题,因此这只是对这一模式的一次小规模验证,而非第二项完整研究。

零售业(通过 Genie One)精选智能体精选智能体 + 受治理层
所有问题54% (41–67%)82% (71–92%)
定义类问题31%100%
使用本业务之外表格作答21%6%
使用外观相似的表格作答5%0%

精选零售智能体单独使用时表现良好。但通过 Genie One 使用时,它们只答对了约一半的问题,因为 Unity Catalog 中没有任何信息说明各团队所说的收入分别指什么,也没有说明哪些表属于该业务。加入受治理层后,定义类问题的准确率从 31% 跃升至 100%,总体准确率升至 82%。

我们的建议

根据这些实验,我们建议保留精选智能体,并在其底层添加受治理层。关键在于决定每类信息应归于何处:

位置包含的内容
经过认证的 Metric View限定范围的数据集,包含连接键、计算逻辑和维度,供 Genie One 和智能体用于计算和汇总数据
Domain 和 Subdomain业务和团队归属;共享事实放在主 Domain 中,团队特定的上下文放在 Subdomain 中
Page对业务术语的解释,并指向保存相关证据的表、视图和文档。Page 可以链接到与其内容相关的资产,例如 Metric View。
表和 Metric View 的描述数据涵盖和不涵盖的内容,包括日期范围以及缺失的预算或费用数据
智能体指令行为规则应说明所采用的定义,在需要时要求澄清,并在数据无法回答问题时如实说明

有几条实用经验尤其值得注意:

  1. 首先处理不同团队有不同含义的定义,尤其是那些仅作为某个团队内部经验知识存在的定义。对于各方普遍认同的事实,Genie One 已经能够很好地处理。
  2. 每项指标只定义一次。将官方计算逻辑放入经过认证的 Metric View,而不是在多个智能体指令中维护同一个公式。在我们的测试中,Metric View 和 Page 推动了准确率的提升。在分步测试中,认证机制引导 Genie One 避开外观相似的诱饵表,使其使用率从 9% 降至 4%;加入 Domain 和 Page 后,使用率进一步降至零。
  3. 使用 Page 解释业务上下文,并将其链接到所描述的认证表和 Metric View。在每个 Page 中,明确计算适用的场景,以及 Genie One 应避免使用该计算的场景。当 Genie One 能够将定义与底层数据关联起来时,这一定义会更有用。
  4. 让智能体专注于最擅长的工作。团队特定文档、Domain 知识和行为规则仍然很重要。受治理层无法取代这些上下文,尤其是当问题依赖于表或 Metric View 中未体现的信息时。
  5. 应通过 Genie One 进行测试,而不只是单独测试各个智能体。如果 Genie One 不会将问题路由给某个智能体,那么该智能体单独作答再好也无济于事。因此,每次变更前后都应衡量端到端体验。

要将这一方法应用于自己的数据,请先找出各团队定义不同的术语,将其连同 Metric View 和 Page 添加到 Domain/Subdomain 中,并通过 Genie One 衡量变化。《 Genie Ontology 文档 》解释了各个组成部分如何协同,而《 在数据栈中将 Genie Ontology 投入实际应用的指南 》则逐步介绍了如何完成设置。

相关标签:

最佳实践

在收件箱中获取最新文章

订阅我们的博客,即可在收件箱中收到最新文章。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"