NVIDIA 发布 Kumo Relational 关系基础模型，无需训练即可预测

TL;DR

NVIDIA Kumo Relational 是一个预训练的关系基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它会收集多达 10,000 个历史示例作为上下文，并在单次前向传播中预测流失、需求或欺诈等结果。它无需任务特定训练、无需特征工程，也无需将表展平。Kumo Relational 是首个在常见关系基准上超越监督式机器学习的小样本基础模型。在 15 个数据库的 41 个任务上，它击败了监督式关系深度学习模型和专家工程化的梯度提升树流程；在 SAP SALT 企业基准上，其平均倒数排名（MRR）比 AutoGluon 集成高出 8%。它可扩展到 500B+ 行的数据库，并通过 NVIDIA 开源的 GPU 原生 structured-data-models 库或作为 NVIDIA NIM，同时服务于人类和智能体。

基础模型已经改写了语言和视觉领域的规则。不久前，生产级 NLP 还意味着每个任务都要有专用模型，每个模型都由自己的分词、词形还原和 n-gram 流程提供输入。LLM 使这一技术栈在很大程度上过时，原因有三：它们比最好的任务特定模型更准确，投入生产要简单得多，而且足够灵活，开启了一个智能体应用的新时代。

同样的转变如今正在结构化数据领域发生。关系数据库支撑着世界上最重要的业务决策，然而在其上进行预测建模仍然需要数周的特征工程、任务特定训练和调优流程。结构化数据基础模型出于同样的三个原因改变了这一点：

更高的当前准确率：作为即插即用的替代方案，这些模型已经击败了许多生产流程，尤其是 XGBoost。在 RelBench V1 分类任务上，Kumo Relational 在专家工程特征上比梯度提升树平均高出近 4 个 AUROC 点。在 SAP SALT 上，它在工程特征上开箱即比 XGBoost 高出 7 个 MRR 点，微调后高出 13 个 MRR 点。这些结果有力地支持了用 Kumo Relational 替换生产 XGBoost 流程。

简单与敏捷：一个预训练模型取代了针对各个任务的独立流程。新的预测变成一次查询，而不是一个项目，因此 ML 团队终于可以在组织的各个层面承接传统 ML 因过于繁琐而无法构建的用例。

能够预测的智能体：LLM 让智能体能够读取、写入和推理。结构化数据基础模型让它们能够预判接下来会发生什么，例如哪位客户会流失，并据此采取行动。Kumo Relational 已经构建为可由智能体调用，其预测查询语言（PQL）为它们提供了一个简单的接口来提出预测性问题。

今天，我们推出 Kumo Relational（ 论文 ，文档 ），这是一个预训练基础模型，将这一范式带入关系数据。连接数据库，描述要预测的内容，即可在单次前向传播中获得预测。无需训练。

Kumo Relational 的工作原理

大多数用于结构化数据的基础模型都在单个扁平表上运行。而现实世界的数据存在于关系数据库中：用户连接到订单，订单连接到产品，一切都在随时间演变。通过手动聚合（ 例如 ，“过去 30 天的平均订单价值”）将这些关系展平为一行，会丢失细粒度的结构信号，并耗费大量人力。

Kumo Relational 是一个关系基础模型，直接在数据库上运行，尊重其表、外键和时间戳。它在一个反映真实世界数据集的合成关系数据上预训练一次，并通过上下文学习适应每个新任务，在推理时读取多达 10,000 个上下文示例。每个示例将一个实体在某一时间点周围的局部子图与其真实目标配对（ 例如 ，“该用户流失了”或“该商品售出 142 件”）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示接口，(c) 自动上下文生成，为 NVIDIA Kumo Relational 模型提供输入，该模型可跨租户水平扩展。]

图 1. Kumo Relational 系统概览。连接数据库，指定预测查询，Kumo Relational 处理其余一切，从上下文生成到模型推理。

为了做出预测，Kumo Relational 必须做三件事：(1) 理解每个表内的值，(2) 跨表关联记录，(3) 将具有已知目标的上下文示例与要预测的实体关联起来。其工作原理如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内的列注意力和行注意力，并注入上下文目标；(c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成：任务以预测查询语言（PQL）编写，这是一种声明式接口，你只需说明要预测什么，而无需说明如何预测。对于时间任务，Kumo Relational 会重放历史数据库状态：它采样截至锚点时间戳的以实体为中心的子图，并根据该时间戳之后的事件计算每个目标，同时只向模型提供该时间戳之前的数据。这可以防止数据泄漏。

表内推理：一个轻量级网络独立处理每个表，交替进行列注意力（关联同一列内的值）和行注意力（关联同一行内的特征）。模型会学习哪些列和行对当前预测重要，并在信息传播之前过滤掉噪声。

跨表推理：一个更大的网络通过主键/外键关系上的图注意力，将行嵌入分布到关系结构中，并与跨上下文示例的跨样本注意力交错进行。关系推理就发生在这里，例如将用户的个人资料与其交易历史关联起来。由于这一阶段处理的是行嵌入，而不是每个表中的每个单元格，因此该设计避免了二次方成本，并能扩展到大型上下文和更深的子图。

Kumo Relational 是如何构建的

Kumo Relational 完全在合成关系数据上进行预训练，这些数据经过模拟以反映具有多样预测查询的真实世界关系数据库。预训练分阶段进行，从单表逐步过渡到日益复杂的关系结构。

预训练所需的多样化关系数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器基于 PluRel（Kothapalli 等，ICML 2026）的方法，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队成员参与开发了 PluRel，并共同撰写了原始论文。PluRel 分三个阶段生成每个数据库：模式、行之间像真实数据那样聚类的 外键链接，以及来自具有时间趋势和跨表依赖关系的结构因果模型的列值。生成过程轻量，因此预训练数据实际上无限量，而且 PluRel 论文表明，随着合成数据库的增加，预训练损失遵循幂律，其收益可迁移到真实数据库。

通过这种预训练，模型学会跨表过滤、关联和聚合信息，而不是依赖固定聚合。当最高准确率至关重要时，Kumo Relational 还可以针对特定数据集和任务进行微调。

性能

在本文中，我们在 41 个基准上评估了 Kumo Relational，这些基准涵盖来自 RelBench V1 和 V2、SAP SALT 和 4DBInfer 的 15 个关系数据库，涉及电子商务、医疗、企业、社交和学术领域。这些数据集均未在预训练中出现过。Kumo Relational 在分类和回归任务上均优于最强的监督模型，包括关系深度学习模型和专家工程化的表格集成模型。在比较 RelBench V1 上关系模型和系统的 RelArena-α 排行榜上，它开箱即处于准确率-效率帕累托前沿：

![RelArena-α 排行榜的散点图：跨任务的相对准确率（以 Elo 表示，y 轴）与每 1,000 个样本的中位推理时间（x 轴，对数刻度）。Kumo Relational 位于帕累托前沿，约为 17 秒，Elo 为 1,842。得分最高的条目 rt-plurel 在约 7,300 秒时达到 Elo 1,878，大约慢 430 倍。其他所有基础模型、特征工程系统和监督模型的得分都低于 Kumo Relational，运行速度也更慢。]

图 3. RelArena-α 排行榜：跨任务的 Elo 与每 1,000 个样本的中位推理时间（对数刻度）。在准确率相近的情况下，Kumo Relational 比得分最高的条目快约 430 倍。

论文还报告称，在 SAP SALT 企业基准上，Kumo Relational 的平均倒数排名（MRR）比大型 AutoGluon 集成高 8%，比近期的表格基础模型高约 25%，而微调将其对 AutoGluon 的领先优势扩大到 16%。它在困难条件下也表现稳健：仅使用 0.2% 的训练数据作为上下文也能表现良好，在移除多达 75% 的外键链接时保持稳定，并且在添加许多噪声列时几乎不退化。

局限性

Kumo Relational 在具有有意义关系和时间动态的数据（例如用户随时间的行为）上表现最佳。在训练集非常大的任务上，任务特定的监督模型可能仍会在上下文预测上略胜一筹，而在我们的基准中，上下文预测最多使用 10,000 个上下文示例。基础模型的微调正是为这种情况设计的。预测信号还必须在有限跳数内可达，因此应从针对少数相关表的聚焦查询开始，并根据需要扩展图。

演示

Kumo Relational 原生支持在数据库上进行上下文学习：可在内存中运行，可通过数据库和数据仓库连接器运行，也可通过自定义图引擎运行，该引擎借助内存映射 I/O 以最高 5 GB/s 的速度处理 500B+ 行数据。它已在 NVIDIA 新发布的 GPU 原生结构化数据模型库中提供，该开源库也正是我们姊妹模型 Kumo Tabular 的底层支撑。该库在首次使用时会从 Hugging Face Hub 下载权重，因此你可以在配备 GPU 的 notebook 中加载模型并直接进行预测。下面的代码将上下文示例、预测实体及其相关表传给模型：

有关完整的 RelBench 和 SAP SALT 流水线（包括如何对每个实体的相关表进行采样），请参阅该库的关系型示例。

若要将模型作为独立服务运行，可将其部署为 NVIDIA NIM，并在 notebook 中让开源的 structured-data-models-client 指向它。你用 PQL 编写预测，客户端会收集上下文示例和相关表，然后发送请求：

有关针对本地 NIM 和在 Databricks 上运行的端到端示例，请参阅该客户端的示例 notebook。

致谢

我们感谢整个 Kumo 团队给予的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。

来自该作者的更多内容

在仿真中训练，在真实机器人上部署：基于 Isaac Lab 3.0 的 Microduck