跳转到主要内容
  • 表格基础模型无需训练任务专用模型即可对新数据集进行预测,从而加速预测性机器学习实验。
  • 在选择模型之前,请从准确率、推理延迟、GPU 显存占用和成本方面,将表格基础模型与现有基线进行对比。
  • Databricks AI Runtime 提供托管 GPU、MLflow 追踪和 Unity Catalog 集成,用于实验和微调 TFM。

许多最有价值的预测性机器学习应用都依赖于表格数据。从信用风险和客户流失到需求预测和预测性维护,这些用例传统上要求团队为每个预测任务开发、训练和维护模型。表格基础模型(TFM)提供了另一种方法:预训练模型无需针对具体任务进行训练,即可对新数据集做出预测。

对于许多企业而言,大规模将机器学习系统投入生产仍然是一项挑战,原因如下:

  1. 模型开发:每个用例都需要数据准备、特征工程、模型选择、训练和评估。找到一个满足准确率和性能要求的模型可能需要大量实验。
  2. 模型维护:模型部署后,需要监控性能下降和数据漂移。随着数据集和业务需求的变化,团队可能还需要维护重训练流水线。

近来,智能体解决方案帮助加速了这些昂贵的操作,但它们仍然依赖为每个机器学习任务或数据集专门训练的模型。为了消除这种依赖,一些开创性的研究实验室已将Transformer架构大规模应用于表格数据,从而开创了一类名为表格基础模型(TFM)的新模型。由于TFM是预训练的,因此无需在你的数据集上进行训练,这意味着专门定制的训练和重训练流水线基本不再需要。

尽管这些模型在公开基准测试中展现出令人印象深刻的准确率,但它们尚未打入企业AI的主流。部分原因是该领域尚处于起步阶段,了解它们的从业者还不多,但另一部分原因在于计算基础设施要求。 

在本文中,我们将探讨TFM的工作原理,比较近期的模型,并解释在企业机器学习中采用它们所涉及的权衡。随后,我们将演示 Databricks AI Runtime 如何通过托管GPU基础设施、集成开发工具和模型治理来支持TFM实验和微调。

表格基础模型的工作原理

TFM在很大程度上消除了训练的需求以及维护专门模型的开销。它们在数百万个多样化的合成数据集上进行了预训练,因此能够推断出未见数据集中变量之间的关系。在预测时,带标签的行会作为上下文与待预测的行一起传入。随后,作为Transformer架构核心的注意力机制会将每个新行与这些示例关联起来。预测通过单次前向传播生成,这一过程称为上下文学习(ICL)。

虽然这种零样本方法开箱即用地提供了强大的基线,但TFM也可以进行微调。通过在特定数据集上更新模型的预训练权重,机器学习团队可以为其最关键的使用场景进一步提升预测准确率。

Transformer 如何处理表格数据

Transformer 在 TFM 中的主要复杂性在于处理各种输入类型。与文本中的单词或图像中的像素不同,表格混合了数值、类别和布尔特征,每种特征都有自己的尺度和含义。如何高效地将这些输入嵌入到一个共同的潜在空间中一直是一个重大挑战。社区通过开发专门的 tokenizer 解决了这个问题,这些 tokenizer 将类别特征和数值特征映射到一个单一的共享表示中。

一旦实现了对每个单元格的高效 tokenization,问题就变成了如何有效地学习行与列之间的关系。 TabPFNv2 是首个在基础模型规模上实现这一目标的工作。如图 1 所示,它依次在行内和列内应用注意力机制,捕捉特征之间的复杂交互以及不同数据样本之间的潜在关系。

图 1:TabPFN v2 的 Transformer 架构

尽管取得了成功,但这种方法面临严重的可扩展性限制。通过在行和列上依次执行密集注意力,计算成本迅速增长,随着样本数和特征数的增加,成本变得高得令人望而却步。作为解决方案, TabICLv1 采用了一种行压缩方法,其中专门的编码器仅用四个 token 表示每一行,使得跨样本的注意力计算成本大幅降低,同时保持有竞争力的预测性能。该架构如图 2 所示,但此后已被诸如 TabPFNv3, TabFM、以及 KumoTabular等模型采用并扩展,这些模型如今在 TabArena 等基准测试中名列前茅。

图2:TabICLv1中使用的Transformer架构。对于ICL,测试样本仅关注训练样本,而训练样本之间相互关注

使用合成数据进行预训练

除了架构之外,TFM的另一个显著特征在于它们的构建方式:模型创建者在预训练阶段主要使用合成数据。TFM开箱即用能否成功,决定性因素在于这些研究人员能否生成准确反映真实世界数据集分布与关系的合成数据。为了构建稳健的基础模型,创建者必须模拟大规模、多样化的数据,以涵盖缺失值、离群点和未观测特征等常见的企业数据质量问题。虽然结构因果模型为采样这些预训练数据集提供了标准化框架,但确切的流水线配置在很大程度上取决于具体的TFM。

近期模型一览

随着TFM领域快速发展、新版本频繁发布,评估企业部署方案需要审慎考量。下表从两个实际部署因素——规模和许可——的角度列出了领先模型。 

模型

发布日期

参数量

权重许可证 

TabICLv2

02/2026

约 2800 万

BSD 3-Clause: 商业上宽松许可 

TabFM

06/2026

约 4 亿

TabFM 非商业许可证 v1.0* 非商业宽松许可

TabPFNv3.5

09/2026

约 2.2 亿

TABPFN-3.5 许可证 v1.0* 非商业宽松许可

Mitra v2

09/2026

约 7700 万

Apache-2.0:商业上宽松许可

KumoTabular

09/2026

约2.15亿

OpenMDW-1.1:商业上宽松许可

*经模型创建者同意后可用于商业用途。

如需了解当前最先进模型的完整列表,请查看以下基准测试: TabArena 或 TALENT. 鉴于每种 TFM 各有独特的权衡取舍,我们建议直接基于贵组织的数据评估这些模型,因为专有企业工作负载往往与合成数据或标准基准测试存在巨大差异。 

除了衡量预测准确率之外,团队还必须评估运营成本。虽然 TFM 通过消除定制训练流水线节省了大量工程时间,但在 GPU 上运行基础模型的每次预测成本本质上高于在 CPU 上执行传统 XGBoost 模型。对于任何给定用例,评估 TFM 意味着要将加速的上市时间和性能提升与 GPU 推理的持续成本进行权衡。

GPU 挑战

TFM 的推理在 GPU 上经过优化。模型本身足够小,可以放在单个 GPU 上,但在上下文学习模式下,每次预测都会将整个训练集传递给模型。因此,GPU 内存使用量会随行数和特征数的增加而增长,并且在企业 ML 典型的数据集规模下可能很快耗尽。对高性能 GPU 的需求带来了三个问题:

  1. GPU 预配: 按需 GPU 通常伴随着漫长且不可预测的等待时间。24/7 预留一定容量会因闲置容量和容量规划工作而带来高昂的 TCO。
  2. 管理 GPU: 要充分发挥 GPU 的性能,就需要良好的可观测性,尤其是在 TFM 场景下,因为许多因素都会影响内存使用。工程师要么花数小时构建这些工具并管理基础设施,要么最终得到严重利用不足的 GPU。
  3. 创建外部依赖: 在许多系统中,GPU 是在单独的工具中预配的,因此必须将数据从数据平台复制出去,再将推理结果复制回来。当您想要微调 TFM 时,情况会变得更糟,因为微调后的权重会让治理和生命周期管理变得更加困难。 

Databricks AI Runtime for TFM

Databricks 在单一开放平台上统一了数据与 AI。AI Runtime 是一种完全托管的无服务器 GPU 基础设施,为企业 GPU 工作负载提供这种统一体验。借助 AI Runtime,实验和生产化从未如此轻松,其功能包括:

  1. 灵活、按需的 GPU 访问,包括可支持 TabPFN-3 等 TFM 的 H100,规模最高可达 100 万行 × 200 个特征。 
  2. 内置可观测性、GPU 利用率和 MLflow 实验追踪的深度学习技术栈
    1. 原生支持 Notebook、Lakeflow Jobs 和 Unity Catalog,简化了通往生产环境的路径
    2. 原生 Docker 支持以及通过 Databricks CLI 进行远程 SSH 访问,进一步提升了开发者体验
  3. Notebook 内置的 Genie Code 智能体具备深度学习和 GPU 专业知识,能够编写和调试推理与训练代码、修复性能瓶颈,并解决收敛或框架错误,如视频 1 所示。
  4. 通过 Databricks Model Serving 实现无缝部署,让你可以将 TFM 部署为自动扩缩的实时 REST 端点。对于信用评分或产品推荐等对延迟敏感的使用场景,这能确保你的 GPU 支持模型直接将低延迟预测交付给生产应用。
视频 1:Genie Code 直接在 Notebook 中排查 OOM 问题

借助 Databricks AI Runtime,你可以直接在数据所在之处运行 TFM 工作负载,使用 Unity Catalog 治理和管理 GPU 工作流的生命周期,而无需创建任何数据孤岛。

开始使用

克隆此 仓库 了解如何使用 Databricks AI Runtime 运行各种 TFM 的零样本推理,以及 KumoTabular 分类和回归的完整微调示例。这些示例展示了 AI Runtime 如何帮助你轻松管理高级 TFM 微调工作流的生命周期与集成。

视频 2 演示了 微调 Notebook 并使用 H100 展示 GPU 使用情况可观测性如何直接嵌入 Notebook,以及用于指标追踪的 MLflow 实验。此外,该工作流还涵盖通过 Unity Catalog 实现的集中治理与注册,从而促进稳健的版本控制和结构化的模型生命周期管理。 

视频 2:使用 Databricks AI Runtime 微调 KumoTabular 分类模型。该 GIF 演示了 GPU 使用情况可观测性,以及在 Unity Catalog 中对微调模型进行模型注册、治理和版本管理。

表格基础模型有望将机器学习项目的上市时间从数月缩短至数天,而借助 Databricks AI Runtime,GPU 工作负载不再是障碍。你的实验可以轻松过渡为受治理、可用于生产的解决方案,无论是作为高吞吐量批处理管道还是实时推理端点,都在数据所在的同一平台上完成,从而弥合探索性研究与企业采用之间的差距。 

机器学习领域已经到达一个临界点,部署高影响力模型的门槛从未如此之低。企业可以通过为自身工作负载探索 TFM 来立即把握这一转变。不必只听我们的一面之词;今天就针对你的数据评估 TFM,以释放性能、简化运营,并获得准确、可付诸行动的预测。

常见问题

什么是表格基础模型(TFM)? 

TFM 是专为表格数据设计的预训练 transformer 模型。由于它们在数百万个多样化的合成数据集上进行了预训练,因此能够推断新数据中的关系,而无需从头训练,从而大幅缩短了部署机器学习模型所需的时间。

TFM 如何处理表格中不同类型的数据? 

TFM 使用专门的分词器,将数值、类别和布尔特征等混合数据类型映射到单一共享的潜在向量空间。这使得 transformer 的注意力机制能够同时处理不同特征类型之间的复杂交互。

为什么推荐为表格基础模型使用 GPU? 

TFM 基于 transformer 架构构建,该架构依赖稠密矩阵乘法,而这些运算在 GPU 上的运行效率远高于 CPU。虽然从技术上讲,你可以在 CPU 上运行 TFM,但对于企业级数据而言,其速度慢得不切实际;此外,上下文学习过程中产生的大量中间计算(激活值)需要 GPU 的并行处理能力和内存带宽,才能在合理的时间内完成执行。

我可以微调表格基础模型吗? 

可以。虽然 TFM 通过零样本推理即可开箱提供很强的预测准确率,但你可以在自己的专有数据集上微调其预训练权重,从而在关键用例中进一步提升性能。

Databricks AI Runtime 如何帮助处理 TFM? 

Databricks AI Runtime 直接在数据所在之处提供全托管的无服务器 GPU 基础设施。它免去了将数据移入外部 GPU 工具的需要,让你能够运行推理、微调模型,并通过 Unity Catalog 进行治理,而无需创建数据孤岛。

相关标签:

数据科学与机器学习

订阅我们的博客,将最新文章直接发送到您的收件箱。

订阅我们的博客,将最新文章直接发送到您的收件箱。

订阅

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"