先了解这件事
AI 综述
Databricks于2026年11月9日在AI Runtime上发布Beta版UCDataset。据Databricks Blog介绍,这是一个原生PyTorch数据加载器,可直接把Unity Catalog表流式送入训练任务的每块GPU,无需导出或复制数据。在8块NVIDIA H100上流式读取300 GB特征表训练推荐模型的模拟生产测试中,训练时间相比直接读取Parquet副本平均缩短10倍。该包已上架PyPI,可通过pip install databricks-uc-dataset安装,并自动处理多GPU数据分片与Unity Catalog权限。目前尚无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Databricks Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月9日
Databricks Blog一手
Databricks 推出 UCDataset：从 Unity Catalog 表直连 GPU，训练提速 10 倍
Databricks 在 AI Runtime 上发布 Beta 版 UCDataset，这是一个原生 PyTorch 数据加载器，可直接把 Unity Catalog 表流式送入训练任务的每块 GPU，无需导出或复制数据。在 8 块 NVIDIA H100 上流式读取 300 GB 特征表训练推荐模型的模拟生产测试中，训练时间相比直接读取 Parquet 副本平均缩短 10 倍。该包已上架 PyPI，可通过 pip install databricks-uc-dataset 安装，并自动处理多 GPU 数据分片与 Unity Catalog 权限。