FBTriton重构批量嵌入算子

先了解这件事

AI 综述

2026年10月7日,PyTorch 博客介绍用 Triton 实现的 Table Batched Embedding(TBE)前向与反向 kernel,在推荐系统负载上性能超过原有 CUDA kernel。前向提供通用 gather 与小表 histogram 两条路径,FP16/BF16 权重以 FP32 累加、FP32 权重以 FP64 累加;B200 上 bounds-check 组件最高提速 1.24x。可选 core-module 路径把 index transpose、sort 和 run-length encoding 前移,大 B200 配置下前反向合计延迟从 79.537 ms 降至 66.183 ms(−16.8%)。目前该工作仍处于这一发布状态,尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道10月7日 06:57

PyTorch 用 FBTriton 重写 Table Batched Embedding 前反向算子

事件进展

1 个已确认进展

10月7日 · 1 篇报道
FBTriton重构批量嵌入算子
来源：PyTorch Blog

报道与讨论时间线

按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。

10月7日

06:57
PyTorch Blog一手
PyTorch 用 FBTriton 重写 Table Batched Embedding 前反向算子
PyTorch 博客介绍了用 Triton 实现的 Table Batched Embedding（TBE）前向与反向 kernel，在推荐系统负载上性能超过原有 CUDA kernel。前向提供通用 gather 与小表 histogram 两条路径，FP16/BF16 权重以 FP32 累加、FP32 权重以 FP64 累加；B200 上 bounds-check 组件最高提速 1.24x。可选 core-module 路径把 index transpose、sort 和 run-length encoding 前移，大 B200 配置下前反向合计延迟从 79.537 ms 降至 66.183 ms（−16.8%）。