先了解这件事
AI 综述
2026年10月1日,NVIDIA推出基于Dynamo-Triton、PyTorch AOTI和FlexKV的HSTU推理部署工作流。据NVIDIA Developer · Generative AI发布的官方信息,NVIDIA recsys-examples现已提供基于Dynamo-Triton的端到端HSTU生成式推荐推理工作流,结合PyTorch AOTI编译与FlexKV支持的KV缓存。在NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU上,八层HSTU模型在batch size 8、100% GPU KV-cache命中率下,延迟相比无缓存的同款AOTI配置最多降低5.93x,三层模型为4.47x。目前该工作流已随recsys-examples提供,暂无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月1日
NVIDIA Developer · Generative AI一手
NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型
NVIDIA recsys-examples 现已提供基于 Dynamo-Triton 的端到端 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI 编译与 FlexKV 支持的 KV 缓存。在 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU 上，八层 HSTU 模型在 batch size 8、100% GPU KV-cache 命中率下，延迟相比无缓存的同款 AOTI 配置最多降低 5.93x，三层模型为 4.47x。