NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型
NVIDIA recsys-examples 现已提供基于 Dynamo-Triton 的端到端 HSTU 生成式推荐推理工作流,结合 PyTorch AOTI 编译与 FlexKV 支持的 KV 缓存。在 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU 上,八层 HSTU 模型在 batch size 8、100% GPU KV-cache 命中率下,延迟相比无缓存的同款 AOTI 配置最多降低 5.93x,三层模型为 4.47x。

匹配字段标题、摘要、正文