先了解这件事
AI 综述
2026年9月23日,英伟达测试了TensorRT LLM在八张B200 GPU上运行DeepSeek-R1的机密计算性能。据英伟达开发者博客,机密计算通过内存加密的机密虚拟机、机密GPU和加密NVLink,让生产级AI推理运行在可信硬件上。在受控对比中,开启机密计算后保留了基线96.1%–98.2%的输出token吞吐,单token延迟(TPOT)仅增加1.2%–4.3%(并发1–16)。TensorRT LLM为此改用可分页内存、异步token回读,并以GPU %globaltimer替代CUDA events做内核自动调优。目前该测试结果由英伟达一方发布,尚无其他来源交叉印证。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月23日
NVIDIA Developer · Generative AI一手
NVIDIA 机密计算如何让 TensorRT LLM 在 Blackwell 上保持生产级推理性能
NVIDIA 机密计算（CC）通过内存加密的机密虚拟机、机密 GPU 和加密 NVLink，让生产级 AI 推理运行在可信硬件上。在 8 块 NVIDIA B200 GPU 上运行 DeepSeek-R1 的受控对比中，CC 开启后保留了基线 96.1%–98.2% 的输出 token 吞吐，单 token 延迟（TPOT）仅增加 1.2%–4.3%（并发 1–16）。TensorRT LLM 为此改用可分页内存、异步 token 回读，并以 GPU %globaltimer 替代 CUDA events 做内核自动调优。