先了解这件事
2026年9月16日,NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上完成 MLPerf Inference v6.1 Edge Agentic 基准测试。该测试运行 Qwen3.6-27B,达到 52.33 tokens/秒,用 24 分 36 秒完成全部 1,007 轮性能负载,比 llama.cpp 参考实现的 2 小时 37 分钟快 6.4 倍。据 NVIDIA 开发者博客介绍,这一结果依托 NVFP4 权重与激活量化、FP8 KV cache、基于树的多 token 预测以及跨智能体轮次的 KV cache 复用,其中约 96% 的提示词 token 由热缓存提供。相关代码位于 TensorRT Edge-LLM release/0.9.1-mlpinf 分支。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月17日
NVIDIA Developer · Generative AI一手
TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试，速度提升 6.4 倍
NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B，于 MLPerf Inference v6.1 Edge Agentic 基准测试中达到 52.33 tokens/秒，24 分 36 秒完成全部 1,007 轮性能负载，比 llama.cpp 参考实现的 2 小时 37 分钟快 6.4 倍。该结果依托 NVFP4 权重与激活量化、FP8 KV cache、基于树的多 token 预测以及跨智能体轮次的 KV cache 复用，其中约 96% 的提示词 token 由热缓存提供。相关代码位于 TensorRT Edge-LLM release/0.9.1-mlpinf 分支。