先了解这件事
AI 综述
2026年9月18日,NVIDIA推出AIPerf,作为GenAI-Perf的指定继任工具。据NVIDIA Developer介绍,该工具完全重写,采用多进程架构,以避免客户端在高并发LLM基准测试中成为瓶颈。AIPerf支持超过15种端点类型,以及ShareGPT和来自Mooncake、Baseten、WEKA AgentX的trace replay格式,并提供constant、Poisson、gamma等可配置到达模式。在指标方面,AIPerf报告TTFT、ITL、请求延迟和输出token吞吐量等核心指标,附带百分位细分,并在可用时通过DCGM或pynvml提供GPU遥测。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月19日
NVIDIA Developer · Generative AI一手
NVIDIA AIPerf：取代 GenAI-Perf 的大规模 LLM 推理基准测试工具
NVIDIA 发布 AIPerf，作为 GenAI-Perf 的指定继任者并完全重写，采用多进程架构避免客户端在高并发 LLM 基准测试中成为瓶颈。该工具支持超过 15 种端点类型，以及 ShareGPT 和来自 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式，并提供 constant、Poisson、gamma 等可配置到达模式。AIPerf 报告 TTFT、ITL、请求延迟和输出 token 吞吐量等核心指标，附带百分位细分，并在可用时通过 DCGM 或 pynvml 提供 GPU 遥测。