先了解这件事
AI 综述
2025年2月24日,vLLM宣布自v0.7.3起在AMD ROCm平台支持PTPC-FP8量化,Hugging Face模型无需预量化即可通过“--quantization ptpc_fp8”运行。MI300X测试显示,其吞吐量为逐张量FP8的1.01倍;Llama-3.1-8B-Instruct困惑度较BF16下降0.86%,Llama-3.1-70B-Instruct在GSM8K上取得87.3%的strict-match准确率。融合FP8逐行缩放GEMM操作相较朴素实现最高加速2.5倍。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 在 AMD ROCm 上支持 PTPC-FP8 量化事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月24日
vLLM 官方博客一手
vLLM 在 AMD ROCm 上支持 PTPC-FP8 量化
vLLM v0.7.3+ 在 AMD ROCm 上支持 PTPC-FP8 量化，无需预量化即可通过 `--quantization ptpc_fp8` 运行 Hugging Face 模型。MI300X 测试中，其吞吐量较逐张量 FP8 为 1.01x，Llama-3.1-8B-Instruct 困惑度较 BF16 下降 0.86%，Llama-3.1-70B-Instruct 在 GSM8K 上取得 87.3% strict-match 准确率。融合 FP8 rowwise scaled GEMM 操作相较朴素实现最高带来 2.5× 加速。