先了解这件事
AI 综述
2025年8月19日,vLLM宣布其最新主分支已支持GLM-4.5与GLM-4.5V系列,可在英伟达Blackwell和Hopper GPU上加速推理。两类模型均提供FP8和BF16版本,并可使用相同命令运行。使用8张H100时若显存不足,可增加16GB CPU卸载;遇到flash_infer问题可暂时切换至XFORMERS后端。GLM-4.5V还支持依据复杂描述逐步推理,并输出目标对象的边界框坐标。
AI 根据公开报道生成
最新进展 · 正式报道
如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月19日
vLLM 官方博客一手
如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。