AI News

热点事件

ComfyUI v0.45.0重写LLM热路径,token生成最高提速两倍

1 篇正式报道1 条事件动态更新于 11月12日 00:56

先了解这件事

AI 综述

ComfyUI在v0.45.0版本中重写了Qwen3.x系列LLM的文本生成热路径,同一GPU上同一checkpoint的token生成速度最高提升至两倍,模型与输出质量不变。据Comfy Blog发布的信息,RTX 5090上Qwen3.5 9B从106提升到219 tokens/s,RTX 5080上从91提升到129 tokens/s;Qwen3.8 27B描述1536×1536图像在RTX 5090上从55提升到122 tokens/s。改进包括针对VRAM读取瓶颈重排权重的GEMV内核、自适应树MTP推测解码,以及新增Comfy-Kitchen attention(可用--use-ck-attention启用),在NVIDIA和AMD、Windows和Linux上均生效。目前尚无后续发展。

AI 根据公开报道生成

最新进展 · 正式报道

ComfyUI v0.45.0 将 Qwen3.x 本地文本生成提速至多两倍

事件进展

1 个已确认进展

  1. ComfyUI重写LLM文本生成热路径提升token速率

    来源:Comfy Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月12日

  1. Comfy Blog一手精选

    ComfyUI v0.45.0 将 Qwen3.x 本地文本生成提速至多两倍

    ComfyUI 在 v0.45.0 中重写了 Qwen3.x 系列 LLM 的文本生成热路径,同一 GPU 上同一 checkpoint 的 token 生成速度最高提升至两倍,模型与输出质量不变。RTX 5090 上 Qwen3.5 9B 从 106 提升到 219 tokens/s,RTX 5080 上从 91 提升到 129 tokens/s;Qwen3.8 27B 描述 1536×1536 图像在 RTX 5090 上从 55 提升到 122 tokens/s。改进包括针对 VRAM 读取瓶颈重排权重的 GEMV 内核、自适应树 MTP 推测解码,以及新增 Comfy-Kitchen attention(可用 --use-ck-attention 启用),在 NVIDIA 和 AMD、Windows 和 Linux 上均生效。

关联事件

  1. 相关事件Anthropic推出Claude Fable 5.2与Claude Mythos 5.2
  2. 相关事件百度文心发布ERNIE 5.5 Flash Preview
  3. 相关事件Google在Antigravity上线Gemini 4 Hydrogen
  4. 相关事件Unsloth称Qwen3.8-Flash-Next GGUF运行更快