←事件详情

热点事件

vLLM首日适配DeepSeek新模型

1 篇正式报道1 条事件动态更新于 9月29日 08:00

先了解这件事

AI 综述

2025年9月29日,vLLM宣布为DeepSeek-V3.2-Exp提供首日支持,并实现面向长上下文任务的DeepSeek稀疏注意力机制。该模型可在B200和GB200上运行,支持FP8 KV缓存,每个新查询token由索引器选择前2048个token。目前仅支持64的块大小,可使用16张H100、8张H200或8张B200部署。

AI 根据公开报道生成

最新进展 · 正式报道

vLLM 支持 DeepSeek-V3.2-Exp:实现细粒度稀疏注意力

事件进展

1 个已确认进展

  1. vLLM支持DeepSeek-V3.2-Exp

    来源:vLLM 官方博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

9月29日

  1. vLLM 官方博客一手

    vLLM 支持 DeepSeek-V3.2-Exp:实现细粒度稀疏注意力

    vLLM 为 DeepSeek-V3.2-Exp 提供 Day 0 支持,实现面向长上下文任务的 DeepSeek Sparse Attention,并可在 B200 和 GB200 上运行。模型支持 FP8 KV cache,每个新查询 token 通过索引器选择 top 2048 tokens;当前仅支持 block size 64,可用 16×H100、8×H200 或 8×B200 部署。

关联事件

  1. 相关事件蚂蚁百灵开源 Ling-3.1-flash 模型
  2. 相关事件Ollama 新增启用或禁用思考能力
  3. 相关事件Modal 免费端点升级为 GLM-5.1
  4. 相关事件LMSYS 将 Elastic EP 集成进 SGLang 框架