←事件详情

热点事件

vLLM推进开放治理与性能优化

1 篇正式报道1 条事件动态更新于 7月25日 08:00

先了解这件事

AI 综述

2024年7月25日,vLLM宣布启动加入LF AI & Data Foundation的孵化流程,推进项目开放治理。项目同时将推理服务性能列为首要任务,公布公开性能追踪与可复现基准;当前已集成FlashAttention2、PagedAttention和FlashInfer,并计划继续优化调度器、API前端及数据处理开销。

AI 根据公开报道生成

最新进展 · 正式报道

vLLM 启动开放治理进程并公布性能优化路线图

事件进展

1 个已确认进展

  1. vLLM启动LF AI孵化流程

    来源:vLLM 官方博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

7月25日

  1. vLLM 官方博客一手

    vLLM 启动开放治理进程并公布性能优化路线图

    vLLM 已启动加入 LF AI & Data Foundation 的孵化流程,并将性能列为首要任务。项目公布了公开性能追踪与可复现基准,已集成 FlashAttention2、PagedAttention 和 FlashInfer,并计划优化调度器、API 前端及数据处理开销。

关联事件

  1. 相关事件Meta发布开放权重模型Muse Spark Open
  2. 相关事件Amazon推出TorchNeuron开源工具包
  3. 相关事件Google开源TorchTPU原生PyTorch栈
  4. 相关事件Meta开源Muse设备开发代码与SDK