先了解这件事
AI 综述
2024年7月25日,vLLM宣布启动加入LF AI & Data Foundation的孵化流程,推进项目开放治理。项目同时将推理服务性能列为首要任务,公布公开性能追踪与可复现基准;当前已集成FlashAttention2、PagedAttention和FlashInfer,并计划继续优化调度器、API前端及数据处理开销。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 启动开放治理进程并公布性能优化路线图事件进展
1 个已确认进展
- 来源:vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
7月25日
vLLM 官方博客一手
vLLM 启动开放治理进程并公布性能优化路线图
vLLM 已启动加入 LF AI & Data Foundation 的孵化流程,并将性能列为首要任务。项目公布了公开性能追踪与可复现基准,已集成 FlashAttention2、PagedAttention 和 FlashInfer,并计划优化调度器、API 前端及数据处理开销。