搜索“推理”

METR 发文主张 AI 推理应可读且忠实

METR 发表文章主张 AI 推理应当既可读又忠实

查看事件：METR 发文主张 AI 推理应可读且忠实

字节跳动开源大模型推理平台AIBrix

2025年2月21日,vLLM宣布在其项目下开源由字节跳动开发的AIBrix。该项目是面向Kubernetes大规模大语言模型推理的控制平面,提供部署、管理和扩展能力。初始版本支持LoRA管理、LLM路由与自动扩缩容、分布式推理和KV cache、异构GPU服务及硬件故障检测。AIBrix已应用于字节跳动多个业务场景。

vLLM解析分布式推理扩展

2025年2月17日,vLLM介绍了在多GPU或多节点环境中部署超出单卡容量大模型的分布式推理方案。该方案结合张量并行与流水线并行:张量并行能够降低延迟,但依赖高带宽互连;流水线并行的通信开销较低,更适合跨节点部署。案例显示,从TP=1扩展至TP=2后,KV cache block增加13.9倍,token吞吐量提升3.9倍。目前输入材料未提供此后的新进展。

Llama Stack接入vLLM推理

2025年1月27日,Llama Stack引入两种vLLM推理Provider:一种通过OpenAI兼容服务器进行远程调用,另一种与Llama Stack服务器并行运行。vLLM官方以Llama-3.2-1B-Instruct为例,演示了本地容器和Kubernetes部署,并使用Llama Stack Client测试推理请求。目前,该故事仍处于活跃状态。

Gemini推理模型获实验更新

2025年1月22日,Gemini 2.0 Flash Thinking 根据用户反馈获得一次实验性更新。相关信息感谢用户提出建议,但未说明此次更新包含哪些功能、带来何种具体变化,也未交代可用范围或上线安排。目前输入材料未提供更多后续进展。

模型增强推理并开放代码执行

2025年1月22日,Noam Shazeer表示,团队提升了一款未具名模型在数学、科学和多模态推理基准上的表现:AIME、GPQA和MMMU成绩分别达到73.3%、74.2%和75.4%。同日披露的新增能力还包括启用100万上下文窗口,以支持更复杂的研究任务,并允许开发者开启代码执行功能。目前输入材料未提供此后进一步更新。

vLLM推出集群级推理服务方案

2025年1月21日,vLLM团队与LMCache团队发布开源参考实现vLLM Production Stack,将单节点vLLM扩展为可在GPU集群运行的完整推理服务。该项目支持KV cache共享与存储、前缀感知路由、TTFT和TBT等指标观测以及自动扩缩容,并可通过Helm chart部署到Kubernetes。多轮问答基准结果显示,其首个token延迟和token间延迟优于vLLM与KServe组合及一个商业端点服务。

vLLM公布MI300X推理优化方案

2024年10月23日,vLLM官方博客发布在AMD MI300X上部署大语言模型的优化指南,介绍分块预填充、多步调度、前缀缓存、图捕获、KV cache和张量并行等共8项设置。其性能测试显示,在服务Llama 3.1 405B时,vLLM相较TGI的吞吐量高1.5倍、首个令牌生成时间快1.7倍;在服务Llama 3.1 70B时,吞吐量高1.8倍、首个令牌生成时间快5.1倍。目前输入材料未提供该指南发布后的新增进展。

vLLM 0.6.0提升推理性能

2024年9月5日,vLLM发布v0.6.0。与v0.5.3相比,该版本吞吐量提升1.8至2.7倍:Llama 8B吞吐量提升2.7倍、每输出令牌时间加快5倍;Llama 70B吞吐量提升1.8倍、每输出令牌时间减少2倍。优化包括拆分API服务器与推理引擎、多步批量调度、异步输出处理、对象缓存及非阻塞数据传输。目前,多步调度仍可能导致令牌间延迟波动,并在请求率较低时增加首令牌延迟。

伯克利开源高效推理库vLLM

2023年6月20日,UC Berkeley发布开源大语言模型推理与服务库vLLM。该库通过PagedAttention管理KV cache,无需修改模型架构。官方实验显示,其吞吐量最高可达HuggingFace Transformers的24倍、TGI的3.5倍,并将内存浪费降至4%以下。LMSYS部署后,提供服务所需的GPU数量减少了50%。

vLLM介绍分布式推理方案

vLLM 介绍 张量并行与流水线并行推理方案

查看事件：vLLM解析分布式推理扩展

antirez 称推理模型本质上仍是 LLM

2025年2月10日,antirez 在其原创博客撰文提出判断,认为推理模型本质上仍是大语言模型。他指出,DeepSeek R1 是纯 decoder-only 自回归模型,仍是下一 token 预测,模型内部没有任何显式符号推理或表示。他提到,R1 Zero 无需任何监督微调即可获得类似推理能力,仅靠生成思维链并用强化学习优化奖励函数;S1 论文显示少至 1000 个样本就能让模型构建复杂推理步骤。基于这些观察,antirez 认为曾断言 LLM 是死路的人错了。目前该判断仅有其本人博客这一来源,尚无后续发展事实。

antirez 称推理模型本质上仍是 LLM

antirez 提出判断 推理模型本质上仍是 LLM

查看事件：antirez 称推理模型本质上仍是 LLM

Llama Stack接入vLLM推理

vLLM 为Llama Stack提供 远程与内联推理Provider

查看事件：Llama Stack接入vLLM推理

模型提升推理并开放代码执行

未具名模型 提升性能并新增能力 数学、科学及多模态推理性能、百万上下文窗口与代码执行

查看事件：模型增强推理并开放代码执行

Gemini推理模型获实验更新

Gemini 2.0 Flash Thinking 获得实验性更新 基于用户反馈的功能

查看事件：Gemini推理模型获实验更新

vLLM发布生产级推理栈

vLLM团队与LMCache团队 发布 开源项目vLLM Production Stack

查看事件：vLLM推出集群级推理服务方案