Prime Intellect 发布分布式推理栈预览，并开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE 三个代码库，目标是让消费级 GPU 通过公网连接运行推理。文章指出流水线并行通信需求最低，适合分布式环境，但同步流水线会因 100ms 级跨洲延迟形成吞吐上限，而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理，正把组件接入自家栈，用于 SYNTHETIC-2 合成数据运行。
匹配字段标题
Zyphra 发布 ZR1-1.5B，一个基于 DeepSeek-R1-Distill-Qwen-1.5B、用强化学习在代码与数学题上训练的小型推理模型。它在 LCB_Generation 上与 Claude3-Opus、Gemma2-27B 持平，在竞赛数学上超过 Qwen2.5-72B，且推理 token 比 R1-Distill-1.5B 少 60%、比 DeepScaleR 少 53.5%。截断到 2048 token 时，其数学评测平均 pass@1 达 40.39%，高于 Qwen-2.5-Math-7B-Instruct 的 37.01%。
匹配字段标题
METR 发文主张 AI 系统的推理过程应当既「可读」（人类能读懂）又「忠实」（真实反映模型的决策过程），认为这有助于发现 AI 错误、检测隐藏议程、监控欺骗行为和识别能力造假。文章指出 OpenAI、Anthropic、xAI、Google DeepMind 和 DeepSeek 都在过去四个月里发布了推理模型，其当前产出的推理已具价值、值得保留。
匹配字段标题
vLLM 宣布开源由字节跳动开发的 AIBrix，为 Kubernetes 上的大规模 LLM 推理提供部署、管理与扩展能力。初始版本支持 LoRA 管理、LLM 路由与自动扩缩容、分布式推理和 KV cache、异构 GPU 服务及硬件故障检测，并已用于字节跳动多个业务场景。
匹配字段标题
vLLM 介绍了如何结合张量并行和流水线并行，在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连，流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后，KV cache block 增加 13.9x，token 吞吐量提升 3.9x。
匹配字段标题
antirez 撰文指出，DeepSeek R1 是纯 decoder-only 自回归模型，仍是下一 token 预测，模型内部没有任何显式符号推理或表示。R1 Zero 无需任何监督微调即可获得类似推理能力，仅靠生成思维链并用强化学习优化奖励函数；S1 论文显示少至 1000 个样本就能让模型构建复杂推理步骤。他认为推理模型本质上仍是大语言模型，曾断言 LLM 是死路的人错了。
匹配字段标题
Llama Stack 引入两种 vLLM 推理 Provider，分别通过 OpenAI 兼容服务器远程调用，以及与 Llama Stack 服务器并行运行。官方以 Llama-3.2-1B-Instruct 演示本地容器和 Kubernetes 部署，并通过 Llama Stack Client 测试推理请求。
匹配字段标题
Noam Shazeer 表示，团队将 AIME、GPQA 和 MMMU 的评测成绩分别提升至 73.3%、74.2% 和 75.4%。团队还启用了 1M 上下文窗口以支持更复杂的研究任务，并允许开发者开启代码执行功能。
匹配字段标题
Prime Intellect 通过 QwQ-32B 生成并校验合成推理轨迹，微调 Qwen-7B-Math 后再用 PRIME-RL 做在线强化学习，训练出 7B 参数数学推理模型 INTELLECT-MATH，其早期 checkpoint 以 47 个 RL step 达到 Eurus-2-7B-PRIME 用 592 步的效果，训练时间缩短 10 倍。团队同时开源代码、权重和 NuminaMath-QwQ-CoT-5M 数据集，该数据集包含 86 万道数学题上的 500 万条经正确性校验的推理轨迹。文章还提出在推理时计算范式下，RL 中大量前向计算会降低通信需求，使全球分布式训练成为可行路径，并计划今年训练 o3 的完全开源复现。
匹配字段标题
vLLM 与 LMCache 团队发布开源参考实现 vLLM production-stack，将单节点 vLLM 扩展为可在 GPU 集群运行的完整推理服务。它支持 KV cache 共享与存储、前缀感知路由、TTFT 和 TBT 等指标观测及自动扩缩容，并可通过 Helm chart 部署到 Kubernetes。多轮问答基准结果显示，该方案在首个 token 延迟和 token 间延迟方面优于 vLLM + KServe 与一个商业端点服务。
匹配字段标题
The Gradient 刊文探讨神经算法推理，即用深度神经网络捕捉最短路径、排序等经典算法计算。文章指出，MIT 的《What Can Neural Networks Reason About?》证明算法对齐越好泛化越好，GNN 与动态规划天然对齐，在 DP 执行基准上优于归纳偏置较弱的架构。作者同时提醒，算法对齐并不能让人随意套用任意表达力强的 GNN，分布外表现仍是关键挑战。
匹配字段标题
vLLM 发布开源 LLM 推理与服务库，利用 PagedAttention 管理 KV cache，无需修改模型架构即可实现比 HuggingFace Transformers 最高 24x 的吞吐量。实验中其吞吐量比 TGI 最高提升 3.5x，内存浪费降至 4% 以下；LMSYS 部署后将服务所需 GPU 数量减少 50%。
匹配字段标题
Lil'Log 梳理了大型 Transformer 模型的推理优化方法，涵盖知识蒸馏、量化（PTQ 与 QAT）和剪枝。文章指出推理瓶颈主要来自显存占用与低并行性：batch size 512、上下文长度 2048 时 KV cache 总计 3TB，是模型体积的 3 倍，且注意力机制开销随输入序列长度呈平方增长。DistilBERT 在参数减少 40% 的情况下保留 BERT 97% 的下游任务性能，推理速度提升 71%。
匹配字段标题
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
2026年10月29日,Guillermo Rauch表示,Vercel与Suhail达成合作,将通过Vercel AI Gateway提供Particle的模型与推理服务。他称Particle的目标是让智能像电力一样普及和充足,双方将共同为开发者和企业实现这一目标。目前该合作仅有这一项公开表态,尚无后续进展披露。
匹配字段标题
2026年10月29日,Guillermo Rauch表示,Vercel与Suhail达成合作,将通过Vercel AI Gateway提供Particle的模型与推理服务。他称Particle的目标是让智能像电力一样普及和充足,双方将共同为开发者和企业实现这一目标。目前该合作仅有这一项公开表态,尚无后续进展披露。
匹配字段标题
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题