搜索“推理”

Raschka梳理推理时扩展方法

Sebastian Raschka 梳理 LLM推理时扩展方法分类

查看事件：推理时扩展方法分类与实验进展

Liquid AI发布端侧推理模型LFM2.5-1.2B-T

2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

vLLM与英伟达优化Blackwell推理

2025年10月9日,vLLM与英伟达公布针对Blackwell架构的大语言模型推理优化及基准测试结果。双方通过一百多个拉取请求,改进注意力、GEMM、MoE内核、图融合和异步调度,并加入自动量化后端选择与FlashInfer自动调优。在相近延迟下,gpt-oss 120B和Llama 3.3 70B的吞吐量较上一代Hopper最高提升约4倍。SemiAnalysis InferenceMAX每日更新测试结果,按不同输入输出长度及Pareto前沿比较吞吐量与响应速度。

OpenAI推理模型攻克ICPC全题

2025年9月18日披露,OpenAI的推理模型参加2025年国际大学生程序设计竞赛世界总决赛,并在约5小时内解出全部12道题,最佳人类队伍解出11道。该模型族此前还在AtCoder Heuristics World Finals获得第二名,并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌。团队下一步将研究更开放、时间跨度更长的问题,以及长期运行模型的安全与对齐。

vLLM发布语义推理路由层

2025年9月11日,vLLM推出开源意图感知推理路由层Semantic Router,可依据查询复杂度选择快速路径或思维链推理模式。官方试验显示,该设计使准确率提高约10%,延迟和token用量均减少约50%,并支持通过Kubernetes和Envoy部署。其v0.1路线图还包括语义缓存、多因素路由、性能测试和路由策略可视化。

vLLM详解高吞吐推理架构

2025年9月5日,vLLM官方博客发布技术解析,系统介绍vLLM V1从单GPU离线推理扩展至多GPU、多节点异步服务的架构与机制。文章涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、预填充与解码分离,以及分布式请求链路,并说明如何使用vllm bench衡量延迟和吞吐量。该分析基于2025年8月9日的commit 42172ad。

vLLM深化编译优化推理

2025年8月20日,vLLM 官方介绍了 torch.compile 的工作原理及其与 vLLM 的集成方式。该方案结合编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理,并已在 vLLM V1 的在线与离线推理中默认启用。部分融合优化最高可带来15%的性能提升。后续方向包括缩短启动时间、采用更稳定的 API,以及探索与 MPK、Mirage 编译器的集成。

百川智能推出医疗推理模型

2025年8月11日,百川智能发布医疗增强推理模型Baichuan-M2。百川智能称,该模型在HealthBench评测中超过包括gpt-oss-120b在内的所有开源模型。目前,Baichuan-M2已开放在线试用。

Liquid AI公布小模型数学推理训练方法

2025年6月24日,Liquid AI 公布其小模型数学推理训练方法。该方法基于 1.3B 参数的 LFM 模型,使用约 4.5M 样本进行监督微调,并采用短程强化学习,训练出 LFM-1.3B-Math。据其介绍,该模型在有限响应预算下具备简洁数学推理能力,且无需数学专用预训练,适合内存和生成速度受限的边缘设备部署。目前进展为方法已公开,模型定位面向边缘端部署。

Prime Intellect开源分布式推理代码库

2025年4月28日,Prime Intellect发布分布式推理栈预览,并开源PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个代码库,目标是让消费级GPU通过公网连接运行推理。文章指出,流水线并行通信需求最低,适合分布式环境,但同步流水线会因100ms级跨洲延迟形成吞吐上限,而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理,正把组件接入自家栈,用于SYNTHETIC-2合成数据运行。

Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking

Liquid AI 发布 LFM2.5-1.2B-Thinking

查看事件：Liquid AI发布端侧推理模型LFM2.5-1.2B-T

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

2025 年 11 月 19 日,Modal 官方工程博客发布文章称,Reducto 已将 30+ 模型的推理工作负载迁移至 Modal,迁移后 P90 延迟降低 3 倍。同一来源还提到,GPU 内存快照把冷启动从约 70 秒缩短到约 12 秒,降幅约 83%。在一次 10 万页/分钟吞吐测试中,其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收,并帮助其拿下大型企业客户。目前该故事仅有这一条事实证据,尚无后续发展事实。

Zyphra 推出数学与代码推理模型 ZR1-1.5B

2025年4月10日,Zyphra 推出面向数学与代码的小型推理模型 ZR1-1.5B。据 Zyphra Research 发布的信息,该模型基于 DeepSeek-R1-Distill-Qwen-1.5B,用强化学习在代码与数学题上训练。在 LCB_Generation 上,它与 Claude3-Opus、Gemma2-27B 持平;在竞赛数学上超过 Qwen2.5-72B。其推理 token 比 R1-Distill-1.5B 少 60%,比 DeepScaleR 少 53.5%。截断到 2048 token 时,数学评测平均 pass@1 达 40.39%,高于 Qwen-2.5-Math-7B-Instruct 的 37.01%。目前尚无后续发展事实。

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

Reducto 迁移推理工作负载 30+ 模型的推理工作负载至 Modal，P90 延迟降低 3 倍

查看事件：Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

vLLM优化Blackwell推理性能

vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能

查看事件：vLLM与英伟达优化Blackwell推理

OpenAI推理模型完成ICPC全部题目

OpenAI推理模型 解决 2025年ICPC全部12道题目

查看事件：OpenAI推理模型攻克ICPC全题

vLLM解析高吞吐推理系统架构

vLLM 发布技术解析 高吞吐LLM推理系统的核心架构与扩展机制

查看事件：vLLM详解高吞吐推理架构

Liquid AI公布小模型推理训练方法

Liquid AI 公布 LFM-1.3B-Math 小模型数学推理训练方法

查看事件：Liquid AI公布小模型数学推理训练方法

Prime Intellect开源分布式推理代码库

Prime Intellect 开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个分布式推理研究代码库

查看事件：Prime Intellect开源分布式推理代码库