联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12~28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。
联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12 28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6 20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。
匹配字段标题
联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12~28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。
匹配字段标题
2026年10月23日,MiniMax宣布与Inferact建立合作,共同推进MiniMax模型的生产推理。MiniMax表示,相关工程改进已回馈至vLLM项目,并感谢Inferact团队从第一天起就在生产环境中支持M3.1 Flash。目前该合作由MiniMax官方发布,尚无后续进展披露。
匹配字段标题
2026年10月23日,MiniMax宣布与Inferact建立合作,共同推进MiniMax模型的生产推理。MiniMax表示,相关工程改进已回馈至vLLM项目,并感谢Inferact团队从第一天起就在生产环境中支持M3.1 Flash。目前该合作由MiniMax官方发布,尚无后续进展披露。
匹配字段标题
MiniMax就SGLang将MiniMax H3纳入SGLang-TorchTPU的TPU支持列表作出回应,发表感谢,并表示期待更多围绕高效视频推理的开源工作。SGLang称,SGLang-TorchTPU由SGLang与Google TPU团队、Meta PyTorch团队共同打造,已用于Meta的生产推理,支持模型包括Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash和MiniMax H3。目前尚无后续发展事实。
匹配字段标题
MiniMax就SGLang将MiniMax H3纳入SGLang-TorchTPU的TPU支持列表作出回应,发表感谢,并表示期待更多围绕高效视频推理的开源工作。SGLang称,SGLang-TorchTPU由SGLang与Google TPU团队、Meta PyTorch团队共同打造,已用于Meta的生产推理,支持模型包括Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash和MiniMax H3。目前尚无后续发展事实。
匹配字段标题
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。
匹配字段标题
2026年10月20日,Zyphra发布第二代推理优化ZOE,将其加入ZOE推理优化序列。据Zyphra Research公布的信息,在AMD Instinct MI355X上,GLM-5.3在512K上下文下的首token延迟(TTFT)从178.8秒降至64.6秒,约2.8倍;90%前缀缓存命中时从42.3秒降至11.8秒,约3.6倍。其CSA top-K选择HIP kernel让DeepSeek-V4-Pro在1M上下文下单用户解码吞吐从43.5提升到61.1 tokens/s,约1.40倍。GLM-5.3的AMD MXFP4量化把模型从756 GB压到410 GB,AIME25等基准分数与FP8相差3分以内。目前该发布为唯一有证据的发展,尚无后续进展。
匹配字段标题
Google 发布 vLLM与SGLang的TPU原生PyTorch后端推理引擎
English translation is being prepared.
匹配字段标题
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
匹配字段标题
IBM Corp. and several other contributors to the open-source llm-d project 发布 version 1.0 of their distributed artificial intelligence inference framework
English translation is being prepared.
匹配字段标题
Rohan Paul 提出判断 投机解码组件是当前最有用的推理工作方向之一
English translation is being prepared.
匹配字段标题
Amazon Bedrock 的跨区域推理(CRIS)现已支持从加拿大(中部)和加拿大西部(卡尔加里)区域访问 OpenAI GPT 模型。据 AWS Machine Learning 2026年10月21日发布的信息,可访问的模型包括 GPT-5.6(Sol、Terra、Luna)、GPT-6(Astra、Sol、Luna)和 GPT-6.1 Sol。这些模型支持 100 万 token 上下文窗口、推理模式、工具调用和提示词缓存,可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。推理在北美境内处理,提供 US geographic(us.)和 Global(global.)两类推理配置文件。目前尚无后续发展事实。
匹配字段标题
Amazon Bedrock 上线 OpenAI GPT-5.6、GPT-6和GPT-6.1模型的跨区域推理
English translation is being prepared.
匹配字段标题
Aditya Agarwal 提出一项类比判断,认为 AI 推理的演进路径与 CPU 架构的发展历史颇为相似。他给出的对应关系是:推理时扩展、子代理、智能体集群三个阶段,分别对应 CPU 线程、多核 CPU、多节点分布式系统。他同时感叹“历史总是惊人地相似”。该判断于 2026 年 10 月 21 日发布,目前没有后续发展事实。
匹配字段标题
Aditya Agarwal 提出类比判断 推理时扩展→子代理→智能体集群的演进与CPU线程→多核CPU→多节点分布式系统的演进相似
English translation is being prepared.
匹配字段标题
Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。
匹配字段标题
2026年10月20日,Zyphra发布第二代推理优化ZOE,将其加入ZOE推理优化序列。据Zyphra Research公布的信息,在AMD Instinct MI355X上,GLM-5.3在512K上下文下的首token延迟(TTFT)从178.8秒降至64.6秒,约2.8倍;90%前缀缓存命中时从42.3秒降至11.8秒,约3.6倍。其CSA top-K选择HIP kernel让DeepSeek-V4-Pro在1M上下文下单用户解码吞吐从43.5提升到61.1 tokens/s,约1.40倍。GLM-5.3的AMD MXFP4量化把模型从756 GB压到410 GB,AIME25等基准分数与FP8相差3分以内。目前该发布为唯一有证据的发展,尚无后续进展。
匹配字段标题