先了解这件事
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
AI 根据公开报道生成
最新动态 · 相关讨论
Nathan Lambert 参与了这场讨论事件进展
2 个已确认进展
- 来源：邵猛
- 来源：Latent Space
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月24日
10月23日
36氪 · AI
SemiAnalysis 实测称 Anthropic 对 Claude 订阅额度做 A/B 灰测
SemiAnalysis 用两个相同的 200 美元 Max 20x 账号跑 Opus 5.5 的 Agent 工作负载，发现其中一个账号的 5 小时窗口额度为 20.76 亿 Token，比另一个账号的 17.4 亿 Token 高 19%，但每周总额度从 65.79 亿 Token 降到 52.66 亿 Token，缩水 20%。Claude Code 技术人员 Lydia Hallie 表示额度没有调整，建议用户跑反馈命令提交 ID 排查，核心开发者 Boris Cherny 称团队正在紧急排查。文章还提到 OpenAI 此前将 200 美元 Pro 套餐额度腰斩并推出 500 美元档位，以及 DeepSeek 开源推理框架 DeepInfer、单集群日吞吐 155 万亿 Token 的部署实践。
凤凰科技
StartLux 开源决策模型推理引擎 Prism，单卡推理最高快 5.3 倍
StartLux 原点星辉开源自研推理引擎 Prism，称其为首款专门面向决策模型打造并对外开源的推理引擎。在单张 H200 上，Prism 处理单个短问题比原 vLLM 0.31 方案快 2.8 倍，同一份材料连问三个问题最快提速 5.3 倍。团队称其通过收敛输出层计算范围、森林式计算、int8 整数运算和混排调度四项优化实现提速，在 231 题跨引擎对比中单题平均延迟 41 毫秒。
新浪科技
周鸿祎谈DeepSeek开源DeepInfer：AI时代企业要有自己的“主权AI
周鸿祎就DeepSeek全面开源内部AI推理框架DeepInfer表示，这体现技术自信与开源普惠，更关乎AI时代的技术主权。DeepInfer通过优化调度让CPU与显卡同时工作，减少等待和重复计算。360已打造一套主权AI操作系统，覆盖算力调度、主权大模型、企业AI知识库、智能体工厂、Agent Teams和安全治理，已在部分政企单位投用。
澎湃新闻
周鸿祎谈DeepSeek开源：技术自信，AI时代需要“主权AI
周鸿祎就DeepSeek全面开源内部AI推理框架DeepInfer表示，这体现技术自信与开源普惠，更关乎AI时代的技术主权。他透露360已打造一套主权AI操作系统，覆盖算力调度、主权大模型、企业AI知识库、智能体工厂、Agent Teams和安全治理，已在部分政企单位投用。麦肯锡2026年报告测算，到2030年全球30%至40%的AI支出可能受主权要求影响，对应市场规模约5000亿至6000亿美元。
财新
DeepSeek 开源推理框架 DeepInfer，兼容英伟达 GPU 与华为昇腾 950
DeepSeek 于 10 月 20 日宣布开源内部大规模云服务推理框架 DeepInfer，目标是提高模型推理效率、降低部署成本，兼容英伟达 GPU 和华为昇腾 950 芯片。该框架已用于 DeepSeek V4.1 Flash 模型的线上服务，单集群日均处理 155 万亿 Token，按谷时电价计算每 GPU 小时收入约 38 美元。本期 GPT 周报还提到 Anthropic 推出个人 AI 助手 Claude Duet、MiniMax 港股破发等消息。
华尔街见闻
高盛：AI资本开支退潮相当于债市的另类量化宽松
高盛Rich Privorotsky在晨报中提出，超大规模云计算企业发债规模已可与美国国债相提并论，AI资本开支收缩会减少债券供给压力，效果近似量化宽松。多家科技巨头财报引发对AI资本支出可持续性的质疑，2年期至10年期美债收益率单日降幅均超15个基点，10年期收益率跌破5%，费城半导体指数跌超7%。特斯拉将全年资本支出指引从逾250亿美元下调至约200亿美元，Meta将全年资本支出指引下限上调至1350亿美元，DeepSeek开源推理模型DeepInfer宣称可在现有算力基础上大幅提升推理效率。
10月22日
cnBeta
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 宣布将内部核心推理框架 DeepInfer 全面开源，把支撑线上大规模服务的底层推理引擎和部署方案对外公开。官方称此举意在分享大规模推理优化经验，帮助开发者与企业提升吞吐、降低响应延迟，搭建私有化或公有云 AI 服务。此前 DeepSeek 已陆续开源多款大模型、TileLang 编译工具链及配套推理算子库。另据报道，其公众号封面曾把“普惠”误写为“惠普”，目前封面图已修改回“走向真正普惠的未来”。
凤凰科技
DeepSeek 公众号封面把“普惠”误写成“惠普”，此前已开源推理框架 DeepInfer
DeepSeek 公众号文章《DeepSeek开源推理框架：走向真正普惠的未来》的封面把“普惠”错打成“惠普”，与电脑品牌惠普（HP）撞名，目前封面已改回“走向真正普惠的未来”。该文宣布 DeepSeek 将内部核心推理框架 DeepInfer 全面开源，把支撑线上大规模服务的底层推理引擎和部署方案公开给社区，帮助开发者与企业提升吞吐、降低延迟，搭建私有化或公有云 AI 服务。
华尔街见闻精选
DeepSeek 开源生产级推理框架 DeepInfer
DeepSeek 于 10 月 20 日宣布开源内部生产级推理框架 DeepInfer，整合分布式推理、投机解码等技术，已兼容英伟达 SM100 GPU 和华为昇腾 950 NPU。彭博社指出，推理技术通常被 AI 公司视为核心竞争力而较少公开，此次开源让外界得以了解 DeepSeek 如何压低运行成本。文档同时说明，构建完整服务还需 KV 缓存系统、Prefill/Decode 解耦和数据并行副本间的负载均衡，这些未完全包含在本次开源项目中。
36氪 · AI精选
DeepSeek 开源推理框架 DeepInfer 及 token 编解码组件
DeepSeek 于 10 月 20 日下午以 Apache 2.0 许可证开源内部推理框架 DeepInfer 及配套 token 编解码组件 deepseek-recipe，当前支持 DeepSeek-V4.1-Flash。官方披露单个集群每天服务吞吐量达 155 万亿 token，按 API 谷价算每卡每小时收入 38 美元，有人据此按每张 B300 每小时 7 美元租金算出毛利率 82%。DeepInfer 支持英伟达 SM100 GPU 和华为昇腾 950 NPU，整合推测解码、异步调度等能力，最初主要基于 vLLM 开发；官方称 Agent 流量 KV Cache 保留 3 天、聊天流量保留 7 天。
10月21日
t3n
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
AI Business
DeepSeek 开源推理框架 DeepInfer，支持英伟达与华为芯片
DeepSeek 开源了自研推理框架 DeepInfer，可在 Nvidia SM100 GPU 和华为昇腾 950 NPU 上做离线推理。该框架是 DeepSeek V4.1 Flash 的优化层，能让模型在受支持芯片上更快生成响应并降低算力成本。分析人士认为，这有助于使用 DeepSeek 的企业减少推理所需 GPU 数量，同时 DeepSeek 仍依赖 Nvidia 芯片也说明华为在部分领域仍有差距。
36氪 · AI
Anthropic冲刺IPO：营收163亿美元、净亏损807亿美元，现金约202.8亿美元
36氪Tech商业栏目分析Anthropic的IPO压力：2026年上半年营收约163亿美元、净亏损约807亿美元，其中约720亿美元来自可转换票据等融资工具的公允价值变动，属非现金计提；截至2025年底现金及短期投资约202.8亿美元。文章指出其已披露算力相关承诺合计超6000亿美元，2026年上半年算力及基础设施支出接近90亿美元，并称公司已在2026年6月保密提交S-1、目标11月挂牌。作者认为拥有自有现金牛的谷歌与走极致工程降本路线的DeepSeek更具持久力，而Anthropic与OpenAI处于中间态。
X.PIN精选
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
cnBeta
DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
智东西
OpenAI API 新增 12 小时缓存保留选项，Codex 和 Work 登录用户缓存永久保留
OpenAI 模型的 API 服务将提供 12 小时缓存保留选项，Codex 和 Work 登录用户的缓存将永久保留。API 侧该选项对 GPT-5.6 及以上版本模型生效，默认保留 30 分钟；选择 12 小时后，缓存写入价格从输入 Token 价格的 1.25 倍升至 2.5 倍，缓存读取价格不变。OpenAI 文档说明，12 小时规定的是缓存读取计费资格对应的最短生命周期，不保证每次请求都能复用已存储的 KV 张量，也不保证降低延迟。
Latent Space精选
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
Latent Space
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
邵猛
DeepSeek 在知乎发布 DeepInfer 推理框架技术报告
DeepSeek 开源推理框架 DeepInfer 对应的技术报告已在知乎发布，公开了 Prefill 与 Decode 的硬件选型、KVCache 目标等内部细节。报告还给出单一集群的实际数据：服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。
电子技术应用
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe，后者与官方 API 处理逻辑完整对齐。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。DeepSeek 表示已基于该框架实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务，未来新模型的推理代码及后续优化也将持续更新。
财新
T早报｜国家数据集团成立；美国禁止政府机构使用DeepSeek；宇树科技称人形机器人行业尚处商业化早期
DeepSeek 于10月20日宣布将内部推理框架 DeepInfer 全面开源，该框架集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，兼容英伟达与华为昇腾平台。同步开源的生产级 Token 编解码组件 deepseek-recipe 与 DeepSeek 官方 API 处理逻辑完整对齐。同日早报还提到国家数据集团在河北雄安新区成立，美国土安全部禁止联邦文职行政机构使用 DeepSeek 及相关产品。
SiliconANGLE
DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
The Decoder
DeepSeek 开源推理框架 DeepInfer，支撑 V4.1-Flash 快速低成本推理
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。
Interconnects
开源模型动态第25期：DeepSeek V4.1 Flash 1017 与中美新监管动向
Interconnects 开源模型动态第25期梳理了近期开源模型与监管进展。中国商务部（MOFCOM）发布政策提案，拟要求前沿 AI 模型等技术的国际共享需事先获得政府批准，文中提到开源技术将走自动审批通道；美国国土安全部（DHS）则发布针对 DeepSeek 的指令，限制其作为供应商参与联邦民用采购。模型方面，DeepSeek 发布 DeepSeek-V4.1-Flash-1017（552B-A16B，支持图像输入，MIT 许可），并公开了内部推理栈 DeepInfer；小米 MiMo-V2.6-Pro-RL、NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4、Reflection 的 Beam-1.0-501B-A23B 等也同期发布。
新京报
DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。
10月20日
The New Stack精选
DeepSeek 开源其 API 背后的推理引擎 DeepInfer，同时支持 Nvidia 与华为昇腾
DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
MarkTechPost
DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
36氪 · AI精选
DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe
DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
Tianyi Cui
DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件
DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。
Rohan Paul
DeepSeek 以 Apache 2.0 开源推理引擎 DeepInfer
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
Thomas Wolf
Thomas Wolf 盘点 DeepSeek 开源项目，DeepInfer 推理引擎以 Apache 2.0 开放
Hugging Face 的 Thomas Wolf 转发 DeepSeek 开源推理框架 DeepInfer 的消息，并盘点其此前开源的项目：FlashMLA 在 H800 上实现 580 TFLOPS 注意力、DeepEP 负责 MoE 通信、DeepGEMM 实现 1350+ FP8 TFLOPS 矩阵乘、3FS 是自建文件系统。DeepSeek 称 DeepInfer 支撑 DeepSeek-V4.1-Flash 的大规模高吞吐低延迟推理，此次以 Apache 2.0 协议开放生产栈，目标是帮助社区降低算力与能耗成本。
Nathan Lambert
DeepSeek 开源推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗，让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式，对社区是好事，并提到时机微妙，因为政府刚在联邦机构禁用 DeepSeek。
阿易 AI Notes
DeepSeek 开源推理框架 DeepInfer 与编解码组件
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，后者把官方线上 API 的 Token 编解码逻辑原样公开。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，官方称后续新模型的推理代码也会持续合入该仓库。据仓库 README，此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内，硬件仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，模型仅限 V4.1-Flash。
澎湃新闻精选
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布全面开源内部推理框架 DeepInfer，集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。技术报告披露，基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务，单一集群服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐。
智东西精选
DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
IT之家·人工智能
DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐；DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
马东锡 NLP
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
邵猛精选
DeepSeek 开源高性能推理框架 DeepInfer
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
DeepSeek
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担。
Tianyi Cui精选
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB，并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
本事件热度走势
- 当前
- 7
- 区间峰值
- 183 10月21日 09:00
- 近 24 小时变化
- -77%
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。