DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU（TPU 7x）上跑 Qwen 3.5 时，高并发配置下每百万 token 成本为 2.01 美分，并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型，SGLang-TorchTPU 已在 Meta 生产环境使用。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件
DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。
匹配字段标题、摘要
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 宣布开源内部推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模运行，主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担，并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。
匹配字段标题、摘要
Thomas Wolf 盘点 DeepSeek 开源项目，DeepInfer 推理引擎以 Apache 2.0 开放
Hugging Face 的 Thomas Wolf 转发 DeepSeek 开源推理框架 DeepInfer 的消息，并盘点其此前开源的项目：FlashMLA 在 H800 上实现 580 TFLOPS 注意力、DeepEP 负责 MoE 通信、DeepGEMM 实现 1350+ FP8 TFLOPS 矩阵乘、3FS 是自建文件系统。DeepSeek 称 DeepInfer 支撑 DeepSeek-V4.1-Flash 的大规模高吞吐低延迟推理，此次以 Apache 2.0 协议开放生产栈，目标是帮助社区降低算力与能耗成本。
匹配字段标题、摘要
DeepSeek 以 Apache 2.0 开源推理引擎 DeepInfer
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段标题、摘要
DeepSeek 开源推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗，让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式，对社区是好事，并提到时机微妙，因为政府刚在联邦机构禁用 DeepSeek。
匹配字段标题、摘要
DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe
DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
匹配字段标题、摘要、正文
llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
匹配字段标题、摘要
IBM 等维护方发布 llm-d 1.0，为自建模型推理增加运维控制
IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。
匹配字段标题、摘要
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布全面开源内部推理框架 DeepInfer，集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。技术报告披露，基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务，单一集群服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐。
匹配字段标题、摘要、正文
重新思考推理模型的置信度
Cohere 提出 CALIBER 方法，训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上，7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028，降幅 52.5%，AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型，并在 1,000 道留出题及三个问答基准上评测。
匹配字段标题、摘要
DeepSeek 开源推理框架 DeepInfer 与编解码组件
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，后者把官方线上 API 的 Token 编解码逻辑原样公开。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，官方称后续新模型的推理代码也会持续合入该仓库。据仓库 README，此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内，硬件仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，模型仅限 V4.1-Flash。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
匹配字段标题、摘要
DeepSeek 开源高性能推理框架 DeepInfer
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB，并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
匹配字段标题、摘要
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担。
匹配字段标题、摘要
蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段标题、摘要
MiniMax 发布 M3.1 Flash 推理模型，每任务成本约 0.22 美元
MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。该模型在 Humanity's Last Exam 上得 48%，CritPt 得 22%，AA-Omniscience 事实准确率 56%，但幻觉率达 93%。它支持 100 万 token 上下文和文本、图像输入，API 定价为每百万输入 token 0.15 美元、输出 0.60 美元，计划 10 月 23 日开放权重。
匹配字段标题、摘要
Mistral AI 发布 Timestral 时间序列基础模型，最大 209M 参数可在 CPU 推理
Mistral AI 发布首个时间序列基础模型系列 Timestral，包含 5M、28M、123M、209M 四个零样本预测模型，支持最长 32,768 个时间步的上下文。据 Mistral 自测，209M 版本在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第一，fev-bench SQL skill 得分为 50.39，高于 TimesFM-3 的 48.99。模型无需 GPU，在 8 线程服务器 CPU 上 209M 版本单次预测耗时 140 ms，权重以 Modified MIT 许可开放，可通过 pip 安装并部署在本地、VPC 或隔离环境。
匹配字段标题