DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。
匹配字段标题、摘要、正文
←搜索结果
搜索“推理”
Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU（TPU 7x）上跑 Qwen 3.5 时，高并发配置下每百万 token 成本为 2.01 美分，并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型，SGLang-TorchTPU 已在 Meta 生产环境使用。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件
DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。
匹配字段标题、摘要
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 宣布开源内部推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模运行，主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担，并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。
匹配字段标题、摘要
DeepSeek 以 Apache 2.0 开源推理引擎 DeepInfer
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段标题、摘要
DeepSeek 开源推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗，让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式，对社区是好事，并提到时机微妙，因为政府刚在联邦机构禁用 DeepSeek。
匹配字段标题、摘要
DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe
DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
匹配字段标题、摘要、正文
llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
匹配字段标题、摘要
IBM 等维护方发布 llm-d 1.0，为自建模型推理增加运维控制
IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。
匹配字段标题、摘要
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布全面开源内部推理框架 DeepInfer，集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。技术报告披露，基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务，单一集群服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer 与编解码组件
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，后者把官方线上 API 的 Token 编解码逻辑原样公开。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，官方称后续新模型的推理代码也会持续合入该仓库。据仓库 README，此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内，硬件仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，模型仅限 V4.1-Flash。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
匹配字段标题、摘要
DeepSeek 开源高性能推理框架 DeepInfer
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB，并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
匹配字段标题、摘要
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担。
匹配字段标题、摘要
蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段标题、摘要
DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐；DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
匹配字段标题、摘要、正文
LMSYS 推出 SGLang 低延迟模式，NVIDIA 与 AMD GPU 推理提速
LMSYS 发布 SGLang Low-Latency Mode，通过插件框架把专用 kernel 接入 SGLang，在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace，单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s（1.38×）；在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s（1.56×）。NVIDIA 侧 kernel 位于 sgl-nvidia-mega，AMD 侧位于 sgl-amd-mono，均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段标题、摘要
Elorian 发布视觉推理模型 Glimpse
Elorian 发布首个视觉推理模型 Glimpse，用于比较视频中不同时间点的场景变化，并在变化细微或快速时回看原片段。Elorian 将这种基于帧的推理称为 visual thinking，Glimpse 在推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容，该机制被称为 visual scratch space。联合创始人 Andrew M. Dai 称其在关键公开视觉推理基准上具备与 Astra 竞争的前沿性能。
匹配字段标题、摘要、正文
Hugging Face 发布 Llama Windows 本地推理桌面应用
Hugging Face 发布免费开源的 Windows 11 桌面应用 Llama Windows，把 llama.cpp 本地推理库带到 Windows，类似 Mac 上的 llama.app。用户可从 Hugging Face Hub 一键下载模型并在本地运行，无需终端、构建步骤或管理员权限，应用以系统托盘形式运行，也可用 Alt + Space 打开助手窗口。该应用原生支持 Windows 11 on Arm 和新的 Nvidia RTX Spark 平台，使用 WinUI3 编写，并内置 llama.cpp 服务器、Hugging Face Hub 客户端和模型目录的 .NET 库。
匹配字段标题、摘要