DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件
DeepSeek 开源了自研推理框架 DeepInfer,并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务,主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗,并让更多机构部署 DeepSeek 模型。
匹配字段标题、摘要、正文
DeepSeek 开源了自研推理框架 DeepInfer,并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务,主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗,并让更多机构部署 DeepSeek 模型。
匹配字段标题、摘要、正文
DeepSeek 宣布开源内部推理框架 DeepInfer,该框架支撑 DeepSeek-V4.1-Flash 的大规模运行,主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗,让 AI 更可负担,并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。
匹配字段标题、摘要
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer,8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash,运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上,覆盖离线推理而非完整服务栈,缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark,可提前草拟最多 5 个 token 并用置信度估计安排验证;bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口,从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段标题、摘要、正文
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源,该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗,让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式,对社区是好事,并提到时机微妙,因为政府刚在联邦机构禁用 DeepSeek。
匹配字段标题、摘要、正文
DeepSeek 开源自研推理框架 DeepInfer(Apache 2.0)和生产级 Token 编解码组件 deepseek-recipe(MIT),支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒,生成阶段每秒输出 230 个 Token,平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash,开源版本仅提供离线推理,KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
匹配字段标题、摘要、正文
DeepSeek 于 10 月 17 日更新 V4.1 Flash-1017,API 价格未上涨,Terminal-Bench 4.0 从 31.2 分升至 42.3 分,超过 GPT-5.6 Sol 的 39.9 分和 GLM-5.3 的 37.9 分,仍低于 Claude Opus 5 的 51.8 分。官方列出的 11 项测试成绩全部高于初版,非高峰时段输入每百万 Token 0.15 美元、输出 0.60 美元。同期开放 Search 和 Fetch API,每 1000 次成功调用 0.75 美元,通过 DeepSeek Harness、Claude Code 和 Codex 的调用暂免费用,计划 10 月 31 日 16 时(UTC)起计费。有海外开发者用 ModelTrace 检测出 GPT-6 Astra 相似度 84.66%,但该工具数据库未收录 DeepSeek,结果不能作为蒸馏证据。
匹配字段标题、摘要、正文
DeepSeek 宣布全面开源内部推理框架 DeepInfer,集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台。技术报告披露,基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务,单一集群服务吞吐为 155 万亿 Tokens/天,整体收入为每卡每小时 38 美金(按谷价)。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe,与官方 API 处理逻辑完整对齐。
匹配字段标题、摘要、正文
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe,后者把官方线上 API 的 Token 编解码逻辑原样公开。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出,官方称后续新模型的推理代码也会持续合入该仓库。据仓库 README,此次只放出离线推理引擎,KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内,硬件仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950,模型仅限 V4.1-Flash。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时,Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略,以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
匹配字段标题、摘要、正文
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer,采用 Apache 2.0 许可证,本次聚焦离线推理,主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎,补齐调度、并行与投机解码等系统层,同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时,并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB,并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
匹配字段标题、摘要、正文
Unsloth 宣布 DeepSeek V4.1-Flash-1017 现已支持本地运行,其 1-bit 量化版本保留约 88.2% 的准确率,体积从 508GB 缩小到 250GB,减少 52%。该版本需要 128GB 以上内存的设备,Unsloth 同时提供了使用指南和 GGUF 文件。DeepSeek 此前表示 V4.1-Flash-1017 在基准表现、任务完成速度和输出长度上较上一版本均有改进。
匹配字段标题、摘要、正文
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源,该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务,主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗,让 AI 更可负担。
匹配字段标题、摘要、正文
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出,兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe,与官方 API 处理逻辑完整对齐;DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
匹配字段标题、摘要、正文
DeepSeek 上线 Search 和 Fetch 两个接口,底层由自研搜索引擎驱动,每 1000 次成功请求收费 5 元(约 0.75 美元),失败、无结果或超时不计费,11 月 1 日起正式收费。两个接口此前在 DeepSeek Harness、Claude Code、Codex 中免费使用,各限速每秒 5 次。横向对比,Tavily 约 8 美元/千次、Brave Search 和 Google Custom Search 约 5 美元/千次,DeepSeek 的价格约为主流海外方案的一折到两折。
匹配字段标题、摘要、正文
DeepSeek 发布 DeepSeek-V4.1-Flash-1017 版本,官方称其为性能与费用的帕累托改进,API 调用方式和价格不变,开发者仍用 deepseek-flash 访问。官方数据显示 DeepSWE v1.1 的 Pass@1 从 74.2 升到 77.0,Terminal-Bench 4.0 从 31.2 升到 42.3,但在 HLE 上只拿 42.6,低于 Claude Opus 5 的 56.3。新版通过基于自反馈的强化学习训练,强调从零构建完整项目,官方展示了故宫 3D 建模、网页赛车游戏等案例。
匹配字段标题、摘要、正文
DeepSeek 通过 Search 和 Fetch 两个新 API 向外部开发者开放自研搜索引擎,可获取实时网页搜索结果和网页正文,每 1000 次成功请求收费 0.75 美元,且无需额外调用模型,可用于其他厂商模型驱动的应用。Search 返回带标题、URL、摘要和总结的排序结果,Fetch 以 Markdown 格式返回单个网页内容;官方称该引擎每日处理数亿次请求,索引包含数千亿网页。发布同时伴随 DeepSeek-V4.1-Flash-1017 小版本更新。API 文档显示每个账号的 Search 和 Fetch 请求各限制为每秒 5 次,单次搜索最多返回 50 条结果,仅对返回结果的请求计费。
匹配字段标题、摘要、正文
DeepSeek 于 10 月 17 日发布 DeepSeek V4.1 Flash 1017,最大特点是支持许愿式编程:用户只需说出想法,模型自行拆解任务、写代码并验证,交付可运行成品。新版本通过基于自反馈的强化学习训练,提升了游戏开发、3D 建模等从零构建完整项目的能力,发布当天还开放了自研的 Search 和 Fetch 两个接口。作者认为该功能面向缺少提示词和素材的普通用户,与需要人类中途介入的 Agent 形成区别。
匹配字段标题、摘要、正文
WorkBuddy 宣布其国际版已更新至 DeepSeek-V4.1-Flash-1017,并在 10 月 31 日前限时免费开放使用。该限免活动仅限国际版,国内版暂未推出对应的限免活动。
匹配字段标题、摘要、正文
WorkBuddy 国际版已更新到最新的 DeepSeek-V4.1-Flash-1017,并在 10 月 31 日前免费开放使用。被引用的 DeepSeek 原帖称该版本在基准测试上更强、任务完成更快、输出更短,已在官网、App 和 API 上线,并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等做了优化,建议升级到 DeepSeek Harness v0.2.1-rc.1 或更高版本。
匹配字段标题、摘要、正文