Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 版本
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的新 GGUF 版本，称其在基准测试中排名最高。其称 Dynamic V3.1 在 GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider 等几乎全部基准上领先，运行需要 64GB 以上内存，并附上 GGUF 与博客链接。
匹配字段标题、摘要、正文
←搜索结果
搜索“DeepSeek”
面壁智能开源 ForgeKernel：DeepSeek V4.1 预填充内核提速 9.8%
面壁智能宣布开源 ForgeKernel，其智能体在约 22 小时内完成 42 轮迭代、产出 32 个内核版本，最终在 NVIDIA B200 上对 DeepSeek V4.1 FlashMLA Prefill 实现 1.098 倍性能，472 µs 对比基线 518 µs。官方 FlashMLA 实现全程封闭，智能体只能运行并计时其黑盒 CLI，无法读取源码、文档或性能剖析数据。此次开源内容包括优化后的 DeepSeek V4.1 融合预填充内核、论文中覆盖 attention、Gated DeltaNet、Kimi Delta Attention、GEMM 和卷积的内核，以及可用来优化自有内核的 ForgeKernel harness；在 27 个算子上，ForgeKernel 与 22 个专家库内核中的 18 个持平或更优，并优于三个内核生成系统已发布的全部 7 个内核。
匹配字段标题、摘要、正文
豆包工作向企业客户开放第三方模型服务，接入 Kimi 3.1 Pro、GLM 5.3、DeepSeek V4.1…
豆包工作宣布向企业客户开放第三方模型服务，首批接入 Kimi 3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash 等系列模型。该服务面向团队订阅版和企业订阅版客户，上线后默认开启，企业无需另行向模型厂商采购或额外申请，按用量扣除已有 AI 点数。企业还可按成员、部门、群组或全员划定可用范围，按厂商批量启用或对单一模型单独配置。
匹配字段标题、摘要、正文
Particle-1 上线 OpenRouter，称编码任务输出 token 比 DeepSeek V4.1…
Particle-1 已在 OpenRouter 上线，Particle 称其在四个编码基准上比 DeepSeek V4.1 Flash 少用 28–52% 的输出 token。该模型基于 DeepSeek V4.1 Flash 后训练，Particle 报告平均少用约 45% token、准确率接近基座模型，定价为每百万输入 token 0.25 美元、每百万输出 token 1 美元，上下文窗口 1.05M。
匹配字段标题、摘要、正文
豆包工作向企业客户开放配置三方模型，首批接入 Kimi 3.1 Pro、GLM 5.3、DeepSeek V4.1…
豆包工作今日向团队订阅版和企业订阅版客户开放三方大模型服务，首批接入 Kimi 3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash 等系列模型。该功能上线后默认开启，企业无需另行向模型厂商采购或额外申请，按用量扣除企业已有的 AI 点数。企业可按成员、部门、群组或全员划定可用范围，并指定模型在豆包电脑端、豆包工作电脑端、豆包移动端、豆包网页端及飞书内豆包工作等场景中生效。
匹配字段标题、摘要、正文
DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题、摘要、正文
DeepSeek v4.1 Flash 加入 Vercel Token Pass
Vercel 将 DeepSeek v4.1 Flash (1017) 纳入 Token Pass，采用 DeepSeek 新权重，支持 1M 上下文窗口且无需改动配置。Guillermo Rauch 称该模型速度快、价格极低并提供零数据保留（ZDR），适合运行由更大更贵模型规划任务的子智能体。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段标题、摘要、正文
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段标题、摘要、正文
DeepSeek 开源搜索、推理框架与编解码组件，并公开单卡每小时收入
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题、摘要、正文
DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer，支撑 V4.1-Flash 快速低成本推理
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。
匹配字段标题、摘要、正文
DeepSeek 以 Apache 2.0 开源推理框架 DeepInfer 及编解码组件
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，官方称后续新模型的推理代码也会持续合入该仓库。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，但 README 显示此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内。硬件上目前仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，支持的模型也仅限 V4.1-Flash。
匹配字段标题、摘要、正文
DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。
匹配字段标题、摘要、正文
DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
匹配字段标题、摘要、正文
DeepSeek 开源其 API 背后的推理引擎 DeepInfer，同时支持 Nvidia 与华为昇腾
DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
匹配字段标题、摘要、正文
DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段标题、摘要、正文