DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer,采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型,默认加载周末发布的 1017 版本,可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上,不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token,并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题、摘要、正文