DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布全面开源内部推理框架 DeepInfer,集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台。技术报告披露,基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务,单一集群服务吞吐为 155 万亿 Tokens/天,整体收入为每卡每小时 38 美金(按谷价)。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe,与官方 API 处理逻辑完整对齐。
匹配字段标题、摘要、正文