DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe
DeepSeek 开源自研推理框架 DeepInfer(Apache 2.0)和生产级 Token 编解码组件 deepseek-recipe(MIT),支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒,生成阶段每秒输出 230 个 Token,平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash,开源版本仅提供离线推理,KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
#开源/仓库#推理#部署/工程
