DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》,并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens,未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode,以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
ll 的性能测试,随着每批处理的 Token 数量增加,未命中缓存的输入吞吐逐渐提高,最终趋于平缓,继续扩大批次主要增加了单步处理耗时。 纯纯手艺人,Bro。 再看这次同步开源的 Rust 组件 deepseek-recipe,解决的全是开发者天天在生产环境里头疼的脏活累活。 它把 OpenAI 的 Chat Completions、Responses 和 Anthropic 的 Messages 三家 API 协议统一转成同一种格式,还顺手用分段并行编码解决了长文本分词卡顿,外加从底层把 Special Token 注入攻击给堵死了。 到了底层调度,通过 GPU 和 CPU 的异步流水线重叠,硬生生做到了 GPU 全程无空闲,连投机解码 DSpark 都用上了变长验证,在线上生生又抠出来 6% 的吞吐提升。 到了生成回答的 Decode 阶段,性能曲线也呈现出一个直观的取舍,同时处理更多请求,可以提高每张 GPU 的总输出吞吐,但分到每个用户的生成速度也会随之下降。 其实早在 2024 年 DeepSeek V2 降价时梁文锋就讲过,这套商业逻辑就是核算成本后定价,不贴钱,但也绝不赚
匹配字段正文
