DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件
We are releasing DeepInfer, deepseek-recipe, and other vital components for serving DeepSeek models in the hope that more companies and organizations around the
DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。
查看原帖🚀 隆重推出 DeepInfer，这是我们自研的推理框架，现已完全开源！ 它以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们公开生产环境技术栈，旨在帮助社区降低算力成本、减少能耗，并让 AI 更加普惠。 🔗 https://t.co/JGAik1kgk0 1/4
查看原文
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4
正文 · AI 翻译
我们发布 DeepInfer、deepseek-recipe 以及其他用于部署 DeepSeek 模型的关键组件，希望世界各地更多公司和机构能够部署 DeepSeek 模型并从中获益。