DeepSeek 开源内部推理框架 DeepInfer
DeepSeek is open-sourcing DeepInfer, its internal framework for serving models at scale.
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
查看原帖🚀 隆重推出 DeepInfer，我们的自研推理框架，现已全面开源！ 它以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享生产环境技术栈，以帮助社区降低计算成本、减少能源消耗，让 AI 更加普惠。 🔗 https://t.co/JGAik1kgk0 1/4
查看原文
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4
正文 · AI 翻译
DeepSeek 正在开源 DeepInfer，这是其用于大规模模型服务的内部框架。
推理框架负责协调计算集群，以塑造 AI 的吞吐量、延迟、成本和能效。DeepSeek 表示，DeepInfer 为 V4.1 Flash 提供高吞吐、低延迟的推理能力。
DeepInfer 同时支持 Nvidia 和华为昇腾硬件，可实现分布式推理、投机解码、SWA Bounded Replay 和结构化输出。除该框架外，DeepSeek 还发布了 deepseek-recipe，这是一个与官方 API 完全对齐的生产级 tokenization 组件。