DeepSeek 开源内部推理框架 DeepInfer
Real Open AI.
AI 导读
DeepSeek 宣布开源内部推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模运行，主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担，并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。
查看原帖🚀 隆重推出 DeepInfer，我们的内部推理框架，现已完全开源！ 以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash 的运行。我们分享这套生产栈，旨在帮助社区降低算力成本、减少能耗，让 AI 更加可负担。 🔗 https://t.co/JGAik1kgk0 1/4
查看原文
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4
正文 · AI 翻译
真正的开放 AI。