DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
Deepseek: Dieses quelloffene Tool soll KI-Kosten reduzieren
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
正文 · AI 翻译
不再错过任何新闻！
Deepseek：这款开源工具旨在降低AI成本——它面向谁
中国AI公司Deepseek发布了一款新的开源工具，以向竞争对手施压。据称这将显著降低AI使用成本。
Deepseek正用其工具向竞争对手施压。（图片：Shutterstock/Samuel Boivin）
来自中国的AI模型在业界和市场上正日益受到关注。与OpenAI和Anthropic的大型AI工具相比，中国模型通常相当便宜，并且逐渐也能在高水平上与之匹敌。如今，AI巨头Deepseek希望通过进一步降低用户成本，来增强人们转向其模型的动力。广告广告
Deepinfer：Deepseek这款工具里有什么？
为此，该公司在GitHub上发布了一款新的开源工具。它名为Deepinfer，是这家中国公司的内部框架，用于压低AI使用成本。这里涉及的并不是通过公司网站上的聊天界面或App使用Deepseek的用户所需承担的成本。相反，它旨在降低所有自行运行这些模型者的成本。
正如Deepseek所强调的，Deepinfer降低了算力和能源成本，并应“借此让AI更可负担”。为实现这一点，该框架在模型推理阶段进行了多项调整。这本质上就是AI的日常使用过程，即它接收新数据，并须借助预先训练好的训练数据对其进行处理并作出回答。广告广告
热门文章
通过Deepinfer，推理应更均匀地分配到可用的处理器核心上。“投机解码”应有助于更快地给出回答。此外，这款开源工具应在AI最终向用户输出之前，让输出结果结构更佳。起初只有Deepseek-V4.1-Flash能受益于这些功能。未来，Deepseek计划为这款工具开放更多自家AI模型。
但这款工具并非面向个人用户，这一点至少从所支持的硬件上就能看出来。为此需要采用SM100架构的Nvidia GPU，这类GPU通常以完整服务器系统的形式面向企业提供。或者也可以使用华为的NPU Ascend 950。据彭博社报道，每颗AI芯片的价格长期以来略高于37000美元。
推荐编辑内容
在这里你可以找到来自TargetVideo GmbH的外部内容，它们补充我们在t3n.de上的编辑内容。点击“显示内容”即表示你同意我们 now and in the future 在我们的页面上向你展示TargetVideo GmbH的内容。在此过程中，个人数据可能会被传输给第三方平台。
数据保护提示
很遗憾，出了点问题……
此处通常会显示来自TargetVideo GmbH的外部内容，但我们无法获取你的同意设置。
请重新加载页面或手动调整你的同意设置。
本地AI？用这些工具不成问题
查看8张图片
本地AI：用这7款工具不成问题 来源：Wachiwit / Shutterstock.com
首页