DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
Deepseek: Dieses quelloffene Tool soll KI-Kosten reduzieren
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
正文
Verpasse keine News mehr!
Deepseek: Dieses quelloffene Tool soll KI-Kosten reduzieren – für wen es gedacht ist
Das chinesische KI‑Unternehmen Deepseek hat ein neues Open-Source-Tool veröffentlicht, um seiner Konkurrenz Druck zu machen. Damit sollen die Kosten für die KI-Nutzung spürbar reduziert werden.
Deepseek macht der Konkurrenz mit seinem Tool Druck. (Bild: Shutterstock/Samuel Boivin)
KI-Modelle aus China rücken in der Branche und auf dem Markt immer mehr ins Rampenlicht. Im Vergleich zu großen KI-Tools von OpenAI und Anthropic sind die chinesischen Modelle meist recht günstig und können allmählich auch mit Leistung auf einem hohen Niveau mithalten. Jetzt will KI-Größe Deepseek den Anreiz vergrößern, zu einem ihrer Modelle zu wechseln, indem die Kosten für Nutzer:innen weiter reduziert werden.AnzeigeAnzeige
Deepinfer: Was steckt im Deepseek-Tool?
Das Unternehmen hat dafür ein neues Open-Source-Tool auf GitHub veröffentlicht. Es trägt den Namen Deepinfer und ist ein Inhouse-Framework des chinesischen Unternehmens, um die Kosten für KI-Nutzung zu drücken. Dabei dreht es sich nicht um die Kosten für User:innen, die Deepseek über das Chat-Interface auf der Webseite des Unternehmens oder in der App nutzen. Stattdessen sollen sich die Kosten für alle reduzieren, die die Modelle selbst betreiben.
Wie Deepseek betont, reduziert Deepinfer die Compute- und Energiekosten und soll „KI dadurch erschwinglicher“ machen. Um das zu ermöglichen, nimmt das Framework gleich mehrere Anpassungen in der Inferenzphase des Modells vor. Dabei handelt es sich im Grunde um die alltägliche Nutzung der KI, in der sie neue Daten bekommt und mit ihren vorab angelernten Trainingsdaten bearbeiten und beantworten muss.AnzeigeAnzeige
Top-Artikel
Die Inferenz soll durch Deepinfer gleichmäßiger auf verfügbare Prozessorkerne aufgeteilt werden. „Spekulatives Decoding“ soll dabei helfen, schneller Antworten zu liefern. Zudem sollen die Outputs durch das Open-Source-Tool besser strukturiert werden, bevor die KI sie an die User:innen final ausgibt. Zunächst wird nur Deepseek-V4.1-Flash von den Features profitieren können. Künftig will Deepseek weitere, eigene KI-Modelle für das Tool freigeben.
Dass das Tool aber nicht gerade für Privatanwender:innen gedacht ist, zeigt sich spätestens bei der unterstützten Hardware. Dafür sind Nvidia-GPUs mit SM100-Architektur nötig, die meist in Form kompletter Serverstrukturen für Unternehmen angeboten werden. Alternativ kann auch eine NPU Ascend 950 von Huawei genutzt werden. Der Preis liegt laut Bloomberg seit geraumer Zeit bei etwas mehr als 37.000 US-Dollar pro KI-Chip.
Empfohlene redaktionelle Inhalte
Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.
Hinweis zum Datenschutz
Leider ist etwas schief gelaufen...
An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.
Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.
Lokale KI? Mit diesen Tools ist das kein Problem
8 Bilder ansehen
Lokale KI: Mit diesen 7 Tools kein Problem Quelle: Wachiwit / Shutterstock.com
Startseite