DeepSeek open-sources the Deepinfer inference framework, lowering the cost of self-hosted model deployment
DeepSeek has open-sourced its internal inference framework Deepinfer on GitHub, with the goal of reducing the compute and energy costs of deploying models on your own. During the inference stage, the framework distributes load more evenly across available processor cores, uses speculative decoding to speed up responses, and improves the structure of results before output; it currently supports only DeepSeek-V4.1-Flash, with more of its own models to be opened up later. On the hardware side, it requires Nvidia GPUs with the SM100 architecture or Huawei Ascend 950 NPUs, so it is not aimed at individual users.
Why read this
AI score 52
The original text explains three specific optimizations Deepinfer makes during the inference stage and its hardware requirements, from which it can be judged that it targets self-hosted deployment rather than ordinary users.
Topics
Body
Verpasse keine News mehr!
Deepseek: Dieses quelloffene Tool soll KI-Kosten reduzieren – für wen es gedacht ist
Das chinesische KI‑Unternehmen Deepseek hat ein neues Open-Source-Tool veröffentlicht, um seiner Konkurrenz Druck zu machen. Damit sollen die Kosten für die KI-Nutzung spürbar reduziert werden.
Deepseek macht der Konkurrenz mit seinem Tool Druck. (Bild: Shutterstock/Samuel Boivin)
KI-Modelle aus China rücken in der Branche und auf dem Markt immer mehr ins Rampenlicht. Im Vergleich zu großen KI-Tools von OpenAI und Anthropic sind die chinesischen Modelle meist recht günstig und können allmählich auch mit Leistung auf einem hohen Niveau mithalten. Jetzt will KI-Größe Deepseek den Anreiz vergrößern, zu einem ihrer Modelle zu wechseln, indem die Kosten für Nutzer:innen weiter reduziert werden.AnzeigeAnzeige
Deepinfer: Was steckt im Deepseek-Tool?
Das Unternehmen hat dafür ein neues Open-Source-Tool auf GitHub veröffentlicht. Es trägt den Namen Deepinfer und ist ein Inhouse-Framework des chinesischen Unternehmens, um die Kosten für KI-Nutzung zu drücken. Dabei dreht es sich nicht um die Kosten für User:innen, die Deepseek über das Chat-Interface auf der Webseite des Unternehmens oder in der App nutzen. Stattdessen sollen sich die Kosten für alle reduzieren, die die Modelle selbst betreiben.
Wie Deepseek betont, reduziert Deepinfer die Compute- und Energiekosten und soll „KI dadurch erschwinglicher“ machen. Um das zu ermöglichen, nimmt das Framework gleich mehrere Anpassungen in der Inferenzphase des Modells vor. Dabei handelt es sich im Grunde um die alltägliche Nutzung der KI, in der sie neue Daten bekommt und mit ihren vorab angelernten Trainingsdaten bearbeiten und beantworten muss.AnzeigeAnzeige
Top-Artikel
Die Inferenz soll durch Deepinfer gleichmäßiger auf verfügbare Prozessorkerne aufgeteilt werden. „Spekulatives Decoding“ soll dabei helfen, schneller Antworten zu liefern. Zudem sollen die Outputs durch das Open-Source-Tool besser strukturiert werden, bevor die KI sie an die User:innen final ausgibt. Zunächst wird nur Deepseek-V4.1-Flash von den Features profitieren können. Künftig will Deepseek weitere, eigene KI-Modelle für das Tool freigeben.
Dass das Tool aber nicht gerade für Privatanwender:innen gedacht ist, zeigt sich spätestens bei der unterstützten Hardware. Dafür sind Nvidia-GPUs mit SM100-Architektur nötig, die meist in Form kompletter Serverstrukturen für Unternehmen angeboten werden. Alternativ kann auch eine NPU Ascend 950 von Huawei genutzt werden. Der Preis liegt laut Bloomberg seit geraumer Zeit bei etwas mehr als 37.000 US-Dollar pro KI-Chip.
Empfohlene redaktionelle Inhalte
Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.
Hinweis zum Datenschutz
Leider ist etwas schief gelaufen...
An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.
Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.
Lokale KI? Mit diesen Tools ist das kein Problem
8 Bilder ansehen
Lokale KI: Mit diesen 7 Tools kein Problem Quelle: Wachiwit / Shutterstock.com
Startseite