NVIDIA reduziert DeepSeek-V4-Tokenkosten auf Blackwell-GPUs um bis zu 80 Prozent

NVIDIA hat neue Optimierungen für seine Blackwell-KI-Plattform vorgestellt. Laut dem Unternehmen konnte die Cost per Token bei DeepSeek V4 innerhalb eines Monats nach der Veröffentlichung des Sprachmodells um das Fünffache reduziert werden. Möglich wird dies durch Verbesserungen der gesamten Inferenz-Software, die sowohl die Auslastung der Hardware als auch die Verarbeitungsgeschwindigkeit steigern sollen.

Fokus auf niedrigere Kosten pro Token

Für Unternehmen, die große Sprachmodelle betreiben, gilt die Cost per Token als eine der wichtigsten Kennzahlen für die Gesamtbetriebskosten (Total Cost of Ownership, TCO). Sie beschreibt, welche Kosten für die Berechnung einzelner Token während der Inferenz anfallen.

Nach Angaben von NVIDIA profitieren insbesondere Systeme mit Blackwell GB200– und GB300-GPUs von den aktuellen Optimierungen. Im Vergleich zum Stand unmittelbar nach dem Release von DeepSeek V4 sollen sich die Tokenkosten um bis zu 80 Prozent reduziert haben.

Softwareoptimierungen statt neuer Hardware

Die Leistungssteigerungen beruhen laut NVIDIA nicht auf neuer Hardware, sondern auf einer verbesserten Abstimmung der gesamten Softwareplattform.

Dabei setzt das Unternehmen auf drei zentrale Ebenen:

• Produktionsbetrieb: Optimierte Verwaltung von GPU-Clustern, Lastverteilung, Autoscaling und Speichermanagement.
• Anwendungsbeschleunigung: Verbesserte Laufzeitoptimierungen wie Kernel Fusion sowie die parallele Ausführung von Berechnungen und Datenübertragungen.
• Infrastrukturzugriff: Direkter Zugriff auf GPU-, Netzwerk- und Speicherfunktionen, ohne dass Entwickler diese selbst verwalten müssen.

Durch das Zusammenspiel dieser Komponenten sollen sich die Optimierungen über das gesamte System hinweg verstärken.

Bis zu 20-facher Durchsatz durch Blackwell-Technologien

Zusätzlich verweist NVIDIA auf verschiedene Hardwarefunktionen der Blackwell-Plattform, die den Datendurchsatz weiter erhöhen.

Zu den wichtigsten Technologien gehören:

• NVLink
• NVFP4
• Multi-Token Prediction
• weitere Blackwell-spezifische Beschleunigungsfunktionen

In Kombination mit der aktuellen Inferenz-Software spricht NVIDIA von einer bis zu 20-fachen Steigerung des Gesamtdurchsatzes gegenüber früheren Konfigurationen. Konkrete Vergleichssysteme oder Benchmark-Bedingungen nennt das Unternehmen dabei allerdings nicht.

Große KI-Anbieter setzen bereits auf die Optimierungen

Mehrere Anbieter von KI-Inferenzdiensten nutzen die neuen Softwarefunktionen bereits produktiv.

Dazu gehören unter anderem:

• Baseten, das DeepSeek V4 Pro mit NVIDIA TensorRT-LLM betreibt und nach eigenen Angaben bis zu 50 Prozent mehr Token pro Sekunde erzielt.
• Cognition, das den NVIDIA-Dynamo-Inferenz-Stack zur Skalierung seiner KI-Workloads einsetzt.
• Deep Infra, das offene KI-Modelle wie DeepSeek V4 auf Blackwell-Systemen bereitstellt.
• Together AI, das TensorRT-LLM verwendet, um unter anderem Entwicklungsplattformen wie Cursor zu beschleunigen.

Blackwell soll KI-Inferenz effizienter machen

Mit den neuen Optimierungen verfolgt NVIDIA weiterhin das Ziel, nicht nur die reine Rechenleistung seiner KI-Beschleuniger zu erhöhen, sondern auch deren Wirtschaftlichkeit im produktiven Einsatz zu verbessern.

Gerade bei großen Sprachmodellen mit Milliarden von Anfragen pro Tag kann eine geringere Cost per Token erhebliche Auswirkungen auf die Betriebskosten haben. Verbesserungen der Inferenzsoftware gewinnen deshalb zunehmend an Bedeutung und ergänzen die Fortschritte der Hardwaregenerationen.

Einschätzung

Die angekündigte Reduzierung der Tokenkosten unterstreicht den wachsenden Stellenwert von Softwareoptimierungen im KI-Bereich. Während neue GPU-Generationen weiterhin für mehr Rohleistung sorgen, entscheidet zunehmend die Effizienz des gesamten Software-Stacks über die tatsächlichen Betriebskosten. Die von NVIDIA genannten Werte stammen allerdings aus eigenen Messungen und Partnerangaben. Unabhängige Benchmarks werden zeigen müssen, wie groß die Vorteile der Optimierungen unter realen Produktionsbedingungen tatsächlich ausfallen.

Der Beitrag NVIDIA reduziert DeepSeek-V4-Tokenkosten auf Blackwell-GPUs um bis zu 80 Prozent erschien zuerst auf Hardware News.