KI & Maschinelles Lernen

Nvidias CUDA-Vorsprung: Warum AMD die Lücke nicht schließt

Nvidias wahrer Vorteil gegenüber AMD sind nicht die Chips, sondern zwei Jahrzehnte Software, die niemand neu schreiben will. So entstand der CUDA-Vorsprung.

Editorial Team / /9 Min. Lesezeit
Eine verkabelte Nvidia-GPU-Karte im leuchtenden Server steht neben einer baugleichen, unangeschlossenen AMD-Karte.

Nvidias Marktwert liegt seit Ende 2025 über 5 Billionen Dollar. In jeder Schlagzeile dazu geht es um den neuesten Chip: Blackwell, H100, was als Nächstes kommt. Kaum eine erwähnt den eigentlichen Grund, warum ein Hardware-Verkäufer so schwer einzuholen ist: ein 2006 vorgestelltes Stück Software namens CUDA, kurz für Compute Unified Device Architecture. Kein Chip, kein KI-Modell, sondern die Programmierschicht, die eine Grafikkarte Rechnungen ausführen lässt, für die sie ursprünglich nie gebaut wurde. Und genau das ist der Grund, warum Nvidias schärfster Hardware-Rivale, AMD, ein Rennen verliert, das längst nicht mehr über Hardware entschieden wird.

Dahinter steckt mehr als eine technische Fußnote. Jedes KI-Labor, jeder Cloud-Anbieter, jedes Start-up, das GPUs kauft, wettet darauf, von welcher Softwareplattform es jahrelang abhängig sein wird. Wer versteht, warum diese Wette fast immer auf Nvidia fällt, versteht auch, wie technologische Monopole wirklich entstehen, lange nachdem der ursprüngliche Hype verflogen ist.

Ein Chip für tausend kleine Dinge gleichzeitig

Wer schon einmal überlegt hat, sich eine GPU für KI-Modelle zu Hause zuzulegen, kennt die Grundfrage: Was unterscheidet eine CPU von einer GPU? Ein normaler Prozessor, die CPU (Central Processing Unit), ist darauf ausgelegt, eine komplexe Aufgabe sehr schnell zu erledigen, dann die nächste, in geordneter Reihenfolge. Eine Grafikkarte, die GPU, macht das Gegenteil: Sie erledigt tausende einfache Aufgaben gleichzeitig. Dieses Design kommt daher, dass ein Videospielbild Millionen Pixel gleichzeitig berechnen muss, nicht nacheinander.

Es stellt sich heraus: Genau dieser Trick (viele kleine Dinge zugleich erledigen) ist exakt das, was Training und Betrieb von KI-Modellen braucht. Beides beruht auf riesigen Zahlengittern, die ständig miteinander multipliziert werden. Eine CPU arbeitet diese Rechnung nach der anderen ab. Eine GPU verteilt sie auf tausende winzige Rechenkerne und ist in einem Bruchteil der Zeit fertig.

Doch ein Punkt fehlt in den meisten Erklärungen: Bei vielen heutigen KI-Aufgaben, vor allem wenn ein fertig trainiertes Modell eine Antwort erzeugt (das nennt man Inferenz), ist nicht die Rechenleistung der Flaschenhals. Es ist der Datentransport. Um ein einziges Wort einer Chatbot-Antwort zu erzeugen, muss der Chip den gesamten gelernten Zahlenbestand des Modells, seine Gewichte, aus dem Speicher in die Rechenkerne ziehen. Die eigentliche Rechnung dauert kaum messbar lang; das Verschieben von Milliarden Zahlen über den Chip dagegen schon. Deshalb zählt die Speicherbandbreite einer GPU (wie schnell sie Daten intern bewegt) genauso viel wie ihre reine Rechengeschwindigkeit. Beim H100-Chip von Nvidia liegt diese Bandbreite bei etwa 3,35 Terabyte pro Sekunde (SXM-Version). Und deshalb hängt auch die Größe eines Modells, das man wirklich betreiben kann, vom Arbeitsspeicher der Karte ab, dem VRAM: Ein Modell mit 7 Milliarden Parametern braucht allein für seine Gewichte rund 14 Gigabyte, eines mit 70 Milliarden mehr, als die meisten Einzelkarten bieten, und alles darüber zwingt Labore dazu, Dutzende GPUs zusammenzuschalten, nur um das Modell überhaupt im Speicher unterzubringen.

NVIDIA CUDA Toolkit offizielle Entwicklerseite

NVIDIA CUDA Toolkit: die offizielle Entwicklerseite der Plattform, um die es in diesem Artikel geht.

Das Nebenprojekt eines Doktoranden

CUDA entstand nicht am Vorstandstisch. Anfang der 2000er-Jahre experimentierte ein Stanford-Doktorand namens Ian Buck damit, gewöhnliche Grafikkarten (gebaut für Spiele) für allgemeine wissenschaftliche Berechnungen zu nutzen, die mit Bildberechnung nichts zu tun hatten. Dafür entwickelte er eine Forschungssprache namens Brook, die das auf den GeForce-Karten der damaligen Zeit ermöglichte. Es war ein Behelf, kein Produkt: Grafikchips waren dafür nicht gebaut, und man musste die Hardware regelrecht überlisten, wissenschaftliche Daten wie Bildpixel zu behandeln.

Nvidia wurde aufmerksam, stellte Buck ein und präsentierte im November 2006 CUDA zusammen mit der GeForce-8800-Grafikkarte, das öffentliche SDK folgte im Februar 2007. Wo Brook ein akademischer Hack war, wurde CUDA ein echtes Werkzeugpaket: Jeder Programmierer (nicht nur die wenigen, die sich mit Grafik-Interna auskannten) konnte nun Code schreiben, der direkt auf den parallelen Rechenkernen einer GPU läuft, ohne den Umweg über ein vorgetäuschtes Grafikproblem. Zu diesem Zeitpunkt gab es für diese Idee noch keinen Markt. KI als eigenständige Industrie existierte schlicht noch nicht. Nvidia baute und finanzierte das Fundament für einen Anwendungsfall, den es noch gar nicht gab.

Die Plattform ist das Produkt, nicht der Chip

Dieser Unterschied zählt in dieser Geschichte mehr als fast alles andere: CUDA ist Software, kein Siliziumchip. Es ist eine Programmierplattform, ein Werkzeugkasten samt Spracherweiterung, mit dem Entwickler Anweisungen für Nvidia-GPUs schreiben. Ein Chip ist ein einmaliger Kauf. Eine Plattform ist etwas, auf dem tausende Ingenieure Karrieren, Code-Bibliotheken und ganze Firmen aufbauen.

Sobald Forscher ihren Trainingscode in CUDA schrieben, bedeutete ein Wechsel mehr als nur eine andere Kartenmarke zu kaufen. Es bedeutete, Software neu zu schreiben, Personal neu zu schulen und ein Jahrzehnt angesammelter Werkzeuge aufzugeben, die speziell für Nvidias Plattform gebaut waren. cuDNN, Nvidias Bibliothek für Deep Learning, und die meisten großen KI-Frameworks wie PyTorch und TensorFlow wurden zuerst auf CUDA aufgebaut, alles andere kam später dazu. Der Chip ist austauschbar. Die Plattform darunter (und die Vertrautheit aller damit) ist es nicht.

Der Moment, in dem die gesamte Branche umschwenkte

Der Wendepunkt kam 2012. Drei Forscher der University of Toronto (Alex Krizhevsky, Ilya Sutskever und ihr Betreuer Geoffrey Hinton) traten mit einem Deep-Learning-Modell, das später als AlexNet bekannt wurde, bei einem Bilderkennungswettbewerb namens ImageNet an. Der Vorsprung war gewaltig: eine Top-5-Fehlerquote von 15,3 Prozent gegenüber 26,2 Prozent beim zweitbesten Teilnehmer. Entscheidend für Nvidia: Krizhevsky trainierte das Modell mit CUDA, bei einem Training von fünf bis sechs Tagen auf zwei GTX-580-GPUs.

Dieses eine Ergebnis gilt als der Funke, der Deep Learning aus der akademischen Nische in die Branche katapultierte, die es heute prägt. Jedes Labor, das die Ergebnisse studierte, zog denselben Schluss: GPUs mit CUDA waren der Weg nach vorn. Innerhalb weniger Jahre war CUDA keine Option mehr unter mehreren für KI-Forscher: es wurde zum Standard, gelehrt an Universitäten, fest eingebaut in jedes große Framework, vorausgesetzt bei jedem neuen Absolventen, der ins Feld einstieg.

Warum AMDs vergleichbare Chips die Lücke nicht schließen

Hier wird der Vergleich mit AMD aufschlussreich, nicht als Ranking, sondern als Beleg für die eigentliche These. AMD hat GPUs auf den Markt gebracht, die auf dem Papier mit Nvidias Rohleistung durchaus mithalten können. Die Antwort des Herstellers auf CUDA heißt ROCm, eine Open-Source-Plattform, die auf dem Papier vieles von dem leistet, was CUDA kann. Dazu kommt OpenCL, ein offener Industriestandard, der herstellerübergreifend funktionieren soll. Keines der beiden hat sich bei KI-Workloads wirklich durchgesetzt: Nvidia hält laut Marktbeobachtern weiterhin rund 80 Prozent des Umsatzes mit KI-Beschleunigern für Rechenzentren, AMD liegt nach diesen Schätzungen im mittleren bis hohen einstelligen Prozentbereich.

Der Grund ist kein fehlendes Feature. Es sind zwei Jahrzehnte angesammelter Abhängigkeit. Jedes Tutorial, jeder vortrainierte Modell-Checkpoint, jede Optimierung einer Open-Source-Bibliothek, jede Ingenieurs-Routine setzt CUDA im Hintergrund voraus. Die Plattform zu wechseln ist nicht wie ein Wechsel des Smartphone-Herstellers: es kommt eher einer ganzen Branche gleich, die geschlossen den App Store verlässt. Kein Labor, kein Unternehmen will als Erstes sein Produkt auf eine weniger erprobte Plattform setzen, deshalb tun es fast keine, selbst wenn die Hardware darunter vergleichbar ist. AMD muss nicht nur Nvidias Chip einholen, sondern ein ganzes Ökosystem von Entwicklern davon überzeugen, bereits laufenden Code neu zu schreiben. Dieselbe Abhängigkeit zeigt sich auch weiter unten im Stack: Wer offene KI-Modelle lokal betreiben möchte, stößt in fast jeder Toolchain weiterhin standardmäßig auf CUDA, ein Grund, warum Nvidia-Hardware selbst für Hobbynutzer der Weg des geringsten Widerstands bleibt.

AMD ROCm offizielle Softwareplattform-Seite

AMD ROCm: AMDs Open-Source-Antwort auf CUDA, gebaut für die eigene Instinct-, Radeon- und Ryzen-AI-Hardware.

Der Vorsprung, der sich selbst verstärkt

CUDA erklärt die technische Bindung. Was die Lücke immer weiter vergrößert, ist das, was Nvidia aus dieser Marktposition gemacht hat. Im Geschäftsjahr 2026 wies Nvidia für seine Rechenzentrumssparte (den Bereich, der KI-Chips und die dazugehörigen Server umfasst) 193,7 Milliarden Dollar Umsatz aus, fast 90 Prozent der gesamten 215,9 Milliarden Dollar Jahresumsatz. Das sind Nvidias eigene gemeldete Zahlen, keine Schätzungen von außen.

Nvidia nutzte einen Teil dieser Marktmacht, um Mellanox, einen Hersteller von Netzwerktechnik, für rund 7 Milliarden Dollar in bar (125 Dollar je Aktie) zu kaufen. Der Deal schloss am 27. April 2020. Mellanox’ InfiniBand-Netzwerktechnik wurde zum Rückgrat, das ganze Racks voller GPUs im Rechenzentrum verbindet, ergänzt durch NVLink, Nvidias eigenen, Jahre zuvor entwickelten Hochgeschwindigkeits-Verbinder für GPUs innerhalb eines Servers, sodass tausende Chips sich bei großen KI-Lasten wie ein einziger riesiger Chip verhalten. Das ist die eigentliche Wettbewerbsebene über CUDA: Es reicht längst nicht mehr, nur eine schnelle GPU zu bauen. Das Training der heute größten Modelle braucht tausende GPUs im Zusammenspiel, und wer sowohl die Softwareschicht als auch die Verbindungstechnik zwischen der Hardware kontrolliert, kontrolliert den gesamten Stack, auf den sich ein Kunde einlassen muss.

Ende Oktober 2026 lag Nvidias Marktwert bei rund 5,2 Billionen Dollar. Diese Zahl wird in wenigen Monaten veraltet sein, Märkte bewegen sich. Was sich dagegen kaum so schnell bewegt, ist der zwei Jahrzehnte lange Vorsprung, den CUDA vor jeder Alternative hat, aufgebaut Forschungsarbeit für Forschungsarbeit, Framework für Framework, ausgebildeter Ingenieur für ausgebildeten Ingenieur.

Entscheidungskarte zur Wahl zwischen Nvidia und AMD für KI-Workloads: standardmäßig Nvidia und CUDA für Produktivbetrieb, bestehenden CUDA-Code nicht neu schreiben, AMD ROCm nur bei engem Budget und freier Entwicklerzeit erwägen, ROCm-Unterstützung bei neuen Frameworks explizit prüfen

FAQ

Was genau ist CUDA, einfach erklärt?

CUDA ist eine Softwareplattform, die Nvidia entwickelt und im November 2006 vorgestellt hat (das öffentliche SDK folgte im Februar 2007) und die Programmierern erlaubt, allgemeine Berechnungen auf einer Grafikkarte auszuführen, nicht nur Bildberechnung. Sie machte aus GPUs, ursprünglich für Videospiele gebaut, Allzweckrechner, die sich später ideal für das Training von KI-Modellen eigneten.

Ist CUDA dasselbe wie eine GPU?

Nein. Eine GPU, die Grafikkarte, ist der physische Chip. CUDA ist die Softwareschicht, die auf Nvidias GPUs läuft und Entwicklern erlaubt, Code dafür zu schreiben. Man braucht beides: eine Nvidia-GPU als Hardware und CUDA als Werkzeug, um sie zu programmieren.

Warum baut AMD nicht einfach eine eigene Version von CUDA?

AMD hat das bereits getan, es heißt ROCm, und es funktioniert technisch. Das Problem liegt nicht in der Technik, sondern in der Verbreitung: Fast jedes KI-Framework, jedes Tutorial, jedes vortrainierte Werkzeug wurde zuerst mit CUDA gebaut und getestet, sodass ein Wechsel Labore und Unternehmen weit mehr an neu geschriebenem Code und Schulung kostet, als die meisten bereit sind zu zahlen.

Warum zählt Speichergeschwindigkeit bei KI-Chips genauso viel wie reine Rechenleistung?

Ein fertig trainiertes KI-Modell zur Antwortgenerierung zu betreiben ist größtenteils ein Datentransport-Problem, kein Rechenproblem. Der Chip muss erst Milliarden gespeicherter Werte aus dem Speicher holen, bevor er überhaupt rechnen kann. Deshalb bestimmt die Speicherbandbreite einer GPU (wie schnell sie Daten intern bewegt) oft mehr über die reale Geschwindigkeit als ihre Spitzen-Rechenleistung.

Hat Stanford CUDA erfunden?

Nein, das ist ein verbreiteter Irrtum. Ian Buck, damals Doktorand in Stanford, entwickelte Anfang der 2000er-Jahre eine frühere Forschungssprache namens Brook, die CUDA inspirierte. CUDA selbst wurde jedoch von Nvidia entwickelt und 2006 vorgestellt. Der AlexNet-Durchbruch von 2012, der CUDA zum Standard der KI-Branche machte, entstand an der University of Toronto, nicht in Stanford.

#nvidia#cuda#amd#rocm#gpu#ai-ml