News Nach Nvidia, Meta & Co: Auch AMD bewirbt nun das 1:1-CPU-GPU-Verhältnis für AI

[Skysnake]

Ich hab jetzt nicht ganz verstanden welche Rolle hier CPUs spielen und weshalb sie vermehrt jetzt auftreten sollen? Ist ein 1:1 System Leistungsstärker oder was ist der Hintergrund? Und vor allem, warum wird dieser Hintergrund erst jetzt entdeckt, ich hätte gedacht es müsste klar sein welche Art von Hardware man für KI braucht?

Die Sache ist halt es gibt nicht "die KI". Es gibt Training, Interference, Agenten....

Je nachdem wo du dich gerade bewegst brauchst du was anderes und das geht sogar über reine CPUs und GPUs noch weit hinaus

Ich frage mich ausserdem ernsthaft, wie will man diese gigantischen Investitionen jemals wieder erwirtschaften?

Das ist die Billionen Euro Frage die noch nicht entschieden ist.

Mit den aktuellen Preissteigerungen sehe ich da immer düsterer. Ich warte schon darauf das KI durch günstige Menschen ersetzt werden wenn sie echten Kosten verrechnet werden. Biorobotter sind halt verdammt energieeffizient. Nur halt mit Verfallsdatum versehen und erheblichem Trainingsaufwand versehen...

Agentische Workflows, die immer stärker kommen, bedeuten im Kern nichts anderes, als der massenhafte Einsatz von ganz klassischen Tools und Programmen im Verlauf einer Interaktion. Die verursachen je nach Aufgabe dann halt auch wieder klassisch CPU-Last.
Das ist mein aktueller Verständnisansatz. So ganz verstehe ich es aber auch noch nicht. Viele Tools würde ich halt nicht Server-side ausführen. Aber wenn eh alles eine SaaS nur noch ist....

Na du willst die Latenzen niedrig halten und eigentlich Devices müssen ja auch an die Daten ran. Das ist es halt. Agentensorkflows haben viel mit Datenanalyse zu tun. Sprich das sind sehr umstrukturierte Aufgaben mit viel IO. Also das was die CPUs gut können.

Wenn ich da dran denke welche Datenmengen da teils verarbeitet werden. Dann Hilftools benutzt oder gar on the Flyer entwickelt. Und aus Sicherheitsaspekten willst du das eigentlich in ner eigenen Sandbox bzw kompletter VM laufen lassen.

dad ist halt auch so ein Punkt. Agenten in der Softwareentwicklung müssen oft etwas in einem Kontext testen, weil Anwendungen nicht im leeren Raum agieren. Da hast du dann schnell rein konzeptionell zick VMs hochgezogen mit unterschiedlichen Varianten bzw für Massentests wenn du nur Wahrscheinlichkeiten für Fehler hast.

Sprich das was man vorher schon im HPC gemacht hat bzw musste. Die kleine Klitsche hat mal.Spaß, wenn booten eine Fehlerratw von 1% hat. Aber je nachdem werden Sie das nie sehen. Wenn du nen Cluster hast bringt dich das im weil du bei jedem Cluster reboot dutzende wenn nich hunderte von Knoten hast die nicht sauber hochkommen. Das explodiert dann vom Aufwand. Aber du hast halt auch das richtige Werkzeug fürs Debugging .

Agenten können das gleiche machen. Aber dafür brauchst du dann halt doch wieder CPUs.

Um es mal greifbarer zu machen. Mit KI macht man eher mal Unit Tests und macht eben Regression Tests. Das wächst dann ganz schnell und verschlingt dann auch immer mehr Rechenzeit.

Die CPU muss dabei aber überhaupt nicht nah an die GPU gekoppelt sein, weil die Kommunikation dazwischen eh nur mit ein paar wenigen KBytes pro Sekunde läuft und die Latenzen LLM-bedingt um Größenordnungen höher sind als die Netzwerklatenzen.

Soll heißen: Natürlich kann man CPUs und GPUs enger verbandeln, es bringt aber wenig bzw. verringert eigentlich nur die Flexibilität des Diensteanbieters. Was, wenn ein Kunde dann doch in erster Linie CPUs oder in erster Linie GPUs will?

Nö, du schaufelst da teils massiv Datenmengen durch die Gegend. Aber wie so oft die Spanne ist von bis.

Latenzen sind aber definitiv nicht zu vernachlässigen. Amdahl lässt grüßen 😉

 

[Azdak]

@Skysnake, schon witzig, wir sehen die gleichen Punkte und schlussfolgern komplett anders.
Lassen wir mal kurz den B2C-Bereich außen vor und gehen insb. auf den Softwareentwicklungsbereich im B2B ein. Den hast du ja sehr gut beschrieben. Entwickler machen das, zumindest bei uns, lokal (aber nicht zwingend unterm Schreibtisch!) auf ihren entsprechend potenten Kisten. D.h. das, was sie brauchen haben sie bereits an der Stelle, wo sie auch die KI dann nutzen. Schlicht weil sie es schon vor der LLM-Welle hatten. Je nach Projekt dann alles in ihrem Docker-Zoo lokal oder auf den großen Dev- und Testumgebungen.
Jetzt kann man Vorteile aus einer Zentralisierung mitnehmen - gar keine Frage. Aber dann muss man auch z.B. den Security-Stack, den es für LLMs noch nicht gibt, bzw noch in den Kinderschuhen steckt, neu Bauen und es dauert, bis der den Reifegrad hat, was wir aktuell schon für normale Entwickler haben. Das geht halt leider mit Ansage schief, bis wir ein vergleichbares Niveau erreicht haben. Läuft es nicht Serverside, sondern über die Konten des Entwicklers, der ja eh nach wie vor die Verantwortung für seine Arbeit trägt, auch wenn sie von KI erledigt wurde, dann kann man den alten Stack nutzen.

Ich fürchte, die Verlagerung Richtung Serverside ist mehr Business-Entscheidung denn architekturgetrieben. Je mehr bei einem Cloud-Anbieter läuft, um so stärker die Kundenbindung. Um nicht Abhängigkeit zu sagen.

Ich sehe es aber aktuell insofern auch entspannt, als das es sich schlicht zeigen wird, wo die Reise hin geht und solange die Erwartungen derart Überzogen sind aus dem Management heraus, wird es wahrscheinlich anders kommen, als wir alle jetzt vermuten.

 

[GrumpyCat]

Nö, du schaufelst da teils massiv Datenmengen durch die Gegend. Aber wie so oft die Spanne ist von bis.

Latenzen sind aber definitiv nicht zu vernachlässigen. Amdahl lässt grüßen 😉

Die großen Anbieter machen alle Durchsatz durch hohes Batching, das hohe Latenzen (teilweise im Sekundenbereich) erzeugt.

Und selbst relativ schnelles Ingest hat nur ein paar KBytes pro Sekunde, vom Output ganz zu schweigen. Dem kann man ja wortwörtlich zusehen.

Von den mehreren dutzend GByte/Sekunde, für die man erst lokale Anbindung tatsächlich bräuchte, ist man da weit entfernt.

Mag sein, dass 1:1 für bestimmte Sachen sinnvoll ist; für die "klassischen" Agenten sicher nicht.

 

[dhew]

Diese Erde ist CO2 technisch am Ende. Wenn sich nichts ändert dann ist hier in 50 Jahren das Licht aus… und KI Rechenzentren sind so ziemlich das Letzte was die Welt noch benötigt.

Wir leben in einer Eiszeit. Für die Erde geht noch jede Menge mehr CO2, wie die Vergangenheit gezeigt hat. Für den Menschen würde eine kontinuierliche aufheizung der Atmossphäre irgendwann problematisch. Davon sind wir jedoch weit entfernt.
Ich kann absolut nicht nachvollziehen, wieso man als junger Mensch jeglichen Fortschritt aufgeben will um ein bisschen CO2 zu sparen.

 

[foofoobar]

Wir leben in einer Eiszeit. Für die Erde geht noch jede Menge mehr CO2, wie die Vergangenheit gezeigt hat. Für den Menschen würde eine kontinuierliche aufheizung der Atmossphäre irgendwann problematisch. Davon sind wir jedoch weit entfernt.

Zeichne mal in deine Kurve den Zeitraum seit der Neolithische Revolution ein.
Willst du die Neolithische Revolution rückabwickeln?

Und das es dort positive Feedbackschleifen gibt ist dir bekannt?

 

[stefan92x]

@foofoobar Darum gehts nicht. Der Punkt ist, dass es der Erde und der Biosphäre insgesamt reichlich egal ist, wenn noch mehr CO2 freigesetzt wird und der Meeresspiegel 50m steigt. Ein Gewinn für Flachwasserleben, das sich über neue Riffe freut. Ein Verlust für Landlebewesen inklusive der Menschheit, denn die neuen Riffe sind die überfluteten Küstenstädte, in denen ein großer Teil von uns halt lebt.

Klimawandel ist für viele Arten ein Problem, andere profitieren. Das Problem ist, dass die Menschen absehbar dadurch verlieren. Wobei eben weiterer Fortschritt dafür sorgen kann, dass die eh schon unvermeidlichen Folgen besser bewältigt werden können.