Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNach Nvidia, Meta & Co: Auch AMD bewirbt nun das 1:1-CPU-GPU-Verhältnis für AI
Inferenz auf CPU geht, aber alles andere als sehr gut. Die Performance auf der CPU ist nur ein Bruchteil dessen, was auf der GPU erreicht wird.
Agentische Workflows, die immer stärker kommen, bedeuten im Kern nichts anderes, als der massenhafte Einsatz von ganz klassischen Tools und Programmen im Verlauf einer Interaktion. Die verursachen je nach Aufgabe dann halt auch wieder klassisch CPU-Last.
Das ist mein aktueller Verständnisansatz. So ganz verstehe ich es aber auch noch nicht. Viele Tools würde ich halt nicht Server-side ausführen. Aber wenn eh alles eine SaaS nur noch ist....
Wahrscheinlich werden bald auch CPU's extrem knapp, so knapp das uralte AMD Opterons in der Bucht im Preis explodieren und SuperMicro G34 Serverboards in Kleinserie auflegt.
Ich vermisse in dem Artikel eine Erklärung, warum CPUs nun auf einmal verstärkt im KI-Bereich eingesetzt werden sollen. Welche Vorteile bietet z. B. ein Verhältnis von 1:1 ggü. 1:4?
Das liegt am verstärkten Aufkommen von "agentic use" in der Nutzung aktueller Modelle.
Bei einem klassischen Chatbot braucht man hauptsächlich die GPUs, weil auf denen das Interferencing läuft, also das relativ simple Generieren einer Antwort auf eine Frage (=den Prompt).
Mit der Nutzung von Agenten plant der Agent aber die Durchführung der Aufgabe vorher in Einzelschritten durch, um dann zwischendrin teils sehr viele API-calls, Python-Scripts oder auch Direktzugriffe auf integrierte Software durchzuführen. Diese Schritte brauchen dann alle CPU-Ressourcen.
Ich vermisse in dem Artikel eine Erklärung, warum CPUs nun auf einmal verstärkt im KI-Bereich eingesetzt werden sollen. Welche Vorteile bietet z. B. ein Verhältnis von 1:1 ggü. 1:4?
Bild 5/6 zeigen eigentlich ganz schön den Unterschied, fehlt nur die Tonspur als Erklärung:
Chatbot AI bedeutet, jemand schickt eine Frage an den AI-Service was er tun soll, bekommt eine Antwort und führt diese Antwort dann bei sich aus.
Agentic AI bedeutet, dass jemand einen Auftrag an den Agent-AI-Service schickt, der seine AI-Komponente fragt, was er tun soll, und das direkt ausführt.
Es wird also nicht unbedingt viel mehr CPU-Leistung gebraucht, aber es verschiebt sich vom Client auf den Server, wo diese CPU-Leistung gebraucht wird. Das ist jetzt sehr vereinfacht ausgedrückt, aber darum geht es hier letzten Endes.
Ergänzung ()
7H0M45 schrieb:
Und vor allem, warum wird dieser Hintergrund erst jetzt entdeckt, ich hätte gedacht es müsste klar sein welche Art von Hardware man für KI braucht?
Es ist einfach so, dass KI immer besser wird, damit mehr Aufgaben übernehmen kann und andere Aufgaben (sprich: Agents) eben eine andere Balance zwischen CPU/GPU haben.
Ergänzung ()
Faust2011 schrieb:
das ist dann das Inferencing und das läuft auch auf CPUs sehr gut.
Nein, auch das läuft auf GPUs viel besser. Der Unterschied bei AgenticAI ist halt wirklich, dass die AI nicht mehr dem Menschen sagt, was er tun soll, sondern der CPU - also braucht man mehr CPU-Leistung.
Die perfekte Begründung/Rechtfertigung um auch CPU Preise weiter zu erhöhen, nachdem GPUs und seit eher kurzem Speicher in immer höhere Preisregionen vorgestoßen sind.
Es fehlen noch Mainboards, die ohnehin schon teuer genug geworden sind und vermutlich mitziehen dürften (auch angesichts PCIe 6 und später irgendwann DDR6).
(PC) Gaming wird zunehmend zum Luxushobby oder überhaupt PC Eigennutzung immer kostspieliger, aber Hauptsache ein KI Rechenzentrum nach dem nächsten wird (zuvorderst für Sprachmodelle) aus dem Boden gestampft ... verkehrte Welt irgendwie.
Es geht wohl nicht nur darum, dass man für die Anfragen bezahlt, sondern man bezahlt auch die bereits erfolgte Leistung (also das Aufbauen und Trainieren des Modells).
stefan92x schrieb:
dass die AI nicht mehr dem Menschen sagt, was er tun soll, sondern der CPU - also braucht man mehr CPU-Leistung
Beruflich habe ich mit den Agenten inzwischen auch zu tun, aber die Skills, die man denen gibt, ist ja eher trivial wie "lese folgende Datei" oder "ruf jenen REST-Service auf". Dass das letztlich soviel CPU-Last erzeugt, dass man wie hier im Artikel bereits von 1:1 Verhältnis spricht... bemerkenswert.
Der Blog Post von Daniel McNamara erklärt es ganz gut warum sich das Verhältnis von GPU und CPUs wieder verschiebt. Er führt führt auch weiter aus was Lisa Su im Earnings Call gesagt hat, die CPU haben unterschiedliche Rollen. Da die Rollen unterschiedlich sind werden die CPU nicht einfach direkt neben die GPU geklatscht.
Im Grunde hat Daniel McNamara durch die Blume angekündigt dass AMD ein zweites Rack neben Helios vorstellen wird. Reicht es schon für den 22 Juli?
Und noch ein paar Anmerkungen zum 1 zu 4 bei Helios. AMD hat durch die Blume mitgeteilt, dass die 256 Core Variante von Venice in Helios landet. Ist es wirklich sinnvoll die Sockel zu zählen?
Außerdem wie sieht die Rechnung bei NVIDIA aus wenn man ein CPU-Rack neben ein GPU Rack stellt?
Warten wir Mal in Ruhe ab, was aus PCIe wird. CXL wurde AFAIU nicht angenommen NVIDIAs NVLink macht sich im DataCenter breit. Ob UALink was wird bleibt abzuwarten.
Die PCIe SIG macht halt im Schneckentempo weiter und die Rückwärtskompatibilität wird es auch nicht einfacher machen. Die Frage ist, ob die PCIe SIG mit der optischen Datenübertragung noch rechtzeitig kommt.
Die JEDEC hat die Zeichen der Zeit erkannt und kurzfristig die bei DDR die Roadmap geändert um die Anforderungen zu Befriedigen. Und mit LPDDR6 eine zweite Alternative breitgestellt.
(...)
Warten wir Mal in Ruhe ab, was aus PCIe wird. CXL wurde AFAIU nicht angenommen NVIDIAs NVLink macht sich im DataCenter breit. Ob UALink was wird bleibt abzuwarten.
Die PCIe SIG macht halt im Schneckentempo weiter und die Rückwärtskompatibilität wird es auch nicht einfacher machen. Die Frage ist, ob die PCIe SIG mit der optischen Datenübertragung noch rechtzeitig kommt.
Die JEDEC hat die Zeichen der Zeit erkannt und kurzfristig die bei DDR die Roadmap geändert um die Anforderungen zu Befriedigen. Und mit LPDDR6 eine zweite Alternative breitgestellt.
Was meinst Du warum AMD den Deal mit Samsung abgeschlossen hat?
Ob sie es auch bei Notebooks und Desktops machen weiß ich nicht. Wenn man die Jubelarien von Trend Force über die gestiegen Speicherpreise sieht, würden die Bundles bei den Consumern nicht sonderlich beliebt sein. Das Umsatzwachstum bei Micron, SK Hynix und Samsung findet momentan fast ausschließlich über höhere Preise statt. Die Menge der ausgelieferten Bits ist in den letzten Quatalen nur sehr langsam gestiegen.
Die Interessante Frage ist wie stark ist der Preisanstieg durch Mehrfachkäufe erfolgt. Wenn AMD für die eigenen Server-CPUs die Module kauft und die Serverhersteller haben ebenfalls für ihre eigenen Server Module kauft könnte es sein, dass da Module übrig bleiben.
Auf der anderen Seite ist es schierer Wahnsinn wie viel Speicher in so ein Rack wandert. Bei Helios hat AMD bisher nur erzählt wie viel HBM verbaut ist. Allerdings hat AMD angedeutet, dass je GPU auch noch 24 LPDDR5/5x-Packages verbaut sind. Jetz kann man raten ob es je Package 16, 24, oder gar 32 GByte sind.
Ich habe neulich gelesen dass mit LPDDR6 bis zu 512 GByte je Package möglich werden. Man braucht halt schleunigstens die Fabs, die die erforderlichen Dies ausspucken.
Nur blöd wenn niemand dran gedacht hat, den Fortschritt auch sinnvoll, Umwelt und gesellschaftsverträglich einzusetzen.
Fortschritt ist ein ziemlich schwammiges Wort, war jetzt die Atombombe Fortschritt, oder die Kernenergie?
Ist Sprengstoff besser in Steinbrüchen oder Granaten zu verwenden?
Fortschritt ist erstmal nur die Benennung eines Prozesses, wichtig ist, was man damit anfängt.
Der Verbrennungsmotor war ein deutlicher Fortschritt bei Wärmekraftmaschinen, ist es fortschrittlich den noch zu verwenden, obwohl wir schon 50 Jahre wissen, was das Resultat ist?
Der Webstuhl hat eine Zeitenwende eingeläutet, und heute wird das durchschnittliche deutsche Kleidungsstück 2,5 mal getragen.
Fleischkonsum war ein wichtiger Punkt für die Hirnentwicklung unserer Vorfahren, ist es fortschrittlich jährlich Milliarden Tiere nach einem kurzen qualvollen leben zu verwursten obwohl die Wissenschaft (Fortschritt!!) mittlerweile weiß, dass die alle Gefühle und ein Bewusstsein haben, und das, und nebenbei noch riesige Flächen für deren Ernährung auf Generationen zu zerstören, und über den ganzen Prozess 30% der Treibhausgase zu produzieren?
Ich wollte eigentlich drauf hinaus, dass wir diskutiert hatten, ob Verano vielleicht sogar doch eine Variante mit 1 IOD wird. Dann hätte man nämlich 128 Kerne und 1:1 statt 256 Kerne und 1:2. Kommt als Verhältnis CPU/GPU-Leistung aufs gleiche hinaus, aber halte ich nach wie vor für denkbar.
Ich wollte eigentlich drauf hinaus, dass wir diskutiert hatten, ob Verano vielleicht sogar doch eine Variante mit 1 IOD wird. Dann hätte man nämlich 128 Kerne und 1:1 statt 256 Kerne und 1:2. Kommt als Verhältnis CPU/GPU-Leistung aufs gleiche hinaus, aber halte ich nach wie vor für denkbar.
Sorry, dass ich das so beantwortet habe. Die Idee mit einem IOD hielt ich für stichhaltig, da ich die GTC nicht so richtig verfolgt habe und deshalb all die Bilder mit 8 SOCAMM2 Moduln je CPU nicht gesehen hatte.
Wenn 8 SOCAMM2 je CPU möglich sind, gibt es IMO keinen Grund auf kleinere CPUs zu gehen. Wenn man nur ein IOD hat, hat man auch nur die halbe IO und die halbe Speicherbandbreite. Was ich eigentlich auch erwarte ist dass, AMD bei Verano eine für AI adäquate IO verbaut und keine die so stark gegen die GPU abfällt wie bei Venice.
Wie gesagt finde ich es komisch einfach nur CPU-Sockel zu zählen und völlig außer acht zu lassen, welche CPUs da drin stecken.
Schauen wir uns Mal Frontier an:
Von außen betrachtet 1 CPU und 4 GPUs je Node.
Und was sieht man wenn man sich einen Node genauer anschaut:
Die MI250X konnte nicht als 1 GPU agieren sondern war 2 GPUs in einem Package. Wir haben 8 CPU Chiplets und 8 GPU Chiplets. Und jeweils ein CPU-Chiplet war mir einem GPU-Chiplet verknüpft.
Also man kann bei Frontier mit 1:1 argumentieren, 1:4 oder 1:8.
Ergänzung ()
Ach ja auf 1:2 bin ich auch deswegen gekommen, weil ich denke mit SOCAMM bekommt man 2 CPUs so ziemlich auf dieselbe Fläche wie Venice + 16 DIMMs.
Der Satz ist schon so richtig. Aber richtig bedeutet eben nicht immer verständlich.
Das Problem ist in diesem Satz stecken zu viele Aussagen.
Das Verhältnis von CPU zu GPU wird sich wieder in Richtung 1:1 bewegen.
Andere sagen das schon eine Weile
AMD sagt das jetzt auch.
Die 3. Aussage ist so nicht ganz richtig. AMD sagt schon eine Weile, dass CPUs wichtiger werden. Und hat einen Zuwachs für CPUs durch AI prognostiziert.
Lisa Su hat jedoch erstmals im Quartal Call Q1 2026 das Verhältnis 1:1 explizit genannt. Und die Rate von 18 % auf 35 % erhöht.
Ich vermisse in dem Artikel eine Erklärung, warum CPUs nun auf einmal verstärkt im KI-Bereich eingesetzt werden sollen. Welche Vorteile bietet z. B. ein Verhältnis von 1:1 ggü. 1:4?
AFAIK wird mehr CPU Compute pro KI GPU/ASIC v.a. bei agentischen Loads benötigt. Denn wenn dann irgendwas mit der errechneten KI (v.a. Inferenz) gemacht werden soll, ist der Generalist (CPU) gefragt.
Für zB Training von Modellen wird eine CPU eher als Verkehrspolizist (traffic cop) benötigt, der dafür sorgt, daß die Daten dahin kommen, wo sie im Moment hin sollen. Und dafür reicht dann 1 CPU für mehrere GPUs oder ASICs.
Ergänzung ()
foofoobar schrieb:
Dann könnte es sich ja für AMD auszahlen das AMD bereits CPUs und GPUs auf einen Träger integriert hat.
Die Instinct Beschleuniger machen (zumindest im Prinzip) genau das. Im kleinen Rahmen benutzen sowohl die Nvidia Spark als auch die Strix Halos dieses Prinzip, die Strix Halo direkt mit Chiplets auf dem Träger.
AMD springt medial auf den Zug auf, in dem sie das ... Verhältnis ... übernehmen. (so, wie es die anderen jetzt schon tun)
Oder:
AMD springt auf den Zug auf, in dem das ... Verhältnis ... übernommen wird. (also auf den Zug bezogen)
Oder soll es bedeuten, daß dieses neue Verhältnis (jetzt die Vorherrschaft) bei AI übernimmt (und nicht AMD direkt etwas übernimmt, sondern nur auf den entsprechenden Zug mit aufspringt)?
