News Nach Nvidia, Meta & Co: Auch AMD bewirbt nun das 1:1-CPU-GPU-Verhältnis für AI

MoinWoll schrieb:
Ich vermisse in dem Artikel eine Erklärung, warum CPUs nun auf einmal verstärkt im KI-Bereich eingesetzt werden sollen. Welche Vorteile bietet z. B. ein Verhältnis von 1:1 ggü. 1:4?
"AI Agents" sind dafür verantwortlich. Die KI läuft auf den GPUs und beauftragt die CPUs damit zu recherchieren, das Internet zu durchsuchen, Datenbanken abzufragen, usw.
 
  • Gefällt mir
Reaktionen: schegga
juergenonly schrieb:
"AI Agents" sind dafür verantwortlich. Die KI läuft auf den GPUs und beauftragt die CPUs damit zu recherchieren, das Internet zu durchsuchen, Datenbanken abzufragen, usw.
Die CPU muss dabei aber überhaupt nicht nah an die GPU gekoppelt sein, weil die Kommunikation dazwischen eh nur mit ein paar wenigen KBytes pro Sekunde läuft und die Latenzen LLM-bedingt um Größenordnungen höher sind als die Netzwerklatenzen.

Soll heißen: Natürlich kann man CPUs und GPUs enger verbandeln, es bringt aber wenig bzw. verringert eigentlich nur die Flexibilität des Diensteanbieters. Was, wenn ein Kunde dann doch in erster Linie CPUs oder in erster Linie GPUs will?
 
Faust2011 schrieb:
das ist dann das Inferencing und das läuft auch auf CPUs sehr gut.
Ich hab zu Hause einen Homeserver mit 88 Kernen und nur für ollama 2x Quadro P5000. Die VM braucht weder RAM noch CPU-Power, solange alles in den VRAM der GPUs passt für das nutzen von KI-Modellen.
 
Zuletzt bearbeitet:
Moep89 schrieb:
Ich wäre in diesem Kontext ja eher für 0:0. Wir müssen wirklich nicht all unsere Ressourcen in noch größere KI-Zentren stecken. Und besonders nicht in Doppel-, Dreifach-, Mehrfachstrukturen, weil wie beim Streaming jeder meint, sein eigenes Ding machen zu müssen. Unsere Ressourcen sind so schon knapp genug.
Ist das also eine Argumentation für mehr Monopole? Ich glaube kaum dass so viele Leute hier in einem Umfeld ohne Konkurrenz arbeiten. Gerade weil es mehrere Unternehmen machen entsteht dadurch Innovationsdruck und Weiterentwicklung. Wir sind bei einer riesigen Nachfrage und am Ende teilt sich nur der Marktanteil auf. Hätten wir Mehrfach-Strukturen könnte sich da kein Unternehmen halten, weil das Angebot deutlich über der Nachfrage wäre. Momentan ist es aber umgekehrt.
Ergänzung ()

Faust2011 schrieb:
Spekulation: Bisher stand das Training von neuronalen Netzen im Vordergrund und dafür braucht man vor allem GPUs. Inzwischen hat man genug trainierte Netze zur Verfügung und man möchte sie auch einsetzen bzw. in den Rechenzentren kommt man auch viel Last dahingehend -> das ist dann das Inferencing und das läuft auch auf CPUs sehr gut.
CPUs sind auch für Inferencing in der Leistungsklasse viel zu ineffizient - gerade darauf hat ja Nvidia zuletzt sehr stark das Augenmerk gelegt. Es gibt einfach Schritte in der Pipeline der Datenprozessierung / -aufbereitung oder anderweitige Algorithmen welche (bisher nur) auf der CPU laufen.
Ergänzung ()

Masheikh schrieb:
Nur blöd wenn niemand dran gedacht hat, den Fortschritt auch sinnvoll, Umwelt und gesellschaftsverträglich einzusetzen.
Fortschritt ist ein ziemlich schwammiges Wort, war jetzt die Atombombe Fortschritt, oder die Kernenergie?
Ich finde das schon sehr vermessen. Wenn jeder neue Golf 2-10x mehr Kofferraumvolumen/Geschwindigkeit/Reichweite hätte und dafür aber nur 50% mehr kostet oder verbraucht würde man da doch Bauklötze staunen. Die Entwicklung im KI-Bereich ist brutal schnell - macht aber manche Anwendungsfälle auch erst möglich.

Am Ende ist alles eine Frage der Energieverfügbarkeit. Da sind wir aber vor allem bei "Not In My Backyard". Jeder sieht in allem was er mag nur die Vorteile und in allem was er nicht mag nur die Nachteile. Ich kann nicht gegen den Bau von Stromtrassen oder Wohnungen demonstrieren und mich dann über höhere Preise wundern.
 
Zuletzt bearbeitet:
Moep89 schrieb:
Unsere Ressourcen sind so schon knapp genug.
Wobei KI letztlich aber auch helfen wird Ziele in der Raumfahrt zu erreichen, was langfristig dazu führen wird die verbrauchten Ressourcen wieder auffüllen, durch Weltraumbergbau. Zudem können mit KI schneller Lösungen gegen den Klimawandel und Umweltschäden gefunden werden.
Man kann das ja schön vergleichen: hast du ein Auto? Sehr viele Menschen haben eins, sehr viele von ihnen bräuchten keines. Größe Ressourcen Verschwendung, es werden aber neben Luxus, Spielerei und Spaß sehr viele Vorgänge beschleunigt und effizienter im Alltag,... Genau wie mit KI.
 
yetisports schrieb:
Am Ende ist alles eine Frage der Energieverfügbarkeit. Da sind wir aber vor allem bei "Not In My Backyard". Jeder sieht in allem was er mag nur die Vorteile und in allem was er nicht mag nur die Nachteile. Ich kann nicht gegen den Bau von Stromtrassen oder Wohnungen demonstrieren und mich dann über höhere Preise wundern.
@yetisports
NIMBY ist sicher ein großes Problem, trotzdem ist die Sache sehr viel komplexer.
Wir haben die Gehirne von Höhlenmenschen, und so handeln wir, es geht um Gefühle und Ressourcen, die wenigsten handeln objektiv und sachlich, spätestens in den eigenen vier Wänden und bei der eigenen Passion hat die Großhirnrinde pause und ein Politiker/CEO würde sich auch drum kümmern, dass die Trasse, die er will nicht in seinem Hinterhof verläuft.
Das sehen natürlich die Leute.
Und die hohen Preise haben nur bedingt bis garnix mit der Form der Stromerzeugung zu tun, da ist ganz viel Lobby und Politik im Spiel.
 
Masheikh schrieb:
Und die hohen Preise haben nur bedingt bis garnix mit der Form der Stromerzeugung zu tun, da ist ganz viel Lobby und Politik im Spiel.
Das würde ich bezweifeln. Der Preis ergibt sich aus der Energieverfügbarkeit im Zeitpunkt des Verbrauchs. Vielleicht (noch) nicht für den Privathaushalt, aber definitiv an der Strombörse. Der Verbrauch lässt sich bestimmt etwas an die Verfügbarkeit/Erzeugung anpassen. Momentan ist aber der Gap bei EE und Verbrauch noch weitaus problematischer als die 50% im Durchschnitt, da die Volatilität zwischen 0% und >100% liegt. Netze, Speicher/Backup-Kraftwerke, Redispatch - um mal ein paar Begriffe zu nennen. Und wenn wir auch Verkehr und Wärme verstromen sind wir ja aktuell bestenfalls bei 20%. Es wurde schon viel Geld ausgegeben und das Ergebnis ist im aktuellen Stand in den Bereichen Verfügbarkeit und Umweltverträglichkeit weitaus schlechter als man es gerne so redet.

Viele Menschen/Parteien die Kapitalmärkte aufgrund von Volatilität für Teufelszeug halten setzen bei der Energieerzeugung ausschließlich auf ein Konzept mit einer solchen Volatilität und ignorieren die Probleme. Da verspielt man leichtsinnig das Vertrauen in die Energiewende.
 
  • Gefällt mir
Reaktionen: Masheikh
Fighter1993 schrieb:
Diese Erde ist CO2 technisch am Ende.
Das ist schon wieder schnee von gestern. Der IPPC hat sein 8.5er Scenario gecancelt und gelöscht, da es unrealistisch war. 55000 Studien die seit 2020 auf dieser Datenbasis erstellt wurden, müssen jetzt alle neu gemacht werden.
Welt
Berliner zeitung


Wieso ist in 50 Jahren hier das Licht aus? Weils dann 3 Grad wärmer ist? Ich frag mich bei solchen Aussagen immer, wie die Menschen in Thailand überleben. Dort sind es aktuell 35 Grad und keiner verbrennt dort
Ergänzung ()

Masheikh schrieb:
Nur blöd wenn...
Na dann geh doch mit guten Bsp voran. Spende all dein Geld, Nuckel an Steinen, Spende all dein Besitz, es gibt Millionen die weniger haben als du. Zeih aus deinen 4 Wänden aus, damit sie ein anderer haben kann. Die Grünen Kommunisten wären stolz auf dich!
 
Zuletzt bearbeitet:
yetisports schrieb:
Das würde ich bezweifeln. Der Preis ergibt sich aus der Energieverfügbarkeit im Zeitpunkt des Verbrauchs. Vielleicht (noch) nicht für den Privathaushalt, aber definitiv an der Strombörse. Der Verbrauch lässt sich bestimmt etwas an die Verfügbarkeit/Erzeugung anpassen. Momentan ist aber der Gap bei EE und Verbrauch noch weitaus problematischer als die 50% im Durchschnitt, da die Volatilität zwischen 0% und >100% liegt. Netze, Speicher/Backup-Kraftwerke, Redispatch - um mal ein paar Begriffe zu nennen. Und wenn wir auch Verkehr und Wärme verstromen sind wir ja aktuell bestenfalls bei 20%. Es wurde schon viel Geld ausgegeben und das Ergebnis ist im aktuellen Stand in den Bereichen Verfügbarkeit und Umweltverträglichkeit weitaus schlechter als man es gerne so redet.
Letzten März waren EEs oft preissetzend:
yetisports schrieb:
Viele Menschen/Parteien die Kapitalmärkte aufgrund von Volatilität für Teufelszeug halten setzen bei der Energieerzeugung ausschließlich auf ein Konzept mit einer solchen Volatilität und ignorieren die Probleme. Da verspielt man leichtsinnig das Vertrauen in die Energiewende.
Als wenn Dunkelflauten nicht prominent diskutiert werden.
Ergänzung ()

Mal was zur Realität der Stromversorgung der AI-DCs:

https://www.spiegel.de/wissenschaft...olumne-a-2d52b87f-2e58-44ba-9c98-e28a9093e185
 
  • Gefällt mir
Reaktionen: Masheikh
bytzmaster schrieb:
]

Na dann geh doch mit guten Bsp voran. Spende all dein Geld, Nuckel an Steinen, Spende all dein Besitz, es gibt Millionen die weniger haben als du. Zeih aus deinen 4 Wänden aus, damit sie ein anderer haben kann. Die Grünen Kommunisten wären stolz auf dich!

Lustig, und den Erfolg des Kapitalismus, beruhend darauf, dass er Anfang des 20. Jhd. Teile des Sozialismus adaptiert, so einen Wohlstand für die breite Masse geschaffen hat, die ihn durch Konsum am Leben hält, blendest du einfach aus, oder wie?
Was denkst du, wo das Sozial in Sozialdemokratie her kommt?
Pass auf, ich mach was du vorschlägst und du, was ich.
Ich schlage vor, du lebst wie im 19. Jhd. mit deinen sieben Kindern, die auch alle 14h am Tag, 6 Tage die woche in der selben Fabrik wie du arbeiten, in einem Arbeiterquartier, auf 20m², das dein altruistischer Chef nur für dich gebaut hat, hast keine Krankenversicherung, keinen Urlaub, und dein Lohn reicht gerade so für die Butter aufs Brot.
Ach die Molkerei und Bäckerei gehören natürlich auch deinem Chef.
 
bytzmaster schrieb:
Wen willst du eigentlich mit diesen Käseblättern beeindrucken oder überzeugen?
Und dann sind auch noch hinter einer Paywall.
bytzmaster schrieb:
Na dann geh doch mit guten Bsp voran. Spende all dein Geld, Nuckel an Steinen, Spende all dein Besitz, es gibt Millionen die weniger haben als du. Zeih aus deinen 4 Wänden aus, damit sie ein anderer haben kann. Die Grünen Kommunisten wären stolz auf dich!
Ist das alternativlos?
 
  • Gefällt mir
Reaktionen: Masheikh
Masheikh schrieb:
Willkommen im jahr 2026...sich auf Loorbeeren von vor 130 Jahren Jahren auszuruhen, ist wie den heutigen Amerikanern vorzuwerfen, dass Ihre vorfahren 17 hundert hau mich blau mal sklaven hatten...
Es ist also kein wunder, dass die linken Bubbles gerade alle Platzen in der westlichen Welt.
Ergänzung ()

foofoobar schrieb:
Wen willst du eigentlich mit diesen Käseblättern beeindrucken oder überzeugen?
Und dann sind auch noch hinter einer Paywall.

Ist das alternativlos?
Also weil du diese Medien nicht magst, stimmen die Meldungen also nicht? Treu auf roter Linie :D
 
bytzmaster schrieb:
Willkommen im jahr 2026...sich auf Loorbeeren von vor 130 Jahren Jahren auszuruhen, ist wie den heutigen Amerikanern vorzuwerfen, dass Ihre vorfahren 17 hundert hau mich blau mal sklaven hatten...
Es ist also kein wunder, dass die linken Bubbles gerade alle Platzen in der westlichen Welt.
Physik interessiert sich nicht für rechte Blasen.
bytzmaster schrieb:
Also weil du diese Medien nicht magst, stimmen die Meldungen also nicht? Treu auf roter Linie :D
Warum sollte ich den fossilen Lobbyismus irgendwelcher Geldsäcke (also Minderheiten) mögen?
 
  • Gefällt mir
Reaktionen: Masheikh
Fighter1993 schrieb:
dann ist hier in 50 Jahren das Licht aus
Dazu fällt mir ein Witz ein, den ChatGPT mir vor einer Ewigkeit mal erzählt hat:

Treffen sich zwei Planeten.
Sagt der eine: „Du siehst aber schlecht aus. Was hast du denn?“
Sagt der andere: „Ich habe Menschen.“
Antwortet der erste: „Keine Sorge… das geht vorbei.
 
  • Gefällt mir
Reaktionen: Fighter1993
bytzmaster schrieb:
Wieso ist in 50 Jahren hier das Licht aus? Weils dann 3 Grad wärmer ist? Ich frag mich bei solchen Aussagen immer, wie die Menschen in Thailand überleben. Dort sind es aktuell 35 Grad und keiner verbrennt dort
Du verstehst das falsch. Wenn Global die Temperatur um 3 Grad steigen würde heißt das nicht nur das wir hier statt 30 Grad 33 Grad haben sonder das durch das schmelzende Eis der Pole der Meeresspiegel steigt. Und Wetter extreme zunehmen.
Das bedeutet Küstenregionen und Inseln gibt es zum Teil nicht mehr.

Die Folgen massive Flucht aus diesen Ländern. Es ist aber gar kein Platz für all diese Menschen. Ergo wird es zu Aufständen oder Kriegen führen…
 
Sapphire Forum
Zurück
Oben