News SOCAMM3: Neuer RAM für Nvidia Rosa Feynman und AMD Florence

[stefan92x]

Die Dezentralisierung und die Freiheit des Internets wurden gerade erst wieder von Sam Altman indirekt in Frage gestellt.

Die fundamental größte Konkurrenz zu OpenAI ist lokal betriebene AI...

 

[syfsyn]

Was sich durchsetzen wird.

 

[ETI1120]

Mal abseits der technischen Diskussion: Die Frage wird auch sein, ob es dann überhaupt wieder bezahlbaren RAM, egal welcher Art, im Consumer-Bereich geben wird.

Das ist eine komplexe Frage.

Die einfachste Antwort ist die Speicherzellen skalieren nicht mehr und man muss auf 3D ausweichen. Mit 3D kann man die Kapazität erhöhen aber mit den 3D Prozessen skalieren die Kosten je bit nicht mehr so gut wie früher beim verkleineren der 2D Abmessungen der Speicherzellen. Die Kurve Kosten je Bit hat sich in den letzten 10 Jahren stark abflacht

Wenn man sich die Kosten je Bit anschaut, dann ist unbezahlbar schlicht und einfach das falsche Wort. Diese Preise hatten wir schon einmal. Das Problem ist dass der Speicherverbrauch in die Höhe geschnellt ist. Die Frage ist musste das so sein?

Speicher war billig also ist man verschwenderisch mit Speicher umgegangen. Also wenn die Programmierer Mal anfangen und ihren Code nach redundaten Datenablagerungen und Speicherlecks abzusuchen ... Oder sich Mal wieder Gedanken machen Daten effizient abzulegen ...

Die Dezentralisierung und die Freiheit des Internets wurden gerade erst wieder von Sam Altman indirekt in Frage gestellt.

Die Dezentralisierung ist spätestens seit den 1990er auf dem Rückzug. Weil die PCs zusammenarbeiten mussten und weil alles dezentraliert zu verwalten, in vielen Aspekten ineffektiv ist.

Die Freiheit des Internets ist seit der Jahrtausendwende auf dem Rückzug, die Liste der Gründe ist lang. Die echten, die vorgeschobenen Gründe. Das Internet ist übrigens eines der Werkzeuge mit der man die Dezentralisierung zurückfährt.

Der PC ist seit 2010 unübersehbar auf dem Rückzug. Als Terminal genügt vielen ein Smartphone.

Die Welt ist ein bisschen komplexer als das alte Bild zentraler Großcomputer und dumme Konsolen wiederbelebt werden könnte. Es gibt viele Beispiele bei denen zentrale Steuerungen versagen.

Was Sam Altmann gesagt hat ist 1:1 die Replik auf das Geheule der Gaming Influcer. Die heulen herum dass AI keinen Nutzen brächte aber ihr Spielzeug verteuert. Weil das mit dem Spielzeug schlecht klingt müssen die Influencer, edle Ideale vorschieben.

Die Problem mit der Replik von Sam Altmann sind, dass

• ohne User die die AI beauftragen gibt es keinen Cash für seine Server. Die Agenten mit eigenem Geld auszustatten wird IMO nicht funktionieren.
• LLMs auf den Servern nur einen Teil der Anwendungsfälle abdecken
• Daten auf Weltreise zuschicken, in vielen Anwendungsfällen nicht möglich ist.
  • Alles was ins Internet geschickt wird kann gelesen werden.*)
    Btw. auch alles was auf Rechnern ist die ans Internet angeschlossen sind. Ich finde es herrlich naiv wie in der IT in den letzten 30 Jahren agiert wurde.
  • Es ist ein bisschen weltfremd zu glauben, dass ein Auto oder Lastkraftwagen erst einen Server fragt, ob gebremst werden soll.

Also es wird nicht alles durch seine Server gemacht werden. Das was Sam Altmann gesagt hat, ist eine ebenso hohle Rhetorik wie das Geheule der Gaming Influencer.

*) Es kommt nur auf den Aufwand an.

Er agiert in einem komplett unkontrollierten Marktsegment und beschwert sich darüber, dass die Marktlogik nicht funktioniere.

Die Marktlogik funktioniert und deshalb steigen die Preise. Das bewirkt dass Anschaffungen hinterfragt werden. Anschaffungen, die sich nicht mehr lohnen werden verworfen oder verschoben. Das ist ein ganz wesentliche Funktion des Preises.

Zugleich gibt es einen großen Anreiz neu als Anbieter einzusteigen. Was allerdings bei Halbleiterspeichern sehr schwer ist. Denn Halbleiterspeicher herzustellen ist ein sehr kapitalintensives und zyklisches Geschäft. Bei jedem Angebotsüberhang mit extrem tiefen Preisen ist die einzige Frage, reichen die Kapitalreserven bis die Preise wieder ansteigen und das Unternehmen keine Verluste mehr macht. Diese Zyklen haben nur Samsung, SK Hynix und Micron überlebt. Die Liste derer die ausgestigen sind ist lang:

• Intel ist 1986 ausgestiegen.
• Die japanischen Unternehmen die Intel verdrängt haben sind ausgestiegen, ein Teil der Aktivitäten ist bei Micron gelandet
• Siemens hat Infineon abgespaltet. Infineon hat Qimonda abgespaltet. Qimondo ging 2009 in eine Insovenz mit Anschlusskonkurs
• ...
• Ein paar kleine Unternehmen haben sich in Nischen eingerichtet.

Beim aktuellen Zyklus kommen 4 Faktoren hinzu:

• DRAM skaliert kaum noch. Früher wurde auf einen neuen Node umgestellt was die praktisch Kosten halbiert und die Kapazität verdoppelt hat.
• Zwei neue Anbieter die potentiell die vollen Kassen des chinesischen Staates im Rücken haben.
• Die DRAM Speicherzelle kommt ans Ende. Sie kann in ihrer aktuellen Form nicht weitergetrieben werden und muss ersetzt werden.
• Akltuell wird erzählt dass der Nachfrageüberschuss bis 2030 anhalten solle.

Die aktuelle Situation ist neu. So stark sind die Preise von DRAM noch nie gestiegen. Das große Risiko für die DRAM Anbieter ist, dass sich die Märkte verändern. So dass auch langfristig die Nachfrage nach DRAM bei Smartphone, PC etc sinkt

Diese technische Entwicklung wird gerade von Menschen vorangetrieben, die ein komplett egoistisches Interesse an der Technik haben.

Wann war das nicht der Fall?

Ergänzung (Sonntag um 14:03)

Die fundamental größte Konkurrenz zu OpenAI ist lokal betriebene AI...

Lokal betriebene AI ist ein weites Feld.

Lokal auf dem PC ist nur ein Teil davon. Local auf dem Unternehmenserver, ...

AMD hat für den internen Einsatz ein Tool entwickelt, das entscheidet wo eine Anfrage abgearbeitet wird, so dass nicht Anfrage zu Anthropic bzw. OpenAI geschickt wird. IIRC hat AMD das auch veröffentlicht.



Da ist mir übrigens wieder eingefallen, es heißt OpenAI und Anthropic hätten in großem Stil Mac mit den größten RAM-Ausstattungen aufgekauft.

Ergänzung (Sonntag um 14:04)

Was sich durchsetzen wird.

Durch setzen wird sich viel. Es wird kein OneSize Fits all geben.

Ergänzung (Sonntag um 14:16)

Zum Thema Speicherknappheit.

Die Ursache kann im übrigen nicht Sam Altmann gewesen sein. Das was OpenAI vereinbart hat ging in die Zukunft und hat sich nicht ditrekt auf den 2025 verfügbaren Speicher ausgewirkt.

Sam Altmann hat bestenfalls eine Bestellorgie ausgelöst, unter dem Motto wenn der DRAM knapp wird kauf ich noch schnell Mal. So habe ich mich auch hinreißen lassen schon Mal den DRAM für die nächste Kiste zu holen.

Inzwischen ist klar dass NVIDIA in großem Stil DRAM aufgekauft hat. AMD und andere haben nachgezogen. So wie ich die Vereinbarung von AMD und Samsung verstehe ging es nicht nur um HBM.

Also neben der Unwägbarkeit wie lange der Boom anhält gibt es auch das Risiko dass der Speicher für einen Computer bereits doppelt oder gar dreifach eingekauft wurde.

Bei den 3 großen DRAM Herstellern gibt es momentan auch ein Wettrennen so schnell wie möglich neue Kapazitäten an den Start zu bringen. Denn wer zuerst kommt kann länger von den hohen Preisen profitieren.

 

[syfsyn]

Das sram nichtmehr kleiner wird ist seit 2016 klar geworden man kann dram nur noch stapeln was auch mti 24gbit und bald 32gbit auch gemacht wird.
Ram herzustellen ist einfach das schwierige ist die jedec norm zu erreichen bei möglichst wenigen wafer
China hat mit cxmt das innerhalb von 8 Jahren erreicht und das mit duv. Wo die konkurrenz schon lange mit euv arbeietet. Zwar wird nix mehr kleiner aber der ausschuß von fehlerhaften wafer wird geringer.
Alle hersteller habe mit euv grob 0,05 bis 0,15 an fehlerhaften chips china dürfte mt duv bei 0,4 sein
selbst DE könnte ne fabrik bauen bspw technik von Qimondas der Grund warum das hier nicht gebaut wird liegt an den energiekosten.
Es ist politisch versagt worden den Qimondas hat bis 2011 in de produziert. Gegründet 2006 starker aufstieg harter fall. So erging es vielen firmen damals und die politik hat nicht reagiert.
Das wir überhaupt ein faktisch monopol haben liegt an fehlender weitsicht. Es war klar das ohne forschung es stagniert und dann die kosten einen in die insolvenz treibt. Und man ist gegen 2 staatsfirmen mit unbegrenzten kapital angetreten einzig micron war rein privat
Wieso unsere politiker nur in die eigene breiftasche guckt als sich um die matterie zu beschäftigen. Andauernd Ablenkungs debatten in tv die nix bringen.
An der aktuellen situation ändert das aber nix. Warten istda s schlaueste was man aktuell macheh kann