News Cerebras CS-3 mit WSE-3: AI-Beschleuniger in Wafergröße hat 4 Billionen Transistoren

[stefan92x]

Nur eine einzelne WSE könnte man natürlich auch rund bauen. Aber wenn man hunderte in einem Supercomputer zusammenschalten will, dann wird die rechteckige Form doch wieder kompakter und billiger.

Das ist tatsächlich wurscht. Die WSE ist ein 15U hoher 19''-Server. Da kann man den Chip so oder so einbauen, egal ob er rechteckig oder rund ist.

 

[Spike S.]

Viel schlimmer an der deutschen Sprache ist, dass bei mehrziffrigen Zahlwörtern von 13 bis 99 das Pferd von hinten aufgezäumt wird, also die Einerstelle vor der Zehnerstelle gesprochen wird. Annähernd der ganze Rest der Sprachenwelt macht es der Reihe des Auftauchens nach. Seitdem ich darauf aufmerksam wurde, stolpere ich immer wieder drüber und muss überlegen.
Dafür können wir im Deutschen aber einzelne Worte wie "mehrziffrig" bilden (kreieren), dürfte in den meisten anderen Sprachen nicht möglich sein. Siehe auch Exportschlager wie "Kindergarten" und "Schiebedach"

Ansonsten, schon beeindruckend was die da konstruiert haben. Mich würde aber auch ein normalisierter Leistungsvergleich zur nVidia Lösung oder gar zu ordinären Consumer Produkten interessieren. Ich habe verstanden, der Chip ist ein ASIC, damit spezialisiert auf die an diesen gestellte Aufgabe. Die Frage ist nur, um welchen Faktor schneller und wie ist die Effizienz unterm Strich?

 

[immortuos]

Und ich bin heilfroh, das überall auf der Welt, Strom aus der Steckdose kommt. #puhh

Kommt halt auf den Einsatzzweck an. Wenn das Ding in paar Jahren für uns Krebsforschung betreiben kann, steh ich voll dahinter, wenn stattdessen Chat-GPT trainiert wird, uff...

 

[stefan92x]

Und wenn ChatGPT dann gut genug ist, um Forschungsergebnisse soweit aufzuarbeiten, dass man damit die Heilung für Krebs findet?

 

[Donnerkind]

Dafür können wir im Deutschen aber einzelne Worte wie "mehrziffrig" bilden (kreieren), dürfte in den meisten anderen Sprachen nicht möglich sein.

1000 is a multi-digit number. 😎

 

[calluna]

So langsam bewegen wir uns in einem Bereich, der das Gehirn eines 2-3 jährigen Kindes abbilden kann.

Ist mit "Parameter" bei den LLMs ein Gewicht für eine Verbindung gemeint, also das Äquivalent zu einer Synapse?

Das menschliche Gehirn hat 100Mrd Neuronen... mit jeweils 1 bis 100 000 Synapsen (nach Zelltyp), im Durchschnitt sind es 1000. (Bei Kindern sind es noch viel mehr, weil das Gehirn am Anfang vor allem über das Abbauen von Verbindungen lernt.)

Also mal davon abgesehen, dass eine Synapse bereits komplex und die Arbeit im Gehirn nicht nur über diese elektrischen Verbindungen erfolgt (sondern z.B. auch über Neuromodulatoren, den Glia-Zellen etc.) ... hätten wir selbst bei dieser sehr einfachen Betrachtung noch drei Größenordnungen mehr.

Und Wachstum ist für gewöhnlich nicht linear.

Es bleibt auf jeden Fall spannend... (und ein 2-3 Jähriges Kind braucht nicht Mrd. Beispiele, um zu generalisieren... es verbraucht dabei auch nicht MW an Strom.)

 

[Piktogramm]

So langsam bewegen wir uns in einem Bereich, der das Gehirn eines 2-3 jährigen Kindes abbilden kann. Aktuell sind wir noch eher bei Mäusen.

Da verwechselst du aber was. Es gibt Projekte, die Nervenzellen bzw. Netzwerke daraus simulieren wollen. Die sind wirklich auf Niveau von Mäusen. Diese Projekte haben mit dem aktuellem "AI"-Zeug aber nicht sehr viel gemein. Aktuelle AI ist gut im erkennen von Mustern und kann diese halbwegs replizieren. Diese Systeme haben aber in der Regel keine Fähigkeit um von sich aus ein abstrahiertes Modell ihrer Umwelt zu generieren und daraus Schlussfolgerunden zu ziehen. Letzteres gelingt Mäusen ansatzweise und Dreijährige sind praktisch mit nichts anderem Beschäftigt.

 

[theLittleCandy]

.. steh ich voll dahinter ..

ich ja auch, nur sollte und muss genügend Strom vorhanden sein

 

[cbmik]

Wenn 100 mal mehr Transen eine KI nur 10% schlauer machen wird das kein Skynet.

Die Schnelligkeit zum Verarbeiten sagt doch nicht wirklich was über die Schlauheit aus.
Die Schläue ist vom Trainingsergebnis abhängig, ob das Training 1 Stunde oder 1 Monat dauert ist doch egal.

 

[Nico25394]

Sowas könnte man sich auch schön an die Wand hängen.
Natürlich nur einen defekten, aber ich finde das würde eingerahmt wirklich schick aussehen.

Ähhhhh ich finde die Idee richtig sexy
Du weißt nicht zufällig ob man irgendwo Wafer kaufen kann?

 

[BAssDad]

Bis zu 2.048 für einen Hyperscale-AI-Supercomputer zusammenschalten lassen. 256 ExaFLOPS KI-Leistung.

Ein CS-3 belegt 15 RUs (Rack Units) und verbrauche 23 kW. Addiert werden müssen allerdings zusätzliche Verbraucher wie die MemoryX-Einheiten, die im Rack darüber positioniert werden.

Ich hoffe doch mal das das dann auch für Crysis endlich ausreicht. Dann müsste ich wohl aber mein gutes altes 300W NT upgraden. Wenn das am Ende auch noch alles in mein altes Workstationgehäuse geht dann seis drum.

 

[edenjung]

Ähhhhh ich finde die Idee richtig sexy
Du weißt nicht zufällig ob man irgendwo Wafer kaufen kann?

Leider nicht.
Und vom Laster fallen die auch nicht.
Vielleicht braucht man Kontakte in die Branche, die einem dann ermöglichen defekte Wafer zu kaufen.

 

[[wege]mini]

Da verwechselst du aber was.

Nene. Das war meine Form des Erklärungsversuches, 4 Billionen Transistoren in irgend etwas "greifbares" zu verwandeln und irgend wie zu zeigen, wo wir auf dem Weg der Entwicklung sind.

In 20 Jahren, lächelt man müde darüber.

Aber schön, dass du dich damit rudimentär auskennst.

mfg

p.s.

(und ein 2-3 Jähriges Kind braucht nicht Mrd. Beispiele, um zu generalisieren... es verbraucht dabei auch nicht MW an Strom.)

Beim ersten würde ich nicht meine Hand dafür ins Feuer legen. Die Sinne sind vielfältig und wer glaubt, das "Bewusstsein" würde entscheiden, überschätzt uns Menschen sehr und wer glaubt, das Gehirn ist der einzige "Denkapparat", hat nichts verstanden.

Die Sache mit dem Verbrauch ist richtig. Wir Menschen sind unglaublich effiziente "biomechanische Maschinen". Da hat dieser "Gott" was gutes gebaut. Die Sache mit dem "freien Willen" ging komplett nach hinten los, evtl. war es ja doch diese "Evolution".

Shit happens.

p.s.s.

Und für die, die es nicht glauben wollen: Es ist möglich zu reagieren, bevor das Gehirn gearbeitet hat und Gefühle wie Angst kommen und es ist möglich, Menschen so zu konditionieren, dass sie handeln, ohne es zu wollen. Das "Gehirn" ist auch nur ein "großer Computer" den man programmieren kann.

 

[LamaMitHut]

In 20 Jahren, lächelt man müde darüber.

Mach 4-5 Jahre draus. Dann sehen wir womöglich solche Chips auf Basis von Glassubstrat, Intel ist da gerade dran. Theoretisch ist damit die vierfache Chipfläche machbar, von anderen Fortschritten in der Halbleitertechnik / 3D packaging, HBM4 ganz zu schweigen.

Wo es mich richtig gruselt ist das Thema Wetware Computer, bei dem künstliche Organe verwendet werden.

Der ganze Artikel dazu ist hinter einer Zahlschranke, vielleicht interessiert es trotzdem einige hier:

Vom Gehirn inspirierte Computerhardware zielt darauf ab, die Struktur und die Arbeitsprinzipien des Gehirns zu emulieren, und könnte genutzt werden, um die derzeitigen Grenzen der Technologien für künstliche Intelligenz zu überwinden. Allerdings sind von Gehirnen inspirierte Siliziumchips nach wie vor nur begrenzt in der Lage, die Funktion des Gehirns vollständig zu imitieren, da die meisten Beispiele auf digital-elektronischen Prinzipien beruhen. Hier berichten wir über einen Hardware-Ansatz für künstliche Intelligenz, der die adaptive Reservoir-Berechnung biologischer neuronaler Netze in einem Hirnorganoid nutzt. Bei diesem Ansatz, der als Brainoware bezeichnet wird, erfolgt die Berechnung durch Senden und Empfangen von Informationen aus dem Hirnorganoiden unter Verwendung eines hochdichten Multielektroden-Arrays. Durch die Anwendung von raum-zeitlicher elektrischer Stimulation werden nichtlineare Dynamik und verblassende Gedächtniseigenschaften erreicht, ebenso wie unüberwachtes Lernen aus Trainingsdaten durch Umformung der funktionellen Konnektivität des Organoids. Wir veranschaulichen das praktische Potenzial dieser Technik, indem wir sie für die Spracherkennung und die Vorhersage nichtlinearer Gleichungen in einem Reservoir-Computing-Rahmen einsetzen. (Maschinelle Übersetzung)

https://www.nature.com/articles/s41928-023-01069-w

 

[Stromvermesser]

Um das noch etwas genauer zu definieren:
Im Englischen (auch im britischen und australischen Englisch) gibt es keine zweier Stufen ab der Millionen, wie es im deutschsprachigen Raum der Fall ist. Hier gibt es immer eine "ion" und "iard", was die Begrifflichkeiten doppelt nutzen lässt.

Im Englischsprachigen ist es tatsächlich "korrekt" - so, wie auch das originale im Latein gedacht ist. Million, Billion, Trillion, Quadrillion, Quintillion, Sextillion, Septillion ... abstammend von "Bi" = 2, "Tri" = 3, "Quad" = 4 ... you get the idea

Gibt es im britischen English, ist aber nicht mehr wirklich gebräuchlich außer in Süd-Afrika.
Milliard

 

[foofoobar]

Die Schnelligkeit zum Verarbeiten sagt doch nicht wirklich was über die Schlauheit aus.
Die Schläue ist vom Trainingsergebnis abhängig, ob das Training 1 Stunde oder 1 Monat dauert ist doch egal.

Und wenn das Training länger dauert als die Sonne Atome fusioniert?

 

[[wege]mini]

Wo es mich richtig gruselt ist das Thema Wetware Computer, bei dem künstliche Organe verwendet werden.

Es wird aber nicht anders gehen, wenn man dort hin will, wo man hin kommen kann.

Ob man es dann wirklich will, steht auf einem anderen Blatt Papier.

Wenn das, was man "Cache" nennt, in Aminosäuren speichert und die "Latenz" sich der Geschwindigkeit des Stromflusses annähert, sind wir da, wo dieser "Gott" schon einmal war.

LLMs sind ein Anfang. Aber auch nicht mehr. Der nächste Schritt, steht auf dem Papier, in der Theorie, schon fest. Ob man da sein will, wo man dann hin kommt, muss jeder von den "Machern" selber entscheiden.

Daher ist mein "Held" auch Tesla. Der Nikola hat sich entschieden, nicht alles zu bauen, was er bauen konnte und die Zeit war einfach noch nicht reif dafür und ist sie bis heute nicht.

Unendliche Mengen von Energie, die man mit Baumarktmaterialien an jedem Punkt der Welt erzeugen kann, sind immer noch nicht gut. Es gibt immer noch zu viele Menschen, die daraus Bomben bauen würden.

Einem Affen eine Waffe in die Hand zu drücken und hinterher zu sagen, der Affe wäre schuld, wenn er abdrückt, ist nur eine Form einer Lüge an sich selber. Das muss man nicht haben.

Daher gehe ich von 20 Jahren aus und ich hoffe, bis dahin haben wir etwas erreicht, was man "Weltfrieden" nennt. Sonst kommt es evtl. sogar nie. But the hope dies last.

Die Sache mit den "Quantencomputern" steht auch noch im Raum. Die sind aber gerade noch in der "Krippe".

mfg

 

[HoseeJonatan]

Tatsächlich liegt der "reale Verlust" schon noch geringer, da ja nicht der ganze Kreis nutzbar ist, sondern die kompletten Randbereiche mit nur teilweise belichteten "Segmenten" (ich weiß gar nicht, wie man das da am besten nennt) gefüllt sind.

Erzähl das mal diesem Rickmer, der glaub eher an den Weihnachtsmann als an die Realität...

 

[SakuraMagic]

Wie hoch ist der Preis für diesen Superchip? Ist er wirklich kostengünstig im Vergleich zu einem Multichip?

 

[Moritz Velten]

Wahrscheinlich für Privatpersonen unbezahlbar.