News zNAND-O: Samsung träumt von NAND-Flash mit 3 µs und 400 GB/s

[MichaG]

Um KI-Anwendungen direkt auf dem Gerät (On-Device-AI) zu beschleunigen, plant Samsung einen speziellen NAND-Flash mit sehr hoher Leistung. Das Konzept heißt zNAND-O und soll sehr geringe Zugriffszeiten und einen sehr hohen Durchsatz liefern.

Zur News: zNAND-O: Samsung träumt von NAND-Flash mit 3 µs und 400 GB/s

 

[Brainorg]

Go4it. Es muss ja immer weiter gehen und ein vollständiges AI Model direkt auf dem Device.... sehr gerne 👌🏼

 

[lmfaktor]

Die sollen zuerst generell, selbst bei heutiger Generation der Speicher, das Hitzeproblem erst lösen.

 

[latexdoll]

Etwas nerven diese Nachrichten ;-)
Können die nicht einfach Bamm wir haben 512 PB mit 0,1 mircosekunden und 1 PB/sek Transfer ?

Jensen würde das sehr gefallen.

 

[AssassinWarlord]

Kann ich mir nicht vorstellen, das mit dem KI beschleunigen auf einem Endgerät...
KI soll doch Cloud Only bleiben wenn es nach den großen Tech-Giganten geht, nur so kann man schön kontinuierlich Geld abschöpfen und ab und an die Abo Preise "anpassen"

 

[KarlsruheArgus]

KI soll doch Cloud Only bleiben wenn es nach den großen Tech-Giganten geht, nur so kann man schön kontinuierlich Geld abschöpfen und ab und an die Abo Preise "anpassen"

Hier sollte man die Schaufelverkäufer (Nvidia, SK Hynix, Samsung etc.) nicht mit den Gold-Claim-Besitzern (OpenAi, Anthropic und Konsorten) verwechseln.

Den Schaufelverkäufer wird es freuen, wenn auch abseits der Großen viele Kleine ihr Glück versuchen.

 

[catch 22]

Den Schaufelverkäufer wird es freuen, wenn auch abseits der Großen viele Kleine ihr Glück versuchen.

vor allem weil es für jeden, der es dann schafft, hundert gibt, die gescheitert sind, nachdem sie frisch verpackte Hardware gekauft und bezahlt haben

 

[0x8100]

Die sollen zuerst generell, selbst bei heutiger Generation der Speicher, das Hitzeproblem erst lösen.

dein flash wird zu warm? oder doch der controller?

 

[orodigistan]

ich träume von einfachen und vorallem billigen SSDs für 30 € pro Terabyte aber träume bleiben schäume.

 

[Piktogramm]

Kann ich mir nicht vorstellen, das mit dem KI beschleunigen auf einem Endgerät...
KI soll doch Cloud Only bleiben[...]

Das Betreiben von Rechenzentren und deren Anbindung kostet Geld, entsprechend will man nach Möglichkeit auf die Rechenzentren nur den Kram, der sich verwerten lässt.
Wenn irgendwer ein Bild seiner Katze macht, dann läuft der Autofokus mit Objekterkennung um eine sinnvolle Auswahl zu treffen und die Schärfe selbst einzustellen schon über neuronale Netzwerke. Mindestens läuft das auf einem Signalprozessor/NPU[1]. Der Rohdatenstrom vom Sensor läuft über den selben Signalp./NPU Cluster, die Klassifizierung was das Bild zeigt, läuft auch lokal. Das alles erst zum Rechenzentrum zu streamen wäre unsinnig. Gescheit verwerten lässt sich hingegen die Information, dass ein Foto einer Katze gemacht wurde, dass die Katze erfolgreich wiedererkennt wurde.

Ähnliches bei Liveübersetzung von Text oder Ton. Die Tokens können beim Clienten aufgebracht werden. Für jene, die die AIs trainieren ist im Zweifelsfall nur dasr vom Datenumfang deutlich reduzierte Transkript und Übersetzung bzw. eine Zusammenfassung dessen interessant verwertbar. Nur wenn die lokalen neuronalen Netzwerke in der Eigenbewertung unsicher werden, werden Rohdaten interessant. Denn damit kann man die NNs nachschärfen.

An der Stelle wird schneller Flasch interessant, da muss das das Modell nicht wie jetzt erst in den RAM geladen werden, was spürbar Zeit kostet und andere Anwendungen/Apps aus dem Speicher drängt.

[1] Technisch sind Signalprozessoren für Ton/Bild sehr nah an dem was man für NPUs braucht, dass wird daher teils zusammengefasst.

#######################################

https://pics.computerbase.de/1/2/4/1/9/2-9e6f5bbf81a6a485/2-1280.77596bb1.jpg

Herstellerfolien, als ob die Leitungslängen ausschlaggebend wären. Es wird eher so sein, dass die gestapelten, mit TSV verbunden Dies deutlich mehr Kontakte haben und in deutlich kleinere Blöcke unterteilt sind. Damit es auf den Blöcken und auf dem Interconnect weniger Konkurrenz gibt.

 

[Chaosbreed]

@lmfaktor Die meiste Hitze kommt doch vom Controller und nicht vom Speicher selbst.?

Erstmal bezahlbar auf den Markt bringen, dann gucken wir mal wer der Erste ist. Wenn man da irgendwie so 32-64 GB extra Speicher für die Ki-modelle auf dem Smartphone bekommt wäre das auch nice. So lange man die KI-Modelle auch updaten kann.

Wenn der Speicher so schnell ist wird er direkt auf oder an dem SOC sitzten. Somit entfällt vermutlich auch viel Abwärme von einem extra Controller/Schnittstelle

 

[lmfaktor]

Wo laufen die beiden getrennt voneinander? USB-Stick, SSD. Werden die nicht heiss? Aber immer, sehr sogar. Dabei handelt es sich da um Geschwindigkeiten unter 1 GB/s.

 

[pioneer3001]

Wenn das zNAND-O schon funktionieren würde, dann gäbe es Zeitpläne. Aber mehr als ein Wunsch ist das wohl nicht. Jeder kann phantasieren was in Zukunft an Technologie möglich wäre. Seit ca. 50 Jahren werden bspw. komplett selbstfahrende Autos real erforscht. Und die Dinger verursachen heute immer noch ständig planlosen Halt auf der Straße (siehe Youtube-Videos aus China). Bei Flash und Speedups von 15x bzw. mehreren TB/s frage ich mich aber wie schnell der Flash dann sterben würde. Das und Hitze könnten die größten ungelösten Problem davon sein. Und das könnte auch womöglich erst in Jahrzehnten gelöst sein, lange nach der aktuellen LLM-Blase.