Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsHigh Bandwidth Flash: Arbeiten am HBF-Standard starten im März
Gemeinsam wollen SK Hynix und Sandisk den vor einem Jahr vorgestellten High Bandwidth Flash (HBF) zu einem neuen Speicherstandard erheben. Jetzt wurde der nächste Schritt verkündet. Die Arbeiten am HBF-Standard sollen im Rahmen des Open Compute Project (OCP) im März begonnen werden.
Normalerweise nutzt man SRAM (Cache) oder DRAM (als BGA oder HBM) ja auch wegen der Latenz. Ich bin sehr gespannt wie schnell HBF Daten liefern kann und ob man innerhalb der GPU dann zum Kompensieren der Latenz riesige L3 oder L4 Caches benötigt.
Ich hätte bei der Vorstellung einen Mischbetrieb erwartet. Also SRAM on-Die auf der GPU, dann einen Stack HBM als DRAM “Cache” und zusätzlich einen Haufen HBF für alles was zwar im “RAM” liegen muss, aber langsamer im Zugriff sein kann.
Man darf gespannt sein was HBF am Ende kann.
EDIT:
Die News war letzten Sommer schon da, dort gibts auch ne Folie mit 2xHBM und 6xHBF Stacks. Also so wie ich mir das gedacht habe…
HBM als Speicher zu Consumerpreisen wär natürlich mal was; ich fürchte nur das die Partnerschaft mit Sandisk eher das strategische Invest in zusätzliche Produktionskapazitäten, also die anhaltende Nachfrage von AI Compute, absichern soll.
Wäre natürlich geil wenn der "trickle down" Effekt gestoppt wird, wir die Technologie in kurzer Zeit überall sehen, aber ich denke das muss sich noch über Jahre durch Bigtech runter finanzieren bis wir HBM als Speicher im Consumer Rechner sehen.
Ich hätte bei der Vorstellung einen Mischbetrieb erwartet. Also SRAM on-Die auf der GPU, dann einen Stack HBM als DRAM “Cache” und zusätzlich einen Haufen HBF für alles was zwar im “RAM” liegen muss, aber langsamer im Zugriff sein kann.
Mein Gedanke war sogar eine Mischung von HBM und HBF. quasi ein paar Schichten als Cach Layer, der Rest für mehr Volumen. Dann benötigt es aber einen klugen Controller.
HBF wird vermutlich nicht für uns sein. Wie auch HBM. Als HBM auf der ersten AMD Grafikkarte kam hatte ich große Hoffnung das das für den Gamer was wird...
So wie ich das verstehe, ist das hier so gedacht, dass man im HBF das jeweilige AI-Modell speichert, dass man dann im Inferenzbetrieb anwendet. Da würde also tatsächlich wenig geschrieben werden (eigentlich nur dann, wenn der Trainingscluster ein neues Modell ausspuckt, also alle paar Wochen mal). Also eigentlich kein "Datenspeicher" sondern ein "Programmspeicher"
Die Behauptung "HBF ist kein Ersatz für Irgendwas" bedeutet "Wir nehmen Premium-Preise". Und das hat den simplen Grund dass wenn man 16 mal mehr Transistoren verbaut, man auch mindestens 16 mal mehr Dollars verlangen muss. Nur könnte eine Einführung erst 2030 bedeuten "Dead by Arrival". Die Blase könnte schon platzen wenn OpenAI Anfang 2027 erste Eernings der Börse melden muss und man da genaueres unschönes zum kaputten Business von OpenAI erfahren wird. Falls OpenAI tatsächlich Ende 2026 an die Börse geht. Die gehen aber mit negativem KGV (=negativer Gewinn) an die Börse und nicht weil sie ein funktionierendes Business ausbauen wollen. Sie wollen Geldverschwendung ausbauen bis mindesten 2030. Da wollen sie dann 100 Mio. Dollar Gewinn vermelden bei jetzt schon investierten 60 Mrd. Dollar.
Wie unpraktisch solche Hardware mit Verfallsdatum Herzustellen. Die kann man dann weg werfen wenn ein kleines Detail Defekt ist. Genau so wie mein MacBook AIR M2 mit fest verlöteten RAM Speicher/SSD. Gab ja leider nichts günstigeres im PC Bereich zu der Zeit.
Hier ist Fortschritt. Wenn eine Karte mit HBF gebaut wird, bekommt sie weniger HBM und braucht weniger lokalen SSD Storage, denn HBF ist effektiv eine SSD mit HBM-Bandbreite. Ja, der Preis dafür ist, dass das ganze verlötet wird, aber effizienter wird es dadurch eben auch.
Und allein was dadurch an Strom gespart werden kann, ist beträchtlich. Das wiegt den Preis für ein paar vorzeitig verstorbene Systeme sicher auf.
Ich gestehe, ich checks nicht. Wofür braucht man schnellen Flash bei KI? Selbst RAM ist zu Langsam, also geht man auf VRAM und HBM. Soll der HBF jetzt so schnell sein, dass er zwischen VRAM und HBM liegt von der Bandbreite? Oder wie oder was? Die Modelle müssen in den Ram. Da kann man auch ne olle 5.400rpm HDD in 1,5 Zoll-Bauweise dran häng...
Also wofür bitte? Die einzige Vermutung, die ich habe, um die Trainigsdaten schnell genug ran zu schaffen, weil die keiner auch nur in normalen RAM bekommt. Aber mit Training hab ich tatsächlich so gar keine Erfahrung.
Wenn man es so macht wie @stefan92x schreibt, spielen die begrenzten Schreib Zyklen keine Rolle.
Größere Modelle im Speicher lokal vorhalten zu können hilft eben massiv.
Ergänzung ()
SSD960 schrieb:
HBF wird vermutlich nicht für uns sein. Wie auch HBM. Als HBM auf der ersten AMD Grafikkarte kam hatte ich große Hoffnung das das für den Gamer was wird...
Raja Koduri meinte rückblickend war die GPU zu klein. Deshalb hat sie damals nicht von HBM profitiert. Und so haben die Data Center GPUs HBM adoptiert und geben es nicht mehr her.
So wie sich HBM entwickelt hat ist es nicht mehr für Konsumerprudukte geeignet.
