News Speicher für KI-Beschleuniger: Kioxia will Nvidia eine 100-Millionen-IOPS-SSD liefern

bensen schrieb:
Wie in der News schon angedeutet. Vielleicht waren 512 Bit IOPS gemeint. Dann reicht PCIe 7.0 x8.
Nur wird es bis dahin noch keine PCIe 7.0 Plattform geben.
Ich würde die Vermutung nicht mal auf die 512 Byte einschränken, womöglich auch darunter. Es geht in dem Fall sicher nicht wirklich um die mögliche Datenmenge, sondern viel mehr um die Zugriffszeit. Bei 100mio IOPS müssten das unter 10ns sein. Die Datenrate die möglich ist, wird dann wohl nur von der Breite des Interfaces und der Generation beschränkt sein.

Auf alle Fälle sind wir da schon in RAM Bereichen. Spannend auch, ob über PCIE überhaupt derart niedrige Zugriffszeiten zu realisieren sind? Für mich riecht das eher nach direkter Anbindung auf der GPU...
 
bensen schrieb:
Vielleicht waren 512 Bit IOPS gemeint. Dann reicht PCIe 7.0 x8.
Nur wird es bis dahin noch keine PCIe 7.0 Plattform geben
Für 51,2 GB/s? Da reicht auch 7.0x4/6.0x8 bzw. über heutige 5.0x16 wäre sogar schon möglich, da brauchen die nicht auf 7.0 zu warten.
Ergänzung ()

GT200b schrieb:
Bekommen wir dann neue 4TB M.2 SSD's mit 100mio IOPS
Nein, denn M.2 bedeutet automatisch "4x Lanes only". Wäre demnach also erst mit 8.0x4 möglich. (und bis dahin wird ein Umstieg auf optische Verbindungen nötig und evtl. ein anderer Formfaktor)
 
Zuletzt bearbeitet:
Warum denken eigentlich alle das die den Speicher mit PCIe verbinden? Vielleicht kommt der Chip direkt mit aufs PCB und bekommt eine Schnittstelle wie der RAM. Oder er bekommt seine eigene Schnittstelle. Wenn die wollen könnte sogar beides per Chip2Chip verbunden werden.
 
  • Gefällt mir
Reaktionen: GerryB
Nighteye schrieb:
PCIe 5.0 wäre da schon zu langsam oder ?
Also ich vermute die neuen SSD,s bräuchten dann schon langsam PCIe 6.0 Mainboards oder ?
Kommt auf die Art des Zugriffs an, bei 4k random limitiert eher die SSD selbst, sieht man auch in den CB Benchmarks wo PCIe 4 SSDs teilweise schneller als 5er sind.
 
Steven Coolmay schrieb:
Warum denken eigentlich alle das die den Speicher mit PCIe verbinden?
Die Vermutung stand halt in den News. Aber ich könnte mir auch was Nvidia eigenes als Schnittstelle oder direktes PCB verlöten vorstellen. Wobei bei letzterem man dann die Flexibilität verlieren würde.
 
qiller schrieb:
Also 100 Millionen 4K IOPs sind selbst mit 16 PCIe Gen 7 Lanes nicht möglich. Benötigt werden 381GB/s an Datenrate, x16 PCIe Gen7 stellt aber nur 256GB/s in eine Richtung zur Verfügung.
Wenn du dir den Artikel nochmal etwas genauer anschaust, siehst du das der Autor erwähnt, das dort anders gerechnet wird, und es eben nicht 4 K Zugriffe sondern kleinere Einheiten sind.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Slim.Shady und qiller
peru3232 schrieb:
Es geht in dem Fall sicher nicht wirklich um die mögliche Datenmenge, sondern viel mehr um die Zugriffszeit.
Ja klar, aber irgendwelche Daten will man schon übertragen. Ich bin zu wenig im Thema drin um beurteilen zu können wie die Datenstrukturen aussehen, aber kleiner als 512 kb klingt nicht realistisch.
Ergänzung ()

massaker schrieb:
Für 51,2 GB/s? Da reicht auch 7.0x4/6.0x8 bzw.
Tatsache, da habe ich den Faktor 2 unterschlagen.
Ergänzung ()

Steven Coolmay schrieb:
Warum denken eigentlich alle das die den Speicher mit PCIe verbinden? Vielleicht kommt der Chip direkt mit aufs PCB und bekommt eine Schnittstelle wie der RAM. Oder er bekommt seine eigene Schnittstelle. Wenn die wollen könnte sogar beides per Chip2Chip verbunden werden.
Kioxia hat ja die Vision mit HBF. Das wäre dann mit auf dem Package. Die Frage ist, ob das wirklich notwendig und wirtschaftlich ist.
Ich könnte mir auch gut eine Anbindung via NVlink vorstellen. Da können dann auch alle GPUs im Rack auf den kompletten Speicher zugreifen.
 
Zuletzt bearbeitet:
qiller schrieb:
Die Vermutung stand halt in den News. Aber ich könnte mir auch was Nvidia eigenes als Schnittstelle oder direktes PCB verlöten vorstellen. Wobei bei letzterem man dann die Flexibilität verlieren würde.
Flexibel sind die aktuellen AI-Karten sowieso nicht, das ist also egal. Und bei Nvidia wäre ein Einsatz von NVLink ja durchaus denkbar, anstelle von PCIe.
 
  • Gefällt mir
Reaktionen: Steven Coolmay und qiller
M@tze schrieb:
Kann ich mir irgendwie nicht vorstellen wie so eine Steigerung in der kurzen Zeit möglich sein soll.


Wieso „der“ an dieser Stelle?! 🤷🏻‍♂️
Der Auftraggeber, auch wenn heutzutage das mit dem Genus ja eim Problem zu sein scheint.
 
  • Gefällt mir
Reaktionen: maxpayne80
BAR86 schrieb:
genau die richtige Anwendung für 3D Xpoint Speicher
qiller schrieb:
wenn man die Produktion/Forschung nicht eingestellt hätte.
Typisch Intel.
Oh das läuft nicht wie erwartet? Gleich einstellen!
Ich wundere mich ja immer noch das es noch Arc GPUs gibt.
Wobei Bensens These das es nicht Skalierbar seie durchaus auch ein kritische Grund sein könnte.


peru3232 schrieb:
Bei 100mio IOPS müssten das unter 10ns sein.
Auf alle Fälle sind wir da schon in RAM Bereichen.
Ehhh ich hab gerade keinen Screenshot auf dem Handy.
Aber ich dachte DDR5 variiert zwischen 40-90ns

Steven Coolmay schrieb:
Warum denken eigentlich alle das die den Speicher mit PCIe verbinden?
Also ich vermute das sie mehr als 1TB Speicher wollen...
So 20-50TB vermutlich.
Das benötigt schon sein eigenes PCB mit Anschluss.
 
Fight for Right schrieb:
Für mich auch eine bitte!
kannst du nicht wollen. dann wären deine lanes in der consumer CPU alle und zusätzlich noch 60 in der kreide :D

aber nichtsdestotrotz braucht es zwischen den HDDs als langzeitspeicher auch noch extrem schnelle SSDs um das schaufeln zum RAM abzudecken was bei solchen workloads definitiv ein kritischer bottleneck darstellt. selbst die haltbarkeit wird aufwärts von 5 DWPD ein sehr spannendes thema
 
Haldi schrieb:
Ehhh ich hab gerade keinen Screenshot auf dem Handy.
Aber ich dachte DDR5 variiert zwischen 40-90ns

Also ich vermute das sie mehr als 1TB Speicher wollen...
So 20-50TB vermutlich.
Das benötigt schon sein eigenes PCB mit Anschluss.
also meines Wissens nach sollte es unter 20ns sein, die besten auch einstellig. Das betrachtet aber nur den Speicher selbst ohne Memorycontroller... wie auch immer: RAM-Dimensionen :-)

Auch bei übergreifendem Speicher wäre dieser sicher besser mit NV-Link angebunden und nicht pcie - darüber hinaus automatisch eine weitere Abgrenzungsschicht zu Mitbewerbern. Da aber auch heutzutage der VRAM über NV-Link "geteilt" wird, wäre es sicher klüger für nvidia fix verlötete SSDs auf die Karten zu bringen, am besten noch mit externem im GPU-Die integrierten Memorycontroller (ähnlich zu Apple) nicht dass da findige das ausnutzen können und "billig" den GPU-Speicher aufzublasen...
 
Das hat die Aktie gleich stark bewegt.
 
  • Gefällt mir
Reaktionen: HtOW
Das muss aber eine verdammt riesige und schnelle SSD sein für 100Mio...

Nein, ich habe weder den Artikel noch weiter als "100Mio" gelesen,
lasst mich bloss in Ruhe :P
 
Schon interessant was alles in wenigen Jahren an Technik entwickelt wird, mal schauen wann auch der Endnutzer etwas von hat.
 
Zurück
Oben