RTX IO zwingend PCIE 4.0?

[usmave]

Hallo,

Benötigt rtx io bzw Direct storage definitiv eine 4.0er nvme oder geht das ganze auch mit pcie 3.0 Board und 3.0 nvme?

 

[niteaholic]

Was steht in der Beschreibung dazu?

 

[HisN]

Da es noch keine Anwendungen gibt isses ja erst mal noch wumpe, ich meine wenn es denn soweit ist kannste ja immer noch nachkaufen^^
Nvidia schreibt, dass für die Technik nichtmal PCIe 4.0 NVMEs schnell genug sein können ....

Aber da das ganze auch auf "alten" Grafikkarten von NV laufen wird, beantwortet sich die Frage wohl von alleine.

 

[usmave]

Das ist ja mein Dilemma grade.
Ich könnte meine jetzige Plattform mit 8700k und 950pro grade relativ gut loswerden, muss es aber nicht, da mir die Leistung im Moment ausreicht.
Würde rtx io nur mir 4.0 funktionieren, dann würde ich tatsächlich in Erwägung ziehen auf einen AMD zu wechseln.

Bisher habe ich nur von nvme als Voraussetzung gelesen, aber nicht welche Version.

 

[Oelepoeto]

Ich würde mal abwarten ob sich das wirklich durchsetzt und große Vorteile bringt. Vor allem wenn du jetzt noch zufrieden bist.

 

[john.smiles]

Die größte Voraussetzung ist die DirectStorage-API, welche nächstes Jahr irgendwann als Developer Preview erscheint, Einführung der finalen Version unbekannt.

 

[S.Kara]

PCIe 4.0 wird wohl nötig sein damit es etwas bringen könnte.
Schon jetzt wird der VRAM in den RAM ausgelagert wenn ersteres knapp wird. RAM bietet 50 GB/s und mehr, muss zwar über die CPU gehen aber selbst PCIe 4.0 stinkt gegen solch hohe Datenraten ab. Ich würde von RTX IO nicht zu viel erwarten. Eine Nutzung wird wohl auch noch minimum 1-2 Jahre auf sich warten lassen.

Wenn du jetzt zufrieden bist und noch 1-2 Jahre warten kannst würde ich vor DDR5 nicht mehr upgraden.

 

[foo_1337]

@usmave Da es auch mit Turing möglich sein wird, wird wohl PCIe 4.0 keine zwingende Voraussetzung sein.

PCIe 4.0 wird wohl nötig sein damit es etwas bringen könnte.
Schon jetzt wird der VRAM in den RAM ausgelagert wenn ersteres knapp wird.

Es geht hauptsächlich um das nachladen von Content und der Unterschied ist signifikant, wenn das ganze nicht durch die CPU muss. Auch bei PCIe 3.

RAM bietet 50 GB/s und mehr, muss zwar über die CPU gehen aber selbst PCIe 4.0 stinkt gegen solch hohe Datenraten ab

Hmm, und wie kommt der Kram von VRAM zu RAM und umgekehrt? Richtig: Über PCIe.

 

[S.Kara]

Es geht hauptsächlich um das nachladen von Content und der Unterschied ist signifikant, wenn das ganze nicht durch die CPU muss. Auch bei PCIe 3.

Hast du dafür Zahlen/Quellen? Ich sage nicht dass du falsch liegst, aber hätte gerne mehr als nur diese Aussage.

Hmm, und wie kommt der Kram von VRAM zu RAM und umgekehrt? Richtig: Über PCIe.

Grafikkarten sind aber mit 16 GiB/s (PCIe 3.0 x16) bzw. 32 GiB/s (PCIe 4.0 x16) angebunden, während SSD's auf 4 GiB/s (PCIe 3.0 x4) bzw. 8 GiB/s (PCIe 4.0 x4) limitiert sind.
Diese müssen die Transferraten dazu noch überhaupt erstmal erreichen können.

Dann kommen noch die Zugriffszeiten m.2 mit 200 Mikrosekunden vs RAM mit 0,05 Mikrosekunden. Direkte Zugriffe werden die CPU sicherlich entlasten können, aber wenn man einen Kern frei hat glaube ich kaum dass da mehr als 200 Mikrosekunden draufgehen.

 

[foo_1337]

Das Problem ist, dass du aktuell keine Wahl hast als den Content zuerst in den RAM zu laden und von da aus in den VRAM:

• CPU erstellen file descriptoren auf der NVMe (control)
• CPU allokiert den Platz dafür im RAM (control)
• CPU fordert das lesen von der NVMe an (control)
• Transfer von der NVMe in den RAM (transfer)
• GPU allokiert den Platz im VRAM (control)
• Daten werden vom RAM in den VRAM kopiert (transfer)

mit RTX IO bzw. Direct Storage sieht das ganze dann so aus:

• CPU/GPU erstellen file descriptoren auf der NVMe (control)
• GPU allokiert den Platz im VRAM (control)
• CPU/GPU fordern das lesen von der NVMe an (control)
• Transfer von der NVMe in den VRAM (transfer)

Und genau so wird das unnütze kopieren von RAM zu VRAM obsolet und somit signifikant beschleunigt. Klar ist das kopieren von RAM zu VRAM schnell, aber die Daten müssen vorher erstmal von der Disk in den RAM. Und dieser Overhead entfällt dann komplett.

Swappen von VRAM in den RAM ist zu langsam, weshalb da immer massive Framedrops entstehen. Das wird durch RTX IO & Co eben dahingehend entschärft, dass die Game Hersteller ganz andere Möglichkeiten des Streamings haben und somit den VRAM nicht unnötig vollknallen müssen, weil der Transfer vorher so lahm war. Für Spiele, die dies nicht explizit implementiert haben, hilft das alles natürlich nicht.

 

[S.Kara]

Disk -> RAM entfällt aber nur für neue Texturen die sich noch nicht im RAM befinden. Spiele laden Texturen aber nicht nur wenn sie benötigt werden sondern buffern sie schon vor.

Es entlastet sicherlich den RAM und wie gesagt die CPU. Die Frage bleibt aber ob das nötig ist und Vorteile bringt.
Ohne Benchmark bleibe ich skeptisch wie viel das am Ende bringt. Vor allem auf Sicht der nächsten 1-2 Jahre.

 

[usmave]

Hmm, ich glaub ich lass es auf mich zukommen, auch wenn ich grad ziemlich angefixt bin wegen des features bei den Konsolen, schau ich erstmal wie und ob das Ganze laufen wird.
Zumal ich es ja auf meiner PS5 sehen werde, wobei es mich schon wurmt, dass der PC mit der Highend-Graka dann den Konsolen unterlegen ist.

 

[foo_1337]

Ich kann dir nicht sagen, was es im Gaming Bereich bringen wird, aber im ML Kontext gibt es sowas ja schon ne Weile: GPUDirect RDMA. Hier kann die NIC direkt die Daten zur GPU/VRAM pumpen und muss nicht den CPU/RAM Umweg gehen. Das wirkt sich massiv aus.
An dieser Stelle muss (leider?) auch wieder gesagt werden, dass nicht Sony, MS oder AMD das voran getrieben haben, sondern Nvidia. Für Infiniband gibt es das ganze schon seit fast 10 Jahren.