News Microsoft DirectStorage 1.1: Die GPU dekomprimiert Spieldateien rasant

[Gravlens]

Die Idee hat man doch mehr oder weniger von Sony bzw. der PS 5 geklaut.

 

[khgffs]

es wird erst in den ram geladen?
dann is das doch indirectstorage.

 

[M@tze]

Tolle Nachricht??? Bin mir nicht sicher wie haben jetzt DirectStorage seit zwei 1,5/2 Jahren und nächstes Jahr erscheint das erste Spiel was es nutzen kann. Gehts noch langsamer?

Na ja, das wurde vor 2 Jahren mit der XSX releast, auf PC gibt es das (partiell) erst seit diesem Jahr und irgendwann muss das Ganze auch noch entwickelt/implementiert werden.

Die Idee hat man doch mehr oder weniger von Sony bzw. der PS 5 geklaut.

Wie kommst Du darauf? Diese ganzen Features sind seit Release Bestandteil der Xbox Velocity Architecture auf der XSX/XSS.

 

[ThePlayer]

Für die Komplexität, die diese API auf Seiten des Betriebssystems hervorruft und grundlegend auch ersteinmal adaptiert werden muss sind 2 Jahre sehr schnell.

Naja aus meiner Sicht sind diese zwei Jahre oder mehr ganz schön lang. Raytracing ist ja auch Recht fix in spielen implementiert worden. Ich habe jetzt nicht erwartet dass die ersten Spiele DS nach 3-4 Monaten bieten. Aber deutlich früher als nach 2,5 Jahren.

 

[Tsu]

AHCI kann es von Seite des Protokolls her:
https://www.intel.in/content/dam/ww...pecifications/serial-ata-ahci-spec-rev1_0.pdf

DS kann aber generell auch I/O über Kernel/CPU abwickeln, die API ist flexibel

Das DMA ist etwas anders, und nicht für Punkt-zu-Punkt gedacht sondern nur in den Arbeitsspeicher, sofern ich mich jetzt nicht irre.

Da bin ich überfragt, aber bei Microsoft klang es so, als ob es auf allen grundsätzlich ginge:
[…; vage, entfernt von mir]
Aber nur mit NVMe (und dem entsprechenden Durchsatz) sollte da auch spürbar was bei rumkommen, denke ich.

Es gilt zu unterscheiden:

1. PCIe/NVMe (um das vom Oberbegriff ‚SSD‘ abzugrenzen.) kann direkt in die Grafikkarte laden, wenn die das implementiert haben. Geht aus der News nicht hervor.
2. (Umweg über Arbeitsspeicher. Bus-Belastung ×2 wie bei altem RAID 5.)
3. Decoding von Deflate auf der GraKa. ← Eigentlich ist das jetzt neu abstrahiert.

 

[mannduro]

Naja aus meiner Sicht sind diese zwei Jahre oder mehr ganz schön lang. Raytracing ist ja auch Recht fix in spielen implementiert worden. Ich habe jetzt nicht erwartet dass die ersten Spiele DS nach 3-4 Monaten bieten. Aber deutlich früher als nach 2,5 Jahren.

Das Filesystem ist schon etwas komplizierter.

Das hatt nix mit dem shadereinheiten oder einer eigenen Hardware(Nvidia GPUs) für raytracing am Hut.

Hier geht es um die intigrität des Betriebssystems und damit verbundenen Löscher die entstehen könnten.
Stichwort: Sicherheit

 

[nille02]

Die Idee hat man doch mehr oder weniger von Sony bzw. der PS 5 geklaut.

Sony hat einen Hardwareansatz mit eigene DSPs gewählt wenn ich mich recht erinnere.

 

[Piktogramm]

Das DMA ist etwas anders, und nicht für Punkt-zu-Punkt gedacht sondern nur in den Arbeitsspeicher, sofern ich mich jetzt nicht irre.

Solang Speicher adressiert werden kann, ist tendenziell p2p_dma möglich, vor allem da die Sata Controller sowieso alle als PCIe Device angesprochen werden[1][2].
Imho ist der DMA-Teil aber sowieso nicht wichtigste Punkt und anscheinend sowieso noch Zukunftsmusik. AsyncIO + Nebenläufigkeit bzw. die Abstraktion dieser ist Imho das Wichtigste.

[1]Ok, "alle" ist übertrieben, da es bestimmt wieder irgend einen absurden Wildwuchs gibt und eigentlich habe ich auch nur Ahnung von Linux ohne belastbares Wissen zum Treibermodel von Windows..
[2] Kerneldokumentation von Linux für maximale Verwirrung und als Fußnote zur sehr vereinfachten Aussage. https://www.kernel.org/doc/html/latest/driver-api/pci/p2pdma.html

 

[Gravlens]

Wie kommst Du darauf? Diese ganzen Features sind seit Release Bestandteil der Xbox Velocity Architecture auf der XSX/XSS.

Ich rede von der Idee die CPU für die Komprimierung komplett zu umgehen, soweit ich weiß kann das nur die PS 5.
Das wird zumindest in diesem Artikel als Grund genannt weshalb die PS 5 schneller mit SSD ist als die Xbox Series X.^^

Kein Umweg über die CPU​

Bei Oodle Kraken handelt es sich um eine Technik zur verlustfreien Datenkomprimierung, die von RAD Game Tools entwickelt wurde. Diese Technik gibt es auch für andere Plattformen, allerdings nehmen die Daten dort noch den Umweg über die CPU. "Auf anderen Plattformen kann man Kraken in Software ausführen, wobei dann auch die gleichen Komprimierungszuwächse erzielt werden, allerdings wird CPU-Zeit zum Dekodieren aufgebracht." Hintergrund ist der Kraken Decoder der Playstation 5. Die Konsole kann ihre Datenanfragen dadurch direkt an das IO-System stellen

https://www.pcgameshardware.de/Play...ungstechnik-fuer-noch-schnellere-SSD-1358795/

 

[Piktogramm]

@Gravlens
Die Leutchen bei Microsoft sind nicht doof. Die haben in ihren SoC extra Hardware packen lassen, die zlib (deflate) entpacken kann. Da muss die CPU also auch nicht ran.
https://www.windowscentral.com/xbox-velocity-architecture

 

[Gravlens]

@Piktogramm
Wenn das Datum aus deinem Link stimmt dann hat der andere User doch glatt gelogen das es das System von Xbox viel länger gibt als das von der PS 5 und deshalb keine Kopie ist, frech

Das ist ja erst nach dem PS 5 Technik Reveal veröffentlicht worden, so ein Zufall aber auch, da hatten sie aber echt eine Eingebung. xD

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Mcr-King]

Die haben sich schon angeschaut was Nvidias GPUdirect-sotrage kann,

Nee sorry auf der Konsole gab es das zuerst, hüst und auf dem PC immer noch nicht auch mit NV nicht verfügbar egal wie sie es nennen es ist das selbe und sage nur PS5 lade und pause Zeiten davon träumt mein PC nur.

 

[Piktogramm]

@Gravlens
Dieses "User hat gelogen" und "Dokumentation PS gab es Tage vor X" ist einfach lächerlich. Das finalisierte Design der SoCs der Konsolen ist etwa ein Jahr vor dem Marktstart der Konsolen fertig. Im großen und Ganzen sind die Entwicklungen der Anbieter einfach Kinder ihrer Zeit. Wenn das Chipdesign fertig ist, stehen die Möglichkeiten auf der Seite der Software praktisch auch fest.
Naja und die Idee komprimierte Assets auf GPUs zu werfen ist nicht viel neuer als GPUs an sich. Die Idee wird nur immer wieder aktualisiert, wenn das Budget an Transistoren die man auf das Problem werfen kann mal wieder um eine Größenordnung gewachsen ist.

Ergänzung (14. Oktober 2022)

Nee sorry auf der Konsole gab es das zuerst, hüst und auf dem PC immer noch nicht auch mit NV nicht verfügbar egal wie sie es nennen es ist das selbe und sage nur PS5 lade und pause Zeiten davon träumt mein PC nur.

Als komplett verpackte API gab es das (vielleicht) wirklich zu erst auf der aktuellen Generation der Konsolen.
AsyncIO, (r)DMA, komprimierte Assets die direkt auf der GPU entpackt werden sind alle ein vergleichsweise alter Hut.

 

[JMP $FCE2]

Bin jetzt auch nicht wirklich gehyped, solang es sich wie bei Forspoken nur auf die Ladezeiten beschränkt und sich nicht spürbar in FPS oder der Qualität der Spiele widerspiegelt.

Wenn sich das nicht ändert, wäre ich auch sehr enttäuscht.

Von der Technik erwarte ich Streaming on the fly, und damit höhere Texturdetailstufen besonders auf GPUs mit "nur" 6 oder 8 GB RAM.

Mein kürzlich gebauter Zweit-PC und Win11-Versuchsballon hat jedenfalls eine Samsung 980 Pro mit 1 TB bekommen, und sollte damit vorbereitet sein.

 

[Gravlens]

@Gravlens
Dieses "User hat gelogen" und "Dokumentation PS gab es Tage vor X" ist einfach lächerlich. Das finalisierte Design der SoCs der Konsolen ist etwa ein Jahr vor dem Marktstart der Konsolen fertig.

Er sprach aber von der Velocity Architecture und das hattest du verlinkt.

PS 5 Release 12. November 2020
Xbox Series X Release 10. November 2020
PS 5 Technik Reveal Video 18. März 2020

Da liegen um die 8 Monate dazwischen, ok das ist kein Jahr aber ich behaupte einfach mal das Änderungen da noch möglich sind.

Zumindest so eindeutig ist es einfach nicht, aber gut 100% wissen tue ich es natürlich auch nicht, ich hab das einfach im Spielebereich das erste mal bei diesem PS 5 Technik Reveal gesehen und deshalb meine Aussage mit der Kopie, wohl gemerkt die Idee dahinter.^^

 

[Atent12345]

Broadcom hat dafür schon länger Asics für Data Center im Angebot. Die Idee gab es schon vorher.

@Gravlens
Eigentlich würde man an dem Zeitpunkt am liebsten schon mit der Design Verifikation durch sein. Danach kommen noch 1-2 Tapeouts und Maskenanpassungen, sowie Sample Verifikation.
Aus dem Nichts wäre die Zeit dafür sehr knapp da noch einen ASIC zu entwickeln, testen und ins SOC zu integrieren.

 

[riloka]

Müsste dass unter Linux dann in Wine oder auf einer andren Ebene wie Mesa implementiert werden?

 

[Phoenixxl]

Ich glaube ich sitze es bis 2024 aus.
Dann neue Hardware dürfte ein ordentlicher Sprung im Vergleich zu Hardware aus dem Jahr 2020 werden.

Ich persönlich (!) finde nämlich Sprünge mit 20-30% total interessant.

Der letzte Sprung von 1080 ti mit 4790k und SATA SSD auf 6900XT mit 5950X und m.2 NVME war deutlich
Ich glaube vor der RTX 5090/RX 7900/Alchemist+++++++ und einem 8950X3D/Arrow Lake samt Netzteil und dann schnellem DDR5 werde ich nicht wechseln.

Außer der Kontostand ist so gut, dass ich der Verführung der 4090 erliege 😁

 

[Nolag]

PS 5 Technik Reveal Video 18. März 2020

Microsoft Xbox Series X Tech Reveal 16. März 2020:
Xbox Series X: A Closer Look at the Technology Powering the Next Generation
Defining the Next Generation: An Xbox Series X|S Technology Glossary

DirectStorage – DirectStorage is an all new I/O system designed specifically for gaming to unleash the full performance of the SSD and hardware decompression.

 

[Taigabaer]

Für mich sind die Ladezeiten eigentlich schon ausreichend. Meist dauert das Einloggen/Patchen in einem Online-Spiel länger als es zu starten.

Aber schon interessant wie sich alles entwickelt. Wenn ich da an Boulder-Dash auf dem kc85/4 auf Kassette mit gefühlten 20 Minuten Ladezeit denke...