News MetalFX Frame Interpolation & Denoising: Frame Generation und Ray Reconstruction von Apple

[ElliotAlderson]

AMD stellt auch SoCs her, in denen alles drinnen steckt - z.B. für Playstation, Xbox oder Handhelds.

Nochmal: Es ergibt keinen Sinn nochmal das gesamte Ökosystem zu tauschen! Checkst du es nicht?!

 

[Powl_0]

Apple Silicon steckt aber schon alles. Wieso sollte man jetzt wieder auf externe GPUs switchen, nachdem man gerade seine eigene HW gebracht hat?

Es geht doch um Software, nicht um Hardware. Fang vielleicht nochmal ganz oben an.

Niemand schlug vor, dass sie auf AMD Hardware setzen sollen, sondern ob es nicht sinnvoll wäre, bei der Software gemeinsame Sache zu machen.

Die Algorithmik der Upscaler/Interpolator kann ja ziemlich gleich bleiben, "nur" die Low-Level Schnittstelle muss spezifisch auf die jeweilige Hardware angepasst werden.

 

[Piktogramm]

Der beste Weg wäre gewesen, dass sie bspw. mit Valve zusammenarbeiten. Dass sie auch für macOS Übersetzungsschichten implementieren, die das Gaming auf nicht-Microsoft interessant machen. Wenn sich das Linuxgaming im Handheldbereich weiter ausbaut und gleichzeitig auf die Verbreitung von Applegeräten gesetzt werden würde, wäre es ein so viel größeres Publikum für die Spiele. Damit könnten Entwickler endich einen Businesscase für nicht-Microsoft-Betriebssysteme im Gamingsektor haben.

Da Apple eine eigene, propritäre Zwischensprache nutzt, lassen sich die Übersetzungsschichten gar nicht so einfach portieren.

Metal als Low-Level-Graphics-API ist konzeptionell näher an Vulkan als DirectX 11/12 – sowohl was das Command Encoding als auch das Resource Management betrifft. Das bedeutet konkret: Wer heute für Metal optimiert, steht bei einem Port auf Vulkan viel besser da als bei einem DX12-Target. Nicht umsonst nutzen Engines wie Unity und Unreal abstrahierte Layers, die Metal relativ problemlos auf Vulkan (z. B. via MoltenVK in umgekehrter Richtung) abbilden können – DX hingegen ist da eine ganz andere Hausnummer, vor allem was Descriptor Heaps und DXGI betrifft.

Wobei bei DX die Zwischensprache in Zukunft ebenso SPIR-V sein wird.

Statt also über „Einbunkern“ zu sprechen, müsste man sich eher fragen: Warum ziehen so viele Studios noch DirectX-basiert, obwohl Vulkan und Metal langfristig deutlich mehr Portabilität ermöglichen?

Naja, Vulkan ist schon arger Wildwuchs, mit allerhand optionalen Komponenten und lange Zeit sehr durchmischter Verfügbarkeit und mitunter abweichenden Verhalten je nach Plattform/GPU. Aus der Hüfte würde ich sagen, dass <=Vulkan 1.2 der Wildwuchs für Entwickler reichlich unattraktiv war. Da war DirectX in den Anforderungen strikter und damit das verlässlichere Ziel.

Die Optionalen Erweiterungen bei Vulkan sind auch immernoch eine mittelprächtige Plage, siehe: https://mesamatrix.net/

Nochmal: Es ergibt keinen Sinn nochmal das gesamte Ökosystem zu tauschen! Checkst du es nicht?!

Das Apple das müsste, ist eine reine Annahme von dir. Egal ob DirectX, Vulkan oder Metal, alle abstrahieren auf eine Zwischensprache (DirectX auf DXIL und ab ShaderModel7 auf SPIR-V, Vulkan auf SPIR-V und Metal auf die MIR[1]). Apple könnte recht problemlos von ihrer eigenen Metal/MIR Suppe mindestens auf Metal zu SPIR-V setzen. Das geht "problemlos", was unter anderem die freien Linuxtreiber für AppleSi beweisen: https://rosenzweig.io/blog/aaa-gaming-on-m1.html
Würde Apple SPIR-V unterstützen, wäre auch auf einen Schlag Proton kompatibel mit AppleSi um DirectX zu unterstützen und Vulkan sowieso. (Witzigerweise würde das auch Kompatibilität zu OpenCL schaffen und bedingt auch CUDA)

Groß am Ökosystem müsste da auch nicht getauscht werden, zudem ein Großteil des Softwarestacks ja bereits von Dritten erstellt wurde.

[1]"Metal Intermediate Representation", die Dokumentation daherum ist aber eher mau.

 

[Mimir]

Warum sollte denn Apple mit AMD zusammenarbeiten? Würden sie das tun, würden sie den PC Spielemarkt nur stärken oder zumindest einen kleinen Beitrag leisten.

Apple hat genug Geld und fähige Entwickler, um einen eigenen Upscaler und Frame Generation zu entwickeln und da sie für Ihre Zielgruppe quasi keine Konkurrenz haben, gibt es auch keine Technologie mit der sie sich direkt vergleichen und messen müssen.

Und so kaputt wie AMDs Frame Generation aktuell in vielen Spielen sowohl auf AMD als auch Nvidia hardware ist, wäre Apple eh besser beraten, es selbst zu machen...

 

[Piktogramm]

Apple hat genug Geld und fähige Entwickler, um einen eigenen Upscaler und Frame Generation zu entwickeln und da sie für Ihre Zielgruppe quasi keine Konkurrenz haben, gibt es auch keine Technologie mit der sie sich direkt vergleichen und messen müssen.

Apple mag genügend Geld haben um einen komplett eigenen Grafikstack zu pflegen, die Entwickler von Engines und Spielen haben aber nur bedingt Geld um für besagten Grafikstack zu entwickeln.

Edit: Auch müsste Apple nicht spezifisch mit AMD arbeiten. Die Zusammenarbeit im Rahmen der Khronos Group reicht und da ist Apple sowieso bereits Promoter (höchste Stufe) neben AMD, ARM, IKEA [sic], Qualcomm, Nvidia, Google, Epic Games, Valve https://www.khronos.org/members/list

 

[CDLABSRadonP...]

Alle laufen Nvidia hinterher, Apple sogar ganz frech indem sie gleich einen eigenen DLSS Wrapper machen lol

Anhang anzeigen 1626795

Das ist halt schon sehr komfortabel für die User. Click and go...

 

[Northstar2710]

ber die Entwickler von OptiScaler haben herausgefunden, wie man das bei Nvidia zum laufen bringt.

das was du meinst hat aber nix mit dem optiscaler zutun. Es geht dabei um Mesa und Proton, und hier wurde eine emulation genutzt um FSR4 auf AMD 7000er karten zum laufen zubekommen, da diese nur das Daten Format fp8 unterstützen und FSR4 auf FP16 setzt, was funktioniert hat aber massive Leistung benötigt. Optiscaler macht nur eines in den Dlss Profielen von spielen FSR zu integrieren und wenn möglich auch FSR4 wenn das spiel FSR3.1 unterstützt. Das funktioniert noch lange nicht bei allen FSR titeln. Aber es ist dadurch nicht möglich das Nvidia Karten FSR4 nutzen können

Offiziell gibts wohl noch kein SDK für FSR4

Das letzte SDK 3.1.4 unterstützt auch FSR4.

 

[raychan]

Verstehe nicht ganz warum jede Hardware seine eigenen AI Upscaler braucht. Dann muss doch später jede Engine und Software den Kram einarbeiten. Wieso geht man nicht eher den Weg und nimmt die Upscaler der Engine? Unreal hat doch da schon ein TSR. Denke andere Engines könnten sowas auch einbauen. 🤔 Wäre das nicht sinnvoller, weil Hardware unabhängig?

 

[192.168.178.1]

@Northstar2710 Okay dann hab ich das nicht richtig gelesen. Aber ich kann trotz der RTX 4080 über OptiScaler Frame Gen in Spielen aktivieren. Dabei zeigt im Repo von OptiScaler eine Grafik, dass FG immer über FidelityFX umgesetzt wird. Sollte das dann nicht unmöglich sein? Oder ist es nur der Upscaler FSR4, der nicht funktioniert? Den hab ich tatsächlich nie getestet, da ich immer DLSS verwende.

 

[Northstar2710]

Oder ist es nur der Upscaler FSR4, der nicht funktioniert

es ist nur der upscaler FSR4 der nicht funktioniert. FSr3 und FSR FG kann ja jede Karte nutzen im spiel allerdings nur wenn fsr3 vorgewählt ist. mit dem optiscsler kannst du aber FG tauschen so das du dlss+ Amd FG nutzen kannst.

 

[gartenriese]

Nvidia XeSS

Oh, hat Nvidia Intel aufgekauft?

 

[Powl_0]

Würden sie das tun, würden sie den PC Spielemarkt nur stärken oder zumindest einen kleinen Beitrag leisten.

Andersrum, sie würden es einfacher machen, PC Spiele auch auf Mac zum laufen zu kriegen.
Genau das ist ja die Krux an Apples bisherigen Mac Gaming Bestrebungen: niemand hat Bock, für diesen kleinen Nutzerkreis den kompletten Unterbau neu zu stricken. Eine Handvoll Vorzeigetitel gibts, wofür Apple vermutlich selbst mächtige Summen hinlegen musste. Abseits davon bleibt Grillenzirpen.

 

[Cinematic]

Kann man die MetalFX Frame Interpolation nur für Games nutzen, oder ließe sich das auch irgendwie für Videos/Filme nutzen?

 

[DerAnnoSiedler]

@Cinematic
Wenn du dir das Bild anschaust, gehen in MetalFX genau wie in DLSS, FSR oder XeSS die Motion und Depth-Vektoren. Sprich: Zusätzlich zu den Frames Metadaten, die verraten wo hin / wie schnell sich einzelne Objekte bewegen und wie weit weg sie von der Kamera sind.

Das wird bei einem Video nicht klappen; also nein Apple müsste wie Nvidia mit RTX Video einen neuen Algorithmus dafür entwickeln.