News Google Chrome 110: Browser unterstützt Nvidia RTX Video Super Resolution

[ric84]

Ist es dafür gedacht um Bandbreite zu sparen? Dann benötige ich ja mehr Strom, weil die Graka mehr rödeln muss. Meiner 1GB Leitung ist es egal, der Durchsatz liegt immer an.

 

[Onkel Föhn]

Das sind auch genau die Art von Features, die ich gerne sehe, da Nvidia ja leider Softwareseitig Jahre zurückhängt mit den Features.

Sicher ?!?

MfG Föhn.

 

[ExigeS2]

Interessant ist wirklich, dass Viele gar nicht die ganzen Features von Nvidia brauchen, aber irgendwo dann eben doch EIN Feature gebraucht wird und deswegen dann keine AMD Grafikkarte mehr in Frage kommt. Der eine hat einen GSync Monitor, der andere spielt E-Sport und braucht Reflex, wieder ein anderer mag Raytracing auf seinem 4k-Monitor und andere Streamen oder Arbeiten auch (zum Teil) mit dem PC und brauchen da ebenfalls Features von Nvidia.

GSync, Reflex, DLSS, DLSS3, gibt schon viele nette Sachen, die Nvidia da immer wieder aus dem Hut zaubert. Jetzt eben auch noch VSR. AMD ist da irgendwie immer ein gutes Stück hinterher und liefert wenn überhaupt, dann später auch nur eine 1B Lösung.

Daran wird sich auch so schnell nichts ändern.

Nvidia:
27Mrd. Umsatz
22'500 Mitarbeiter

AMD:
16,5Mrd. Umsatz
13'000 Mitarbeiter

und AMD entwickelt neben GPU's auch noch CPU's.

 

[Killerattacks]

Ich sehe das ganze skeptisch bis negativ.

Wir wissen dass DLSS (inzwischen) sehr gut bei Videospielen funktioniert, aber ich würde den Nutzen für Video-Upscaling ernsthaft in Frage stellen. Es gibt einfach einige Unterschiede zwischen den beiden Szenarien, die nicht unerheblich sind:

• Motion Vektoren: In Spielen bekommt und benötigt DLSS Zugriff auf die Motion Vektoren und die Speileengine muss die liefern. Bei Videokompression gibt es auch Motion Vektoren, aber damit Super Resolution die nutzen könnte müsste es am Dekomprimierprozess beteiligt sein. Es gibt aber keine Schnittstelle dafür, häufig läuft das Decoding in Fixed Function Hardware und Video Super Resolution müsste alle gängigen Codecs (AV1, h264, h265, VP9, etc.) und alle gängigen Decoder dafür jeweils unterstützen.
• Tuning: DLSS findet zum einen nur bei Videospielen Verwendung, welche bestimmte Eigenschaften teilen. Das kann man beim Training nutzen. Zum anderen kann der Entwickler DLSS für sein Spiel tunen, z.B. was Schärfe angeht, wo UI-Elemente sind etc. Nichts in der Richtung ist möglich bei Video Super Resolution. Das gleiche Netz was genutzt wird um ein 360p Makroblock-Handyvideo upzuscalen muss ein 1080p high Bitrate Animationsfilm auf 4K hochrechnen können.
• Das Ziel: Bei DLSS 2 ist das Ziel relativ einfach. Es soll die wahrgenommene Renderauflösung erhöht werden. Bei Video Super Resolution auch die Auflösung, aber implizit auch die Qualität verbessert werden. Aber hier gibt es eine ganze Reihe von Qualitätsproblemen zu lösen: Auflösung, Makroblocking, Banding, Bitrate, etc. Welche Magie soll ein Upscaler bewirken können um Details die nicht mehr existieren wieder herstellen zu könnnen? Bei DLSS 2 ist es eine interpolationsähnliche Aufgabe bei idealer Lage was Quelldaten angeht (Aktuelles Frame, vorheriges Frame, Motion Vektoren). Super Resolution soll ein weitaus komplexeres Problem mit weniger Qualldaten lösen.

Dazu kommt dass es durchaus schon hochqualitative Algorithmen für Videoupscaling gibt (siehe z.B. die in madVR implementierten), aber bis Nvidia die Werbetrommel rührt und alle in ML-Euphorie verfallen tut sich halt nichts. Und jetzt benötigt man auf einmal mindestens eine 300€ Grafikkarte und alle Streaminganbieter werden sich denken sie könnten die sowieso schon erbärmliche Qualität ihrer Videos noch weiter senken. Super.

 

[Recharging]

Ich nehme an, hier könnte die Interpolation weitaus "echter" klappen, als in Spielen, da ja, zumindest bei Videos, jegliche Information bereits vor dem Rendern besteht und man nicht raten muss, wie in Echtzeit, wie sich einzelne Pixel verändern bzw. mehr Zeit dafür besteht.

Bin zwar weiterhin ein Freund nativer Auflösungen, aber ich verspreche mir weniger Artefakte, andererseits bin ich in dem Thema nur Amateur und nicht so tief drinnen wie @Killerattacks.

 

[Blackfirehawk]

Ich denke auch das es besser funktioniert weil es eben nicht in Echtzeit passiert.. die nächsten paar frames sind ja bereits fertig im Speicher vorgebuffert

 

[MeisterOek]

Mir fällt es immer noch schwer diese Technik von dem Upscaling diverser TVs oder der Shield abzugrenzen. Es ist im Prizip das gleiche, dass es schon vor etlichen Jahren gab, es wird aber so getan, als wäre es neu. Vermutlich ist der technische Unterbau völlig anders, aber die Tatsache, dass etwas hochskaliert wird, ist die gleiche. Glaube die FHD TVs haben bereits 720p und 480p hochscaliert und bei 4K erst recht jeder TV, der mir untergekommen ist.
Ich jedenfalls würde nie auf die Idee kommen längere Zeit Videos auf meinem PC anzuschauen. Schon allein wegen des Stromverbrauchs. Da verbrauchen die internen Apps auf den TVs doch deutlich weniger.

 

[Mimir]

Ich denke auch das es besser funktioniert weil es eben nicht in Echtzeit passiert.. die nächsten paar frames sind ja bereits fertig im Speicher vorgebuffert

Nein, das ist ein Denkfehler. Man verzögert vielleicht um x frames, um den Rechenschritt auszuführen, man muss aber trotzdem stets bis zu 60 Bilder/s ausgeben.

Das muss in Echtzeit laufen. Die Verzögerung tut da nichts zur Sache.

Stell dir vor, du versuchst nem Auto hinterherzurennen. Ob du das mit 1 Meter Abstand oder 10 Meter Abstand zum Fahrzeug machst, ändert nichts daran, wie schnell du laufen musst. Es hilft dir aber besser zu sehen, was vor dir passiert.

Und im Vergleich zu DLSS ist das bei Videodaten auch kein Vorteil, weil DLSS auf die ganzen Historiendaten der vergangenen Frames zugriff hat. Die künftigen Frames auch schon zu kennen bringt dir nur bei Zwischenbildberechnung wirklich etwas, nicht so viel beim Upscaling.


Allgemein würde ich aber auch die Erwartungshaltung an den Upscaler hier etwas niedriger halten.
Ich weiß wozu Topaz Video Enhance AI fähig ist, sehe aber auch, wie langsam es ist. Ich erwarte also nicht allzu viel von Nvidias Lösung.

Zudem sieht das Marketing Video stark nach Fake aus. Die unbearbeitete Seite wurde absichtlich unschärfer gezeichnet um den Unterschied zu verdeutlichen.
Das erkennt man deutlich daran, weil die unscharfe Seite plötzlich viel mehr Details zeigt, wenn im Video reingezoomt wird.
(da hat man wohl vergessen die Unschärfe drüber zu bügeln). Das Video ist zur Beurteilung also kompletter Nonsense.

 

[Simanova]

Abwarten, Tee trinken. Wenns dumm läuft, braucht die Grafikkarte dann 100 Watt mehr.
Außerdem würde mich eine Implementierung in Firefox interessieren.

 

[R4ID]

Das wird genau wie bei der Shield TV 2019 einfach nur ein Ai Upscaling sein, also nix besonderes.

Die Shield hübscht das zwar auf, aber auf Kosten der Natürlichkeit.

Alles wirkt extrem scharf gezeichnet und springt einen förmlich ins Gesicht, von daher deaktivieren die meisten gleich diese Funktion komplett.

 

[crustenscharbap]

Ich habe etwas Zweifel, denn FSR/DLSS Ultra Performance sehen aus wie ein stark komprimiertes Video. Ich denke die Formate nutzen ähnliche Techniken oder dass DLSS und FSR auf H264 aufbauen. Zudem funktionieren die Skalierungtechniken so gut weil die Renderauflösung z.B 540p flimmert. Also wenn das Bild um 1/1080 stel sich nach unten verschiebt und der Pixel ändert die Farbe, dann ist dieser Pixel geteilt. So hat man aus einem 2 Pixel gemacht. Manchmal sieht man an Sträuchern in Games das Flimmern noch.

Ich denke es wird etwas besser sein, denn gute Decoder machen schon etwas aus. Aber das wird nicht so irre gut aussehen wie bei FSR2 oder DLSS2. Denke ich. Also 1080 FSR Performance was ja 540p ist sieht mMn so schön aus wie 900p. Ich denke das macht aus 540p maximal 720p.

Aber ich halte sehr, sehr viel von Frame Generation bei Videos. Das können TV seit 10 Jahren und es sieht schon ziemlich gut aus. Vermisse das bis heute am PC.

 

[usernamehere]

Sicher ?!?

MfG Föhn.

Leider ja, als ich von meiner AMD Karte auf Nvidia umgestiegen bin, wegen der Mehrleistung, kam ich mir Feature seitig wieder vor, wie 2012. Die Geforce Systemsteuerung und das Geforce-Experience finde ich einfach furchtbar lahm gegenüber der AMD Software.
Deshalb stand für mich eigentlich auch fest, dass ich wieder zu AMD zurückkehre, bei nächster Gelegenheit, aber mit den neuen Features könnte sich sowas eben ändern.

 

[Onkel Föhn]

Dachte echt Du hast Dich verschrieben, da das Feature Set von NV schon seines Gleichen sucht.
Was die Systemsteuerung und Experience angeht bin ich bei Dir ...

MfG Föhn.

 

[Ayo34]

Ich sehe das ganze skeptisch bis negativ.

l ein weitaus komplexeres Problem mit weniger Qualldaten lösen.
Dazu kommt dass es durchaus schon hochqualitative Algorithmen für Videoupscaling gibt (siehe z.B. die in madVR implementierten), aber bis Nvidia die Werbetrommel rührt und alle in ML-Euphorie verfallen tut sich halt nichts. Und jetzt benötigt man auf einmal mindestens eine 300€ Grafikkarte und alle Streaminganbieter werden sich denken sie könnten die sowieso schon erbärmliche Qualität ihrer Videos noch weiter senken. Super.

Grundsätzlich ist es doch erstmal super, wenn man "gratis" eine neue Funktion für seine Grafikkarte bekommt. Wenn es gut bzw. besser als die bisherigen Varianten klappt, dann ist es toll. Wenn nicht, dann muss man es ja nicht verwenden.

Ob die Anbieter wirklich die Qualität runterschrauben um dann auf Nvidia zu setzen bezweifele ich erstmal. Einfach weil es nicht nur PCs betrifft, sondern auch Notebooks, Smartphones und vor allem Fernseher. Hast ein 4k Fernseher ohne Nvidiakarte stehen und bekommst dann nur noch 720p?

Im Bestcase kann man bei Netflix eine Variante niedriger mit FullHD wählen und einfach selbst upscalen mit einer vorhanden Nivida Karte. Dann kann man sogar Geld sparen.

 

[xexex]

und AMD entwickelt neben GPU's auch noch CPU's.

Die Zahlen sind längst nicht mehr aktuell.... So sieht es derzeit aus.

AMD
Umsatz: US$23.60 Mrd (2022)
Mitarbeiter: 15,500 (2022)
Nvidia
Umsatz: US$26.91 Mrd (2022)
Mitarbeiter: 22,473 (2022)

An Geld scheint es also nicht zu liegen und CPUs entwickelt Nvidia ebenfalls, wenn auch "nur " ARM. "Berühmt" für die eigene Software und Treiber war AMD schlichtweg noch nie und abgesehen von Mantle hat man in den letzten Jahren praktisch immer nur nachgezogen und kopiert.

 

[Ayo34]

Leider ja, als ich von meiner AMD Karte auf Nvidia umgestiegen bin, wegen der Mehrleistung, kam ich mir Feature seitig wieder vor, wie 2012. Die Geforce Systemsteuerung und das Geforce-Experience finde ich einfach furchtbar lahm gegenüber der AMD Software.
Deshalb stand für mich eigentlich auch fest, dass ich wieder zu AMD zurückkehre, bei nächster Gelegenheit, aber mit den neuen Features könnte sich sowas eben ändern.

Könnte man wirklich überarbeiten (Grafik und Schnelligkeit). Aber wie häufig schaut man da rein? Ich im Grunde gar nicht mehr. Geforce Experience wird nicht mal installiert.

Die Zahlen sind längst nicht mehr aktuell.... So sieht es derzeit aus.

AMD
Umsatz: US$23.60 Mrd (2022)
Mitarbeiter: 15,500 (2022)
Nvidia
Umsatz: US$26.91 Mrd (2022)
Mitarbeiter: 22,473 (2022)

An Geld scheint es also nicht zu liegen und CPUs entwickelt Nvidia ebenfalls, wenn auch "nur " ARM. "Berühmt" für die eigene Software und Treiber war AMD schlichtweg noch nie und abgesehen von Mantle hat man in den letzten Jahren praktisch immer nur nachgezogen und kopiert.

#
Zeigt im Grunde nur, dass beide Hersteller alle Möglichkeiten haben. Am Ende muss man aber wohl einzelne Spaten miteinander vergleichen und Nvidia-Grafik gegen AMD-Grafik sind Welten.

 

[Recharging]

Nein, das ist ein Denkfehler. Man verzögert vielleicht um x frames, um den Rechenschritt auszuführen, man muss aber trotzdem stets bis zu 60 Bilder/s ausgeben.

Bei einem Video kennt man aber die 60, 120, 2480, x-Bilder im Voraus, weil diese statisch sind und nicht, worauf hier der Begriff Echtzeit verwendet wurde, in einem Spiel, in dem die Veränderung ja unbekannt sind und innerhalb der Rendertime so on-the-fly ausgegeben werden müssen, dass er Benützer es als flüssig empfindet. Oder woher soll der Algorithmus wissen, ob ich jetzt links/rechts/rauf/runter etwa beim MSFS steuere? Dafür hat er x ms Zeit festzustellen und gerendert auszugeben im Gegensatz zum Video, in dem ALLE Frames schon vorliegen.

Ein Video könnte ja schon vorher komplett verarbeitet werden, weil alle Dinge bekannt sein sollten.
Wo liegt hier der Denkfehler?

 

[Ayo34]

Ein Video könnte ja schon vorher komplett verarbeitet werden, weil alle Dinge bekannt sein sollten.
Wo liegt hier der Denkfehler?

Das passiert ja auch häufig schon. Sogar viele Youtuber haben "nur" 1080p Material und skalieren das dann in 4k hoch und laden dieses auf Youtube hoch. Entsprechend kann der User 4k sehen und muss es nicht selbst hochskalieren.

Dadurch fällt aber natürlich sehr viel mehr Bandbreite und Rechenleistung für Youtube an. Gleichzeitig gibt es einfach viel Material in geringerer Auflösung, welches auch in 4k nachträglich hochskaliert werden könnte. Also ja, theoretisch könnte man das Video auch komplett vorher verarbeiten.

Denke daher auch, dass es viel einfacher ist als bei Spielen. Das Besondere ist wohl eher das hochskalieren in Echtzeit. Wenn ich früher mit einer 1070 ein 10min Clip von 1080p auf 4k hochskaliert habe, dann konnte das schon mal 5 Stunden+ dauern bei Volllast der Grafikkarte und/oder CPU.

Aus den 5 Stunden müssten nun maximal. 10min werden und gleichzeitig sollten das auch viele ältere Grafikkarten können, ohne mit über 100 Watt da powern zu müssen.

 

[Atnam]

Die Zahlen sind längst nicht mehr aktuell.... So sieht es derzeit aus.

Nicht vergessen bitte das AMD den Sprung durch den Zukauf von Xilinx gemacht hat.
Sowohl Umsatz als auch Mitarbeiteranzahl sind dadurch signifkant gestiegen ohne das sie Auswirkung auf die hier relevante GPU Software Entwicklung hätten.

Was den GPU Markt angeht ist AMD immernoch ein gutes Stück kleiner als Nvidia was ihre Möglichkeiten der Features durchaus einschränkt.

 

[Ayo34]

Was den GPU Markt angeht ist AMD immernoch ein gutes Stück kleiner als Nvidia was ihre Möglichkeiten der Features durchaus einschränkt.

Nvidia hat 86% Marktanteil und AMD nur 10%. Das sind Welten in der Gamingsparte! Entsprechend setzen sich auch Nvidia exclusive Features durch und von AMD eben nicht. Hätte AMD DLSS herausgebracht, dann könnten das nur 10% verwenden und entsprechend würden auch viel weniger Spielehersteller DLSS implementieren. Gleichzeitig müsste AMD DLSS refinanzieren durch 10% Marktanteil. Am Ende hat der kleine Marktanteil große Auswirkungen auf die Möglichkeiten.

Genau deswegen verstehe ich auch nicht, warum AMD die jetzige Situation nicht nutzt und einfach mit ~10% zufrieden ist.