News Full HD und 4K: YouTube führt AI-Upscaling für Videos in SD-Qualität ein

[INe5xIlium]

und selbst mit einer iGPU wie der ollen 680M hat man genug Rechenleistung für bspw. Witcher 3 - dagegen ist Upscaling trivial.

Naja, es geht um AI upscaling.
Schon mit anspruchsvollen Algorithmen kann man sehr viel Rechenpower verschlingen, wenn man für ein einziges Bild nicht stumpf eine Rechenvorschrift abarbeitet, sondern die Frage beantworten will, welche rauchfreie und nicht kaputtkomprimierte Funktion vermutlich durch die Kamera und Kompression so zugrunde gerichtet wurde, dass es den Daten des Youtubevideos entspricht.

AI upscaling könnte bedeuten, dass all die "Lebenserfahrung" eines hunderte Gigabyte großen Modells genutzt wird, um Dinge im Video zu erkennen und zu verbessern.
Da würde der Mond auf einer Handyaufnahme aussehen wie durch ein perfektes Teleskop fotografiert, die Straßen haben eventuell keine Schlaglöcher mehr usw.
Klar, vieles geht auf dem Smartphone, ich weiß nicht, ob es für Videos geht, aber im Zweifel kann es mit um die 100Gb an RAM besser, weil mehr Gegenstände erkannt werden können. Deshalb läuft viel in der Cloud.

 

[Bright0001]

@INe5xIlium

Naja, es geht um AI upscaling.
Schon mit anspruchsvollen Algorithmen kann man sehr viel Rechenpower verschlingen

AI upscaling könnte bedeuten, dass all die "Lebenserfahrung" eines hunderte Gigabyte großen Modells genutzt wird, um Dinge im Video zu erkennen und zu verbessern.

Klar geht das, und nach oben sind keine Grenzen gesetzt - geht aber auch entsprechend umgekehrt. DLSS, DLAA, FSR und co sind im Grundsatz ja auch nichts anderes, und laufen vom High-End bis zur Einstiegskarte/APU.

Zumal das, was ich initial meinte, ja mit Upscaling verbunden sein kann, aber nicht muss; Am Ende muss das Modell einfach nur lernen das Delta zwischen original und komprimiert zu erkennen und herauszurechnen, jegliche inhaltsbasierte Auswertung ist da dann völlig optional.

 

[dx1]

Ich hab sämtliche Uspcaler (bis hin zum kostenpflichtigen Topaz) drüber laufen lassen - das Rauschen wird weniger, es werden je nach Upscaler ein paar Details dazu erfunden, aber man kann die abgebildeten Personen dann eher weniger wieder erkennen, als vor dem Upscaling. Wenn einfach partout keine brauchbare Bild-Information im Video drin ist, wird es halt schwer.

Du müsstes ja auch erstmal per AI "Metadaten" hinzufügen, siehe Beitrag #26.

 

[INe5xIlium]

Am Ende muss das Model einfach nur lernen das Delta zwischen original und komprimiert zu erkennen und herauszurechnen, jegliche inhaltsbasierte Auswertung ist da dann völlig optional.

Da stimme ich zu.
Aber in dem Fall erscheint es aus Youtube Sicht schon eher dumm es nicht clientseitig zu machen. Wenn die dafür Speicherplatz und Transfervolumen bereitstellen, erwarte ich mehr.
Selbst wenn es eine Funktion des Players wäre, könnten sie noch immer über die Freischaltung bestimmen. Das wollten Firmen ja sogar mit der Sitzheizung im Auto machen, die ja sogar als Hardware bereits vorhanden ist.
Irgendeinen zusätzlichen Grund müssen sie ja haben.