reverend_kane schrieb:Sorry das so sagen zu müssen aber das ist leider kompletter Unsinn, wenn man aus einem niedrig aufgelösten Bild ein höher aufgelöstes machen will muss man IMMER daten dazuerfinden die vorher nicht da waren. Man kann da nicht auf magische Weise irgendwo versteckte Informationen im Bild selber finden, weil sie schlicht nicht da sind. Ich bin selber im Grafik/3D Bereich beruflich unterwegs und kann über solche Aussagen nur schmunzeln. Damit Upscaling besser aussieht als das Original bist du darauf angewiesen Daten dazuzuerfinden, ansonsten würd es einfach nur größer und unschärfer werden. Die KI macht genau das, sie erfindet basierend auf zuvor erlernten Mustern und Wahrscheinlichkeiten nicht vorhandenen Bildinformationen dazu um es höher aufgelöst aussehen zu lassen, künstliches Nachschärfen gehört da ebenfalls dazu weil erhöhter Kontrast an Kanten die Illusion von mehr Schärfe vorgaukelt. Natürlich ist daran gar nichts, der Prozess ist immer Fehlerbehaftet weil das in der Natur der Sache selber liegt.
Das zauberwort nennt sich supersampling durch temporale akkumulation. Die Szene wird durch leichten kamera jitter in jedem Bild leicht anders abgetastet, wodurch man die sampleanzahl extrem erhöhen kann. Aus diesen Samples wird dann via DLSS oder FSR ein neues Bild in höherer Auflösung zusammengesetzt. Die Samples bzw. Bildinformationen kommen also aus den letzten paar Frames.
AI wird hier "nur" gebraucht, um das ganze auch in bewegung möglich zu machen. Hier muss die AI die richtigen Samples an die richtige Stelle bringen und "kluge" entscheidungen bei der Datenverarbeitung treffen. Aber AI erfindet hier keine Bildinformationen, sie platziert sie nur korrekt.
Wenn du es nicht glaubst, kopier deine und meine aussage in ein beliebiges LLM wie ChatGPT und lass es dir erklären. Kannste was lernen
Das Prinzip an sich ist auch uralt und wird tatsächlich auch in der Fotografie angewendet. Nicht unbedingt für Upscaling sondern zur Optimierung von Details und Rauschunterdrückung bzw. um das Signal to noise ratio zu verbessern. Aber das solltest du ja kennen, wenn du beruflich damit zu tun hast...