Fika schrieb:
Wie auch immer das im Detail genau funktioniert, aber bei Stillstand kann ja schlecht nur stur mehrfach das exakt identische Frame zur Kantenglättung benutzt werden, oder?
ich finde TAA auch furchtbar.
TAA nutzt auch jitter. Das ist absolut essenziell. Nur so bekommt man eine mehrfachabtastung der Szene und somit zusätzliche samples (bildinformationen) mit denen man AntiAliasing oder Upscaling machen kann. Deshalb sieht TAA im Stillstand ja meistens auch nahezu perfekt aus. Selbst DLSS performance oder Ultra performance sieht im Stillstand perfekt aus. Das ist ein vergleichsweise simpler Task, wo die verfahren nur wenige Fehler machen können.
Richtig komplex wird es dann in bewegung, wenn objekte über mehrere Frames hinweg mit sich ändernder Perspektive und verdeckung verfolgt und korrekt zugeordnet werden müssen.
Hier versagt TAA komplett und wird daher in bewegung sofort unscharf. Das ist genau die Aufgabe für die es die KI braucht. Um die richtigen Entscheidungen zu treffen, welches sample aus welchem Bild zu welcher Position im neuen Bild passt und auf welche Weise es gewichtet und verwertet werden muss. Das ist eine absolute Mammutaufgabe und ein unfassbar komplexes Problem. Das ist genau der Bereich in den das ganze Hirnschmalz der Forscher, Ingenieure und Mathematiker und letztendlich der KI hineingesteckt wird.
Das beeindruckende dabei ist, dass moderne Upscaler bei dieser Aufgabe so leistungsstark sind, dass sie über mehrere Frames hinweg so enorm viele brauchbare samples aus den vorherigen Bildern korrekt verwerten können um daraus ein neues Bild in höherer Auflösung zusammenzusetzen, dass sie damit TAA selbst in nativer Auflösung meistens überlegen sind. Moderne Upscaler drehen also förmlich kreise um das veraltete TAA. TAA tut sich schon schwer genug samples korrekt zu verwerten, um das Bild bei nativer Auflösung zu glätten und scharf zu halten. DLSS und co schaffen das besser mit nur 1/4 oder 1/9 der Pixel pro Frame.
Und ja, DLSS macht auch weiterhin Fehler. Fehler die TAA an manchen Stellen mit höherer Auflösung vielleicht nicht macht. Aber alleine die Tatsache, dass das Bild mit TAA in bewegung unscharf wird zeigt, dass der Algorithmus extrem unsicher wird und details nicht mehr präzise in bewegung rekonstruieren kann. Letztendlich entscheidet man sich bei alle verfahren für eine Unschärfe, um harte Artefakte zu vermeiden. Je unschicherer man mit den Farbwerten ist, desto mehr lässt man sie verwischen. Das ist grundsätzlich sinnvoll.
Die Schärfe die man in den Bildern sieht ist dann aber logischerweise 1:1 die repräsentation dessen wie treffsicher der Algorithmus informationen rekonstruieren kann.
Die Unschärfe von TAA ist also keine eigenschaft, die dem TAA verfahren selbst zuzschreiben ist. Es ist eine Konsequenz die sich ergibt, wenn der Algorithmus an seine Grenzen kommt und nicht mehr weiß, wie er die samples richtig zuordnen muss. Das ergbnis sind mehr geschätzte Mittelwerte und somit mehr blur.
Wenn das TAA verfahren perfekt arbeiten würde, hätte man auch keinen Blur.
Praktisch ist DLSS ja ebenfalls ein TAA, nur eben ohne Blur weil es so viel leistungsfähiger ist. TAA verfahren werden also nur unscharf, wenns sie schlecht sind bzw. unsicher werden.
