Besserer Workflow: S/W-Konvertierung -> Upscaling oder umgekehrt

[Dat Ei]

Moin, moin,

ich ich im anderen Thread "Welcher Upscaler?" (https://www.sonyuserforum.de/forum/showthread.php?t=204697) bereits erwähnt habe, ist mir aufgefallen, dass Topaz Photolab AI als auch Topaz Gigapixel beim Upscaling farbiges Rauschen generieren, auch wenn die Eingangsdatei nur aus Graustufen besteht.

Diese Beobachtung hat bei mir zu der grundsätzlichen Fragestellung geführt, welcher Workflow der bessere ist: erst S/W konvertieren und dann skalieren oder umgekehrt? Ich könnte mir vorstellen, dass es Vorteile hat, zu erst zu skalieren, weil dann die KI nicht nur Luminanz-, sondern auch Farbwerte hat, die sie für die Analyse des Bildinhaltes und die Generierung neuer Pixel (und Details) nutzen kann. Aber das ist ein reines Bauchgefühl...

Hat hier jemand Erfahrungen damit gesammelt oder gar getestet?


Dat Ei

[fhaferkamp]

Mein Studium war schon in den 90ern, da hatte ich auch Bildverarbeitung/Computersehen (Prof. Wahl in BS) und Informationstheorie belegt. Die Algorithmen sind heute sicher nicht mehr Stand der Technik, aber die Physik ändert sich ja nicht. Eine einmal vernichtete Information kann jedenfalls nicht ohne Annahmen, Vorkenntnisse oder anderen Input (z. B. Mehrfachaufnahmen) wiederhergestellt werden. Deshalb würde ich auch davon ausgehen, dass das Upscalen in Farbe diese Zusatzinfos sinnvoll nutzen könnte, wenn das entsprechend programmiert ist. Dann könnte die von Dir genannte Reihenfolge sinnvoll sein, denn die Umwandlung in S/W ist ja eine verlustbehaftete Informationsverdichtung. Aber ich habe keine Praxiserfahrung damit und da man die Algorithmen in der jeweiligen Software nicht kennt, kann man es nur ausprobieren oder warten, bis sich jemand meldet, der das schon gemacht hat. Das Upscalen an sich ist ja aus Sicht des Informationsgehalts ein Hinzufügen von Information, die Annahmen braucht. Hierbei wird sie, um neue Zwischenpixel zu generieren, auf Informationen aus der näheren Umgebung zurückgreifen und darauf unter Annahme von stetigen Verläufen oder ähnlichen Prämissen ein neues Pixel erzeugen. Wie sinnvoll das möglich ist, hängt ganz stark vom Ausgangsbild und dem Algorithmus ab. Eine einfarbige Fläche lässt sich unter der Prämisse, dass sie tatsächlich einfarbig ist, perfekt durch Zwischenpixel in der Auflösung erhöhen, anders sieht das allerdings aus, wenn das Ausgangsbild zum Beispiel bereits ein starkes Rauschen beinhaltet. Da könnte eine vorherige Rauschminderung sinnvoll sein, wenn das entsprechende Verfahren dann nicht feine, gewünschte Details vernichtet.

[Dat Ei]

Moin Frank,

wer hätte das gedacht, dass wir hier einmal über Entropie diskutieren würden... :lol:
Das war ich bis dato nur im dBpa-Forum gewohnt, wenn User wieder versuchten, aus einer CD-Aufnahme Hires-Musikdaten zu generieren.

Bei ein paar KI gestützten Upscalern hat man die Wahl zwischen verschiedenen KI-Modellen. Einige versuchen nur aus den vorhandenen Informationen neue zu generieren, die zu umliegenden passend erscheint, andere sind aber explizit darauf ausgelegt, kreativ neue Informationen hinzuzufügen (z.B. Texturen). Bei letzterem Ansatz können interessante und auch gute Bilder entstehen, die aber deutlich von der Vorlage abweichen.

Möglicherweise wäre es auch ratsam, den Bildbeschnitt ans Ende des Workflows zu verlagern, um nicht frühzeitig nutzbare Informationen wegzuwerfen. Dem steht aber gegenüber, dass die Upscaler aktuell noch bzgl. der max. Größen und Vergrößerungen limitiert sind.


Dat Ei