[*thomasD*]

Am PC könnten die unkomprimierten RAWs ja in verlustlos komprimierted RAWs (DNGs) umgewandelt werden.

Da müsste ich meine Workflow aber überarbeiten. Lightroom müsste das ja recht einfach können? Allerdings traue ich dem DNG-Format noch nicht so recht.

[Ellersiek]

Habe mal eben ein uncompressed RAW der 900er mit 7Zip komprimiert:
Aus 36533 kB wurden 16159 kB, allerdings mit unerträglicher, zusätzlicher Verarbeitungszeit.

Wenn man intern jede Bildzeile oder Blöcke von Bildzeilen (falls das RAW zeilenweise abgespeichert ist) einzeln zippt, könnten man das Zippen parallelisieren und dadurch beschleunigen. Bleibt allerdings die Frage, ob die Hardwarestrukturen so etwas ermöglichen.

Gruß
Ralf

[mick232]

Zitat von Ellersiek

Habe mal eben ein uncompressed RAW der 900er mit 7Zip komprimiert:
Aus 36533 kB wurden 16159 kB, allerdings mit unerträglicher, zusätzlicher Verarbeitungszeit.

Wenn man intern jede Bildzeile oder Blöcke von Bildzeilen (falls das RAW zeilenweise abgespeichert ist) einzeln zippt, könnten man das Zippen parallelisieren und dadurch beschleunigen. Bleibt allerdings die Frage, ob die Hardwarestrukturen so etwas ermöglichen.

Das Beispiel zeigt zwar, daß RAW-Daten gut komprimierbar sind, aber 7-Zip bzw. "Zippen" hat mit RAW-Kompression sonst nicht viel zu tun.

Auch auf Parallelisierung wird man eher nicht setzen. Aus vielfachen Gründen. Du hast sequentielle Anteile, die du nicht parallelisieren kannst und die daher den Speedup begrenzen. Du hast auch gar nicht die Hardware für parallele Ausführung. Du wüsstest nicht, an welche Stelle du die komprimierten Zeilen in den Zielpuffer schreiben kannst, weil die Länge der vorherigen Zeilen noch nicht bekannt ist, etc.

Grundsätzlich sollte man unterscheiden:
- generische verlustlose Verfahren für beliebige Daten (angefangen vom Urvater Huffman-Coding bis hin zu aktuellsten Vertretern, wie 7-Zip es macht)
- für den Bildbereich entworfene Verfahren wie JPEG, basierend auf diskreter Cosinustransformation, die das Bild in den Spektralbereich umwandeln, dadurch hochfrequente Bereiche die viel Platz beanspruchen aber wenig zum Bild beitragen einfach abgeschnitten werden können, und den Rest dann rücktransformieren
- RAW-Kompression wie bei Sony, die auf kleinen und fixen Datenblöcken arbeitet und auf einfachen arithmetischen Operationen basiert, vom Rechenaufwand mit JPEG und ZIP überhaupt nicht zu vergleichen

[Ellersiek]

Zitat von mick232

...Auch auf Parallelisierung wird man eher nicht setzen. Aus vielfachen Gründen. Du hast sequentielle Anteile, die du nicht parallelisieren kannst und die daher den Speedup begrenzen. Du hast auch gar nicht die Hardware für parallele Ausführung. Du wüsstest nicht, an welche Stelle du die komprimierten Zeilen in den Zielpuffer schreiben kannst, weil die Länge der vorherigen Zeilen noch nicht bekannt ist, etc...

In Win10 werden mittlerweile die Speicherseiten, wenn sie nicht mehr benötigt oder verdrängt werden, komprimiert - wenn mehrere Kerne vorhanden sind auch parallel. Erst nach der Komprimierung werden sie ausgelagert.
Dieses Verfahren hat man eingeführt, um die Gesamtleistung beim Aus- und Wiedereinlagern zu steigern und um grundsätzlich weniger DriveIO-Vorgänge zu haben (Das Komprimieren der Daten und Schreiben der komprimierten Daten geht schneller als das Schreiben der unkomprimierten Daten, auch bei schneller SSD - lt. Entwickler aus den Win10-Team).

Also was wann wo wie technisch machbar und sinnvoll ist, werden uns nur wohl die Sony-Ingenieure beantworten können.

Gruß
Ralf

[SpeedBikerMTB]

Der Workflow wäre sehr einfach zu ändern, einfach beim Import in oben 'Als DNG kop.' anklicken und wird schon umwandelt, aber:

Zitat von *thomasD*

.......Allerdings traue ich dem DNG-Format noch nicht so recht.

Ist DNG wirklich Verlustlos? Verdächtig die DNG-Dateien sind genauso groß wie die cRaws der A99.

[nobody23]

Zitat von SpeedBikerMTB

Ist DNG wirklich Verlustlos? Verdächtig die DNG-Dateien sind genauso groß wie die cRaws der A99.

Waren die Quelldateien von welcher Kamera oder hast du bereits eine Sony die verlustlos arbeitet?

[SpeedBikerMTB]

Nein,
Kamera: Sony Alpha SLT-A99 speichert ja nicht verlustlos! daher mein Größenvergleich.

A99 Raw 24Mb
LR-DNG 21,5Mb (unterschiedlich)

[Alison]

Zitat von SpeedBikerMTB

Ist DNG wirklich Verlustlos?

Wenigstens nicht was Metadaten angeht.
https://forums.adobe.com/thread/1133042

Auch falls sich das eventuell mitlerweile geändert hat: zumindest mit undokumentierten Metadaten wird es Probleme geben.

[mick232]

Zitat von SpeedBikerMTB

Der Workflow wäre sehr einfach zu ändern, einfach beim Import in oben 'Als DNG kop.' anklicken und wird schon umwandelt, aber:

Ist DNG wirklich Verlustlos? Verdächtig die DNG-Dateien sind genauso groß wie die cRaws der A99.

Das kann man in der DNG-Spezifikation einfach nachlesen: https://helpx.adobe.com/photoshop/digital-negative.html

Two Compression tag values are supported in DNG versions before 1.4.0.0:

• Value = 1: Uncompressed data.
• Value = 7: JPEG compressed data, either baseline DCT JPEG, or lossless JPEG compression.
DNG Version 1.4.0.0 adds support for the following compression codes:
• Value = 8: Deflate (ZIP)
• Value = 34892: Lossy JPEG

Daraus erkennt man, dass entweder
* JPEG-Kompression (verlustlos, Huffman-Code), nicht zu verwechseln mit der typischen verkustbehafteten JPEG-Kompression (DCT)
* unkomprimiert
* oder mittels Deflate (ZIP) komprimiert wird

Beide Verfahren wenden keine Spezialalgorithmen für Bilddaten sondern verlustlose Verfahren für beliebige Daten (Huffman) an, inzwischen ziemlich veraltet.

[P_Saltz]

Sonyalpharumors berichtet gerade, dass Sony eine neue FW für die A7RII mitte Oktober ausliefern will. Hauptbestanteil sollte das neue Datenformat 14bit unkompressed RAW sein.

D.