[mrieglhofer]

Zitat von Neonsquare

meinst du mich?

Nein, war Modena gemeint, weil alle auf einen Print bezogen ist, was in meinen Augen durchaus auch Sinn macht. Aber du hast dich der weilen dazwischen geschoben und ich Hans nicht gemerkt.

[Neonsquare]

@Klaus
Ich weiß nicht, ob Du Dich damit auch auf meine Kritik beziehst - antworte aber mal. Ich will mich definitiv nicht darüber streiten, lasse mir aber ungern Unkenntnis und Vorurteile vorwerfen.

Zitat von turboengine

Ich bin einigermassen erschüttert, was ich da in den vorangegangenen posts gelesen habe. Ich halte den DXO Benchmark für den bestdokumentiertesten und verlässlichsten frei zugänglichen Vergleichsmasstab für Fotoequipment.

Da stimme ich Dir - allerdings etwas weniger enthusiastisch - zu. Vor allem, weil auch alle anderen Benchmarks nicht besser dokumentiert sind.

Zitat von turboengine

Die Ergebnisse decken sich regelmässig mit meinen eigenen Erfahrungen was die Erzeugnisse aus dem fotographischen Prozess betrifft. Wenn ich meine eigen Bildergebnisse von A700, A900, A55, NEX7, Nikon D800 und A7 gegen die Messwerte halte, sehe ich da keinen Widerspruch.

Das freut mich (ehrlich!) für Dich. Mir geht es da allerdings nicht so. Ich arbeite seit Jahren mit Aperture und da sind die RAW-Ergebnisse über die Jahre teils besser und teils schlechter als z. B. mit DxO, Lightroom usw. gewesen. Reine konkrete Messwerte aus normalisierten Verfahren wie beim DxOMark sind zwar in sich vergleichbar, müssen aber keine sinnvolle generelle Aussage zu den realen RAW-Möglichkeiten einer Kamera wiedergeben. Meine Erfahrung zeigt, dass die Abstände bei den DxO-Messungen schon erheblich sein müssen um die Varianz bei den verschiedenen Konvertern UND Motivsituationen auszugleichen. Ich kann da auch nur per Daumenregel sagen, das ab einem Abstand von 1 Ev aufwärts trotz Varianz eine robuste Aussage getroffen werden kann.

Zitat von turboengine

Es ist vieles auf der dxo-Website ersichtlich bzw. mit geringem Aufwand recherchierbar.

"Vieles" ist nicht hinreichend. Außerdem liegt "vieles" im Auge des Betrachters. Mir zumindest fehlt eine Menge und ich kenne die publizierten Infos - auch den von Dir verlinkten Artikel auf LL. Ich bleibe dabei: Anhand der uns zugänglichen Informationen können wir die Werte als "Plausibel" betrachten aber NICHT "Nachvollziehen". Das ist kein Aufruf den Benchmark nachzustellen sondern schlicht eine Aussage, dass die Ergebnisse plausibel sind aber durchaus auch strittig sein können und viele der hier daraus getroffenen Aussagen gelinde gesagt die Bits nicht wert sind in welchen sie gespeichert werden.

Zitat von turboengine

Wie so oft bei komplexen Zusammenhängen muss man sich allerdings damit etwas differenzierter beschäftigen als nur den Overall-Score und den Sports-Score anschauen und gegen 100% Pixelpeeping Bilder von Imaging Resource halten.

Das habe ich nicht getan und auch nirgends geschrieben. Ich betrachte bei DxO sämtliche gezeigten Messwerte. Ich schaue mir auch die Messwerte anderer Benchmarks an (SensScore, z. T. ImaTest). Weiterhin analysiere ich die RAW-Daten selbst mit dcraw.c (z. B. auch die Auswirkungen von cRAW & Co.). What the heck - ich habe meinen eigenen ARW-Dekodierer in Common Lisp implementiert . Mein Ziel ist stets eine differenzierte Betrachtungsweise zu den RAW-Ergebnissen zu kriegen. Ich schaue eben gerade nicht nur auf den "DxO Noise Score" und urteile dann, dass Kamera A um 0,5 Ev "besseres Rauschverhalten" hat als Kamera B. Das ist mir nicht differenziert genug. Wenn diese Vorgehensweise für Dich entrüstend und vorurteilsbehaftet ist, dann hätte ich da gerne ein paar konstruktive Argumente was daran so böse ist?

Zitat von turboengine

Das herunterrechnen auf 8 MP ist m.E. vollkommen OK für den normalen Ausdruck. Wir drucken heute nicht extra grösser aus als früher, nur weil wir mehr Megapixel haben, die Bildqualität teigt aber dadurch. Das passt aber halt nicht zu den in den Foren so gerne gehegten Mythen wie "hochauflösende Sensoren rauschen mehr" oder 10 (12?, 15?, beliebige andere Zahl) MP sind genug.

Ich glaube da sind wir sowieso einig.

Zitat von turboengine

Dass die Canon Kameras bei High ISO Rauschen besser abschneiden als Nikon oder Sony, kann man übrigens auch aus den Messungen ersehen, man muss aber ein wenig in den Detaildaten suchen. Nur wirkt es sich im Score nicht so aus wie von Markenexponenten erhofft, da Rauschen nur ein Aspekt der Bildgüte ist.

- insbesondere der Aspekt über die Bildgüte. Ein weiterer Aspekt, der nur schwer in die "DxO Noise Score"-Welt zu pressen ist, ist der schlichte und einfache Fakt, dass eine Kamera gleichzeitig ein messbar besseres Rauschverhalten im RAW, aber auch gleichzeitig mehr Herausforderungen für die Bildverarbeitung im Konverter erzeugen kann. Das mag für manche Nutzer paradox klingen ist aber so. Kurz: Bei gleichem Aufwand ist das Endergebnis der eigentlich "schlechteren" Kamera mitunter besser als jenes der "besseren".

Gruß,
[neon]

[turboengine]

Zitat von mrieglhofer

Nein, war Modena gemeint, weil alle auf einen Print bezogen ist, was in meinen Augen durchaus auch Sinn macht. Aber du hast dich der weilen dazwischen geschoben und ich Hans nicht gemerkt.

Ja, aber auch neonsquare, da er meinem Meinung nach Tatsachen falsch darstellt bzw. unbelegte Annahmen trifft.

Zitat von Neonsquare

Es wird ja nicht einmal angegeben welche Objektive für die Samples benutzt werden - stattdessen wird der (falsche) Eindruck ermittelt sie würden den Sensor selbst ausmessen.

Da liegst Du falsch. Zu Schärfe usw. wird ja auch nichts gesagt. Der Benchmark umfasst nicht die Optik. Ob sie nun das Testmuster mit einem Testobjektiv oder einer Kollimatoroptik wie bei MTF-Tests projizieren, bleibt sich gleich.

http://www.luminous-landscape.com/es...s2.shtml#_end9

This means the benchmark covers the impact of semi-transparent mirrors, anti-aliasing filters, color filter arrays, the sensor itself, signal amplifiers, analog-to-digital convertors, and subsequent signal processing within the camera. Arguably, the decoding of the Raw file is also in scope, but this should have no impact.

Die Messmethode wird hier von DxO beschrieben:

http://www.dxomark.com/About/In-dept...-dynamic-range

Wer mehr wissen will, muss sich offenbar einem Partnerprogramm mit Non-Disclosure-Agreement anschliessen. Auf der DXO Seite liest man hierzu:

If you are an owner or authorized agent of a photography magazine or website, or an authorized representative of a non-profit organization (such as a school or an association) involved in imaging, and wish to use the content of the Site beyond the terms of Fair Use stipulated above, you may be qualified to enter into our Expert Partners Program.

Viele Stellen von Neon's Beitrag sind einfach nur Meinungsmache.
Nochmal: Liest man den Artikel in der LuLa und die Dokumentation von Dxo unter
http://www.dxomark.com/About/In-dept...ting-protocols

stossen einem solche Aussagen einfach nur sauer auf:

Zitat von Neonsquare

Der Großteil der "Messwerte" sind keine ebensolchen sondern nur rudimentär - wenn überhaupt - dokumentierte Noten. Es gibt weder Angaben zur exakten Methodik noch zu Toleranzen. Wissenschaftlich betrachtet ist es eigentlich Bullshit.

[..]

Du willst nun behaupten, dass gerade DxO, die keinerlei Informationen über ihre Setups und Methoden publizieren

[..]

sie eben methodisch besser verschleiert weil die der Benotung zugrundeliegenden Messdaten möglicherweise aus genauso schlechten Samples gezogen werden wie bei allen anderen auch.


[..]

solange DxO nicht seine Methoden und Toleranzen öffentlich zugänglich und wissenschaftlich dokumentiert ist die Seite eigentlich nur als Zeitvertreib nützlich. Ich würde nie auf die Idee kommen feste Aussagen auf diesen Informationen zu basieren.

[..]

Das kannst Du doch gar nicht wissen. Die Methoden, Testgeräte und Toleranzen sind allesamt nicht frei zugänglich dokumentiert.

[..]
Wie bei SenScore werden bestimmten Messdaten nach irgendwann mal in unspezifizierter Umgebung ermittelten subjektiven Limits bestimmten Score-Werte zugeordnet. Das ganze wird auf einer schicken Website leicht bekömmlich für Laien aufbereitet.

Gerade letzteres Statement ist komplett falsch. Das ist sehr wohl definiert.
http://www.dxomark.com/Reviews/Detai...-normalization

[Neonsquare]

Zitat von turboengine

Ja, aber auch neonsquare, da er meinem Meinung nach Tatsachen falsch darstellt bzw. unbelegte Annahmen trifft.

Meiner Meinung nach versuchst Du (mal wieder) mich gezielt schlechtzureden. Leider ist das nicht das erste mal. Ich finde das ehrlich gesagt ziemlich fragwürdig. Man kann in Diskussionen durchaus verschiedener Meinung sein - aber es ist eine Grenze erreicht wenn man gezielt versucht andere Leute öffentlich zu diskreditieren!

Zitat von turboengine

Da liegst Du falsch. Zu Schärfe usw. wird ja auch nichts gesagt. Der Benchmark umfasst nicht die Optik. Ob sie nun das Testmuster mit einem Testobjektiv oder einer Kollimatoroptik wie bei MTF-Tests projizieren, bleibt sich gleich.

Lies dich selbst: "ob sie nun... oder...". Du weißt es nicht. Du vermutest es müsse gleich sein - quasi egal mit welchen Mitteln die Samples der Testmuster erstellt werden. Alleine schon die Tatsache, dass Auflösung kein Aspekt des Ansatzes beim DxOMark ist, ist ja nicht unstrittig. Aus einer solchen Konjunktivitis Deinerseits willst Du mir nun ankreiden ich läge falsch. Der wichtigste Punkt aber in der von Dir selbst zitierten Quelle:

Arguably, the decoding of the Raw file is also in scope, but this should have no impact.

(emphasis mine)

Genau das ist einer der Hauptpunkte den ich daran kritisiere. Ich zweifle daran, dass die Raw-Dekodierung des DxO-Analyzers keinen Einfluss hat. Wo war nochmal der Quelltext? Hups - Black box.

Zitat von turboengine

Die Messmethode wird hier von DxO beschrieben:

http://www.dxomark.com/About/In-dept...-dynamic-range

Ja - und wie bereits gesagt - das macht die Messung der SNR plausibel - aber nicht nachvollziehbar. Denn dazu bräuchtest Du mindestens mal den DxO-Analyzer und weiterhin das restliche Equipment inkl. die zertifizierten Belichtungsmesser, Lightboxen und Testcharts. Damit (nach intensiver Schulung!) könntest Du dann die Resultate mit den veröffentlichten vergleichen - aber Du wüsstest immer noch nicht was in der DxO-Analyzer-Blackbox steckt. Davon absolut abgesehen - und das habe ich auch bereits öfters angemerkt - gibt es hier einen Paradigmenwechsel zwischen "Rauschen" als reinen Informationstheoretischen Wert und "Rauschen" wie es am Ende in der Fotografie diskutiert wird. Bei letzterem geht es z. B. auch um z. B. Themen wie Texturerhalt oder auch schlicht ästhetische Aspekte die sich nur schwer in Messungen zwängen lassen. Veranschaulichung: Wo ist denn der Bokeh-Messwert? "Gutes Rauschverhalten" ist nicht einfach nur "Niedrige SNR". Dieses Problem wird wiederum dadurch verstärkt, dass die RAW-Daten der Hersteller durchaus bereits eine Bearbeitung erfahren haben - das kann durchaus SNR innerhalb dieses Testverfahrens optimieren aber andere Aspekte verschlechtern.

Zitat von turboengine

Wer mehr wissen will, muss sich offenbar einem Partnerprogramm mit Non-Disclosure-Agreement anschliessen. Auf der DXO Seite liest man hierzu:

Lies dich selbst: "offenbar". Du weißt es nicht selbst. Ich weiß es auch nicht - und wenn ich es wüsste dürfte ich es hier nicht sagen. DAS ist der Stand auf dem die Website "DxOMark" deren Nutzer hinterlässt. Zweifellos haben DxO Expert Partners mehr Einblick - ob das so weit geht auch die Algorithmen im DxO-Analyzer zu kennen bezweifle ich zumindest **. Nichtsdestotrotz gibt es auf der Website nur Darstellungen der Methodik und keinerlei Protokolle, Toleranzen oder auch nur annähernd ausreichende Informationen. Das ist eben NICHT öffentlich zugänglich. Niemand hat doch wohl bezweifelt, dass es Leute gibt die diese Informationen darüber besitzen. Es bleibt dabei: Die öffentliche Darstellung ist vor allem Reklame - sie macht es plausibel - nicht mehr aber auch nicht weniger.

Zitat von turboengine

Viele Stellen von Neon's Beitrag sind einfach nur Meinungsmache.
Nochmal: Liest man den Artikel in der LuLa und die Dokumentation von Dxo unter
http://www.dxomark.com/About/In-dept...ting-protocols

stossen einem solche Aussagen einfach nur sauer auf:

Wut ist kein guter Berater und - lieber Forenkollege - deine Behauptungen könnte man wohl bald als üble Nachrede auslegen!

Zitat von turboengine

Gerade letzteres Statement ist komplett falsch. Das ist sehr wohl definiert.
http://www.dxomark.com/Reviews/Detai...-normalization

Falsch. Wie soll die Definition der SNR-Normalisierung belegen dass die Entscheidung der Kriterien um die DxO Scores nicht subjektiv war? Das von Dir verlinkte Dokument klärt lediglich die Frage, wie man versucht die diversen Sensor-Messwerte anhand der theoretischen Auflösung der Sensoren zu normalisieren. Das hat noch überhaupt nichts mit den Scores zu tun.

**) Man sollte nicht vergessen, warum es den DxOMark letztlich gibt.
Die DxO Labs bieten einen RAW-Konverter, der kameraspezifische und objektivspezifische Korrekturen weitgehend automatisiert durchführen kann. Dazu sind aufwändige Messungen notwendig. Die so entstandene Datenbank wird gleichzeitig zu Werbezwecken im DxOMark verwertet. Der positive Aspekt der Website ist, dass die Daten sehr übersichtlich aufbereitet werden - da gibt sich DxO viel Mühe. Der negative Aspekt ist, dass einige dieser Werte wenig aussagekräftig - fast schon plakativ sind, aber trotzdem für gewagte Thesen hergenommen werden. Die Tatsache, dass die Datenbank in der Praxis zur Software-Korrektur von Fotos verwendet wird spricht dafür, dass sich DxO Mühe gibt sinnvolle Daten zu erfassen. Es gibt eigentlich keinen Grund Werte zu manipulieren. Allerdings sind sämtliche Algorithmen die verwendet werden Geschäftsgeheimnisse von DxO und damit ist es schwer bis unmöglich nachzuvollziehen ob diese Ergebnisse wirklich das meiste und beste herausholen.

[turboengine]

Sei mir nicht böse, aber die von mir rot gekennzeichneten Stellen sind reine Schmähkritik. Das muss nicht sein. Ich kann da keine üble Nachrede finden. Es wäre sehr wünschenswert, mal wieder auf die Sachebene zurückzukommen, oder?

Die "Masterformel" legt DXO tatsächlich nicht offen. In dem von mir Artikel in der LuLa wurde empirisch folgende Definition erschlossen...

Expressed in a linear formula: DxOMark_Sensor_Score = 59 + 4.3*(ColorDepth-21.1) + 3.4*(DynamicRange-11.3) + 4.4*log2(ISO/663) -0.2. The 3 middle terms can either add or subtract points, depending on whether the camera did better or worse than the Leica M8. Expansion of the formula gets rid of the choice of the Leica M8 as a reference. Camera scores predicted by this formula differ from the published DxOMark Sensor scores by a standard deviation of 0.7. The formula tells us that the 3 subbenchmarks have roughly equal importance. And that a factor of 2 improvement in each subbenchmark would increase the overall score by 12.1 points. My guess is that the actual formula is non-linear and may use (under some conditions) coefficients of 5/5/5 rather than 4.3/3.4/4.4.

Und alle, die sich der Fundamentalkritik an DXO nicht anschliessen wollen als Mitglieder einer Sekte zu bezeichnen...

..ist Humor. Oder?

[Neonsquare]

Zitat von turboengine

Sei mir nicht böse, aber die von mir rot gekennzeichneten Stellen sind reine Schmähkritik. Das muss nicht sein. Ich kann da keine üble Nachrede finden. Es wäre sehr wünschenswert, mal wieder auf die Sachebene zurückzukommen, oder?

Das wäre mir durchaus lieb. Ich bin ganz allgemein kein nachtragender Mensch - aber wenn ich mich ungerecht behandelt fühle erlaube ich es mir auch mich zu rechtfertigen.

Zitat von turboengine

Die "Masterformel" legt DXO tatsächlich nicht offen. In dem von mir Artikel in der LuLa wurde empirisch folgende Definition erschlossen...

So kann man es natürlich schätzen - letztlich ist die Gewichtung der Teile aber eine subjektive Entscheidung; selbst wenn sie gleichgewichtet ist. Am Ende werden verschiedene Aspekte in eine "Note" eingedampft. Wie aussagekräftig das am Ende ist sei dahingestellt - es ist eben "nur" eine Note um am Ende ein Ranking zu ermöglichen. Eine solches Ranking ist für das gesamte Thema der Analyse eigentlich unwichtig - aber es ist beliebt und letztlich von den Nutzern gewünscht. Das ist der unterhaltende Aspekt den ich meine. Auch ich werde gerne unterhalten und schau mir diese Werte und Listen an. Die anderen Diagramme sind jedoch wesentlich aussagekräftiger.

Zitat von turboengine

Und alle, die sich der Fundamentalkritik an DXO nicht anschliessen wollen als Mitglieder einer Sekte zu bezeichnen...

..ist Humor. Oder?

Es ist eine Spitze und letztlich unnötig provokant. Ich bin auch nur ein Mensch. Trotzdem beobachte ich eben, dass einzelnen Scores - allen voran der "Sports Low Light ISO" Score - gerne dazu hergenommen werden um die Rauschqualitäten zwischen unterschiedlichen Kameras zu vergleichen. Das finde ich keine gute Entwicklung - insbesondere wenn die Stichhaltigkeit dann mit den auf der Website dargestellten Laborbedingungen begründet wird und so letztlich einer "Note" mehr Bedeutung beigemessen wird als am Ende wirklich gegeben ist. Wie bereits häufiger angemerkt - bei weniger als 1 Ev Unterschied in dieser Note würde ich wenig auf entsprechend getroffene Aussagen geben.

Obwohl die Messwerte bei DxO durchaus nützlich sind, vermisse ich Aspekte wie der von mir erwähnte Texturerhalt. Das ist aber selbst wiederum nicht leicht in Messwerte zu fassen. Wäre ein entsprechender Algorithmus dafür bekannt ** könnten Hersteller gar dazu übergehen die RAW-Dateien darauf zu optimieren *** - was nicht immer gut ist wie man früher schon gesehen hat. Letztlich ist "Bildrauschen" aber zu großen Teilen ein ästhetischer Aspekt der sich einer vollumfänglichen Messung entzieht. Siehe z. B. auch das Thema "visual noise" im Kontext des Mona Lisa-Lächelns. Deswegen das Beispiel mit dem "Bokeh-Score".

**)
Beispiele: Kurtosis & Dead Leaves-Messung

***)
Bloß weil man Paranoid ist heißt das nicht, dass niemand hinter einem her ist
Im Ernst: Samsung hat z. B. bei manchen Galaxys bei bestimmten erkannten Benchmark-Prozessen die CPU-Kern-Leistung künstlich hochgefahren um besser abzuschneiden. Ein so bekannter Benchmark wie der DxOMark wäre natürlich auch ein wirkungsvolles Ziel.

[mrieglhofer]

Die ganze Diskussion ändert aber nichts dran, dass es bessere Vergleiche in dieser Breite und über solange Zeit nicht gibt. Und wie richtig erkannt wird, dies sich wahrscheinlich auf den Konverter auswirkt und damit versucht wird, signifikante Werte zu erfassen.

Jede Verbesserung ist selbstverständlich wünschenswert. Aber gegenüber Einschätzungen von Einzelpersonen mit nicht nachvollziehbaren Einstellungen ist das ein wohltuend präzise.

Und wenn ich dann im Forum immer lese, welche Welten zwischen der neuen Kamera und dem Rest liegen, dann schaue ich mir halt DXOMark an und bin meist beruhigt. Und bei Erscheinen der neueren Kamera wird das alte Modell schlaghaft schlechter. Auch etwas, was bei Dxomark nicht vorkommt ;-)

[karwendelyeti]

Zitat von mrieglhofer

Und bei Erscheinen der neueren Kamera wird das alte Modell schlaghaft schlechter. Auch etwas, was bei Dxomark nicht vorkommt ;-)

[Neonsquare]

Zitat von mrieglhofer

Jede Verbesserung ist selbstverständlich wünschenswert. Aber gegenüber Einschätzungen von Einzelpersonen mit nicht nachvollziehbaren Einstellungen ist das ein wohltuend präzise.

Zustimmung. Allerdings zwingt niemand andere dazu Einzelmeinungen zu glauben und ich fände es nicht sinnvoll Einzelmeinungen unterzubuttern. Im Ernst: Wenn jemand begeistert über das Rauschverhalten seiner neuen Kamera berichtet, dann freue ich mich für ihn, aber leite daraus nichts generelles ab. Das Problem ist also eigentlich keines der Meinungsäußerer sondern eines von jenen Leuten, die keine Meinung stehen lassen können bis sie nicht bis in den letzten Keim erstickt ist.

Zitat von mrieglhofer

Und wenn ich dann im Forum immer lese, welche Welten zwischen der neuen Kamera und dem Rest liegen, dann schaue ich mir halt DXOMark an und bin meist beruhigt. Und bei Erscheinen der neueren Kamera wird das alte Modell schlaghaft schlechter. Auch etwas, was bei Dxomark nicht vorkommt ;-)

Das ist auf jeden Fall besser als einfach ungeprüft Einzelmeinungen als Fakten zu akzeptieren. Wenn ich mir dann aber die Praxis mit HighISO zwischen RX100II und A77 anschaue, dann sehe ich eben wieder wieso trotz eigentlich unterschiedlicher Daten im DxOMark viele Nutzer der A77 schimpfen und jene der RX100II begeistert sind.

[SuperTex]

Zitat von Neonsquare

Ja - und wie bereits gesagt - das macht die Messung der SNR plausibel - aber nicht nachvollziehbar. Denn dazu bräuchtest Du mindestens mal den DxO-Analyzer und weiterhin das restliche Equipment inkl. die zertifizierten Belichtungsmesser, Lightboxen

Um SNR absolut zu bestimmen braucht man keinen Belichtungsmesser. Nur mehrere Paare an Flatfields mit unterschiedlichen Belichtungszeiten (Genauigkleit voellig wurscht) und natuerlich lineare Rohdaten. Daran duerfte es bei DxO gelegentlich hapern.