Zitat:
Zitat von mrieglhofer
Dxomark wird hauptsächlich dann kritisiert, wenn Tests neuer Kameras nicht die neuen Welten der Käufer bestätigen ;-)
|
Nicht nur die der Käufer - die diversen Ergebnisse spiegeln einfach tatsächlich oft nicht die Wahrnehmung außerhalb der DxO-Sekte wieder ;-).
Die Kritik selbst ist allerdings objektiv. Der Großteil der "Messwerte" sind keine ebensolchen sondern nur rudimentär - wenn überhaupt - dokumentierte Noten. Es gibt weder Angaben zur exakten Methodik noch zu Toleranzen. Wissenschaftlich betrachtet ist es eigentlich Bullshit. Es wird ja nicht einmal angegeben welche Objektive für die Samples benutzt werden - stattdessen wird der (falsche) Eindruck ermittelt sie würden den Sensor selbst ausmessen. Was natürlich quatsch ist. Die schnöde Wahrheit ist, dass auch DxO einfach Testfotos macht wie jeder andere auch. Bei anderen "Labortests" sieht man wenigstens die benutzten Samples und kann dort sehen, dass:
1) falsch fokussiert wurde
2) falsch belichtet wurde
3) ein suboptimales Objektiv verwendet wurde
4) die Testszene signifikant abweicht
All dies sind typische Fälle wie sie auf nahezu allen bekannten Testseiten bereits vorkamen. Du willst nun behaupten, dass gerade DxO, die keinerlei Informationen über ihre Setups und Methoden publizieren da die fehlerfreie Ausnahme darstellen?
Fehler passieren überall - bei DxO werden sie eben methodisch besser verschleiert weil die der Benotung zugrundeliegenden Messdaten möglicherweise aus genauso schlechten Samples gezogen werden wie bei allen anderen auch. Wir müssen DxO einfach glauben, dass sie so sorgfältig arbeiten wie sie auf ihrer Webseite werben. Werben? Ja Werben - denn DxO verkauft die Testsoftware und der DxOMark ist die Werbung dafür.
Ich muss es leider wiederholen - solange DxO nicht seine Methoden und Toleranzen öffentlich zugänglich und wissenschaftlich dokumentiert ist die Seite eigentlich nur als Zeitvertreib nützlich. Ich würde nie auf die Idee kommen feste Aussagen auf diesen Informationen zu basieren.
Bleibt die Frage ob es denn wenigstens konsistente Ergebnisse sind: Es gibt ja durchaus auch andere spezialisierte Testlabors wie z. B. "Image Engineering" das Labor-Aufträge von diversen Publikationen durchführt. Mir ist da bereits häufiger aufgefallen, das deren Ergebnisse sich nicht mit jenen von DxO decken.
Weiteres Beispiel: Das Projekt "SenScore" (
http://www.senscore.org) ähnelt dem Prinzip des DxOMark: Es wird auf RAWs gemessen und diverse Parameter (z. B. "Noise" "Dynamic Range") gemessen. Wie DxO testen sie lediglich mit im regulär im Handel gekauften Kameras - kein Sponsoring der Hersteller. Sie dokumentieren mit welchen Objektiven die Tests gemacht werden (!). Wenn man einige der Ergebnisse mit jenen des DxOMark vergleicht - gibt es ein paar Stirnrunzler:
1) Nach SenScore ist die A7 beim Rauschen geringfügig besser als RX1 und geringfügig schlechter als die RX1R
2) Die Canon EOS 5DMkIII ist laut SensCore auf etwa einer Ebene mit der A7r bei DxOMark ist sie auf einer Ebene mit der A7.
3) Laut DxOMark zerstampft die A99 die EOS 5DMkIII bei Dynamic Range deutlich. Bei SenScore liegt die Canon jedoch vorne.
Soviel zur Aussagekraft deines Lieblingsbenchmarks
. Ich will damit nicht sagen dass SenScore recht hat und DxoMark unrecht - aber da stehen nun zumindest schonmal zwei ähnliche Labore mit deutlich unterschiedlichen Ergebnissen gegenüber. Lustig: Auch SenScore ist nicht wirklich Nachvollziehbar. Der generelle Trend den ich bislang bei den Laboren festgestellt habe ist: DxOMark bewertet Nikon-RAWs stets außerordentlich gut und Canon-RAWs ungewöhnlich schlecht. Bei anderen Laboren kommen die Canons deutlich besser weg. Wer Recht hat kann ich nicht sagen - aber wer kann es denn?
Zitat:
Zitat von mrieglhofer
Aber wie bei jeder Messmethode kann man natürlich diskutieren, wie relevant sie für die Bildergebnisse ist. Da führt letztlich auch kein Weg an der eigenen Evaluierung vorbei.
Dxomark hat halt 3 Vorteile, 1) bauen und verkaufen sie einen anerkannt guten RAW Konverter, für den ja letztlich die Messungen Basis für Korrekturen sind,
|
Das ist sowohl Pro als auch Negativ - wem die Ergebnisse des DxO-Konverters taugen der sollte vielleicht wirklich dem DxOMark vertrauen, denn die Engine verwendet wohl dieselben Algorithmen. Wer jedoch Lightroom, Aperture, Capture One oder einen anderen Konverter benutzt - für den ist der DxOMark nur von sehr begrenztem Wert. Ich behaupte, dass die vermeintlichen "Messungen" bei Adobe Camera RAW oder Capture One andere Ergebnisse liefern würden als beim DxOMark. DxO schreiben selbst auf ihrer Website, dass sie bislang keine RAW-Konverter testen. Das verkaufen sie als Vorteil indem sie so tun als ob ihre Ergebnisse die objektive Basis "vor" dem Einsatz eines Konverters darstellt. Tatsächlich ist es jedoch im Prinzip lediglich die Basis nach dem Einsatz des DxO-Konverterts.
Ich bin selbst Käufer des DxO-Konverters und habe ihn eine zeitlang parallel zu Lightroom und Aperture benutzt. Die Ergebnisse konnten mich dabei nicht überzeugen. Das fing schon beim Demosaic an wo DxO für mich - im Vergleich - stets einen sehr digitalen Look mit Detailverlusten hatte und endet nicht zuletzt bei der Rauschminderung - die zwar mittlerweile schon besser ist aber immer noch nicht meine erste Wahl darstellt. Wenn die Entrauschungsergebnisse ein Indiz für die Expertise der DxOLabs bezüglich Rauschen sind, dann würde ich darauf nicht mein ganzes Vertrauen stützen. Andere Messlabore geben zusätzlich noch Messungen für "Texturverlust" an - bei DxO ist das nach wie vor nicht enthalten. "High-ISO" ist und bleibt hier eindimensional.
Zitat:
Zitat von mrieglhofer
b) messen sie seit Jahren mit nachvollziehbaren Methoden quer über alle Hersteller und Bieter damit eine gute Vergleichsbasis auch über die Zeit.
|
Das kannst Du doch gar nicht wissen. Die Methoden, Testgeräte und Toleranzen sind allesamt nicht frei zugänglich dokumentiert. Wenn sie über die Jahre Änderungen vorgenommen haben sind diese ebenfalls nicht dokumentiert. Nachvollziehbar ist eigentlich gar nichts davon. Oder haben wir unterschiedliche Vorstellungen von "Nachvollziehbar"? Ich schätze Du meinst eigentlich "Für Dich plausible Ergebnisse"?
Zitat:
Zitat von mrieglhofer
3) sie messen physikalische Grössen , die sie als Indikatoren für gute Bilder sehen und können damit objektive und nachprüfbare Ergebnisse liefern.
|
Nach allem was man wissen kann machen sie auch nur RAW-Testsamples mit Testkameras und unspezifizierten Testobjektiven in einem unspezifizierten Setup. Sie verwenden für die Auswertung der so ermittelten - hoffentlich korrekten - Samples ihre eigene Testsoftware. Wie bei SenScore werden bestimmten Messdaten nach irgendwann mal in unspezifizierter Umgebung ermittelten subjektiven Limits bestimmten Score-Werte zugeordnet. Das ganze wird auf einer schicken Website leicht bekömmlich für Laien aufbereitet.