[mrieglhofer]

Dxomark wird hauptsächlich dann kritisiert, wenn Tests neuer Kameras nicht die neuen Welten der Käufer bestätigen ;-)
Aber wie bei jeder Messmethode kann man natürlich diskutieren, wie relevant sie für die Bildergebnisse ist. Da führt letztlich auch kein Weg an der eigenen Evaluierung vorbei.
Dxomark hat halt 3 Vorteile, 1) bauen und verkaufen sie einen anerkannt guten RAW Konverter, für den ja letztlich die Messungen Basis für Korrekturen sind, b) messen sie seit Jahren mit nachvollziehbaren Methoden quer über alle Hersteller und Bieter damit eine gute Vergleichsbasis auch über die Zeit. 3) sie messen physikalische Grössen , die sie als Indikatoren für gute Bilder sehen und können damit objektive und nachprüfbare Ergebnisse liefern.

[Plumpaquatsch]

ich finde es auch bemerkenswert, dass die Sony sowohl in dem Link oben als auch im Artikel selbst stets genau so groß dargestellt wird wie seine Konkurrenten. Ich hätte jetzt wetten können, dass Nikon und Canon mehr Werbung in dem Blättchen geschaltet haben, aber es ist interessanterweise genau umgedreht (nichts von Nikon und Canon, eine Seite von Sony (Nex)).

[Neonsquare]

Zitat von mrieglhofer

Dxomark wird hauptsächlich dann kritisiert, wenn Tests neuer Kameras nicht die neuen Welten der Käufer bestätigen ;-)

Nicht nur die der Käufer - die diversen Ergebnisse spiegeln einfach tatsächlich oft nicht die Wahrnehmung außerhalb der DxO-Sekte wieder ;-).

Die Kritik selbst ist allerdings objektiv. Der Großteil der "Messwerte" sind keine ebensolchen sondern nur rudimentär - wenn überhaupt - dokumentierte Noten. Es gibt weder Angaben zur exakten Methodik noch zu Toleranzen. Wissenschaftlich betrachtet ist es eigentlich Bullshit. Es wird ja nicht einmal angegeben welche Objektive für die Samples benutzt werden - stattdessen wird der (falsche) Eindruck ermittelt sie würden den Sensor selbst ausmessen. Was natürlich quatsch ist. Die schnöde Wahrheit ist, dass auch DxO einfach Testfotos macht wie jeder andere auch. Bei anderen "Labortests" sieht man wenigstens die benutzten Samples und kann dort sehen, dass:

1) falsch fokussiert wurde
2) falsch belichtet wurde
3) ein suboptimales Objektiv verwendet wurde
4) die Testszene signifikant abweicht

All dies sind typische Fälle wie sie auf nahezu allen bekannten Testseiten bereits vorkamen. Du willst nun behaupten, dass gerade DxO, die keinerlei Informationen über ihre Setups und Methoden publizieren da die fehlerfreie Ausnahme darstellen? Fehler passieren überall - bei DxO werden sie eben methodisch besser verschleiert weil die der Benotung zugrundeliegenden Messdaten möglicherweise aus genauso schlechten Samples gezogen werden wie bei allen anderen auch. Wir müssen DxO einfach glauben, dass sie so sorgfältig arbeiten wie sie auf ihrer Webseite werben. Werben? Ja Werben - denn DxO verkauft die Testsoftware und der DxOMark ist die Werbung dafür.

Ich muss es leider wiederholen - solange DxO nicht seine Methoden und Toleranzen öffentlich zugänglich und wissenschaftlich dokumentiert ist die Seite eigentlich nur als Zeitvertreib nützlich. Ich würde nie auf die Idee kommen feste Aussagen auf diesen Informationen zu basieren.

Bleibt die Frage ob es denn wenigstens konsistente Ergebnisse sind: Es gibt ja durchaus auch andere spezialisierte Testlabors wie z. B. "Image Engineering" das Labor-Aufträge von diversen Publikationen durchführt. Mir ist da bereits häufiger aufgefallen, das deren Ergebnisse sich nicht mit jenen von DxO decken.

Weiteres Beispiel: Das Projekt "SenScore" (http://www.senscore.org) ähnelt dem Prinzip des DxOMark: Es wird auf RAWs gemessen und diverse Parameter (z. B. "Noise" "Dynamic Range") gemessen. Wie DxO testen sie lediglich mit im regulär im Handel gekauften Kameras - kein Sponsoring der Hersteller. Sie dokumentieren mit welchen Objektiven die Tests gemacht werden (!). Wenn man einige der Ergebnisse mit jenen des DxOMark vergleicht - gibt es ein paar Stirnrunzler:

1) Nach SenScore ist die A7 beim Rauschen geringfügig besser als RX1 und geringfügig schlechter als die RX1R
2) Die Canon EOS 5DMkIII ist laut SensCore auf etwa einer Ebene mit der A7r bei DxOMark ist sie auf einer Ebene mit der A7.
3) Laut DxOMark zerstampft die A99 die EOS 5DMkIII bei Dynamic Range deutlich. Bei SenScore liegt die Canon jedoch vorne.

Soviel zur Aussagekraft deines Lieblingsbenchmarks . Ich will damit nicht sagen dass SenScore recht hat und DxoMark unrecht - aber da stehen nun zumindest schonmal zwei ähnliche Labore mit deutlich unterschiedlichen Ergebnissen gegenüber. Lustig: Auch SenScore ist nicht wirklich Nachvollziehbar. Der generelle Trend den ich bislang bei den Laboren festgestellt habe ist: DxOMark bewertet Nikon-RAWs stets außerordentlich gut und Canon-RAWs ungewöhnlich schlecht. Bei anderen Laboren kommen die Canons deutlich besser weg. Wer Recht hat kann ich nicht sagen - aber wer kann es denn?

Zitat von mrieglhofer

Aber wie bei jeder Messmethode kann man natürlich diskutieren, wie relevant sie für die Bildergebnisse ist. Da führt letztlich auch kein Weg an der eigenen Evaluierung vorbei.
Dxomark hat halt 3 Vorteile, 1) bauen und verkaufen sie einen anerkannt guten RAW Konverter, für den ja letztlich die Messungen Basis für Korrekturen sind,

Das ist sowohl Pro als auch Negativ - wem die Ergebnisse des DxO-Konverters taugen der sollte vielleicht wirklich dem DxOMark vertrauen, denn die Engine verwendet wohl dieselben Algorithmen. Wer jedoch Lightroom, Aperture, Capture One oder einen anderen Konverter benutzt - für den ist der DxOMark nur von sehr begrenztem Wert. Ich behaupte, dass die vermeintlichen "Messungen" bei Adobe Camera RAW oder Capture One andere Ergebnisse liefern würden als beim DxOMark. DxO schreiben selbst auf ihrer Website, dass sie bislang keine RAW-Konverter testen. Das verkaufen sie als Vorteil indem sie so tun als ob ihre Ergebnisse die objektive Basis "vor" dem Einsatz eines Konverters darstellt. Tatsächlich ist es jedoch im Prinzip lediglich die Basis nach dem Einsatz des DxO-Konverterts.

Ich bin selbst Käufer des DxO-Konverters und habe ihn eine zeitlang parallel zu Lightroom und Aperture benutzt. Die Ergebnisse konnten mich dabei nicht überzeugen. Das fing schon beim Demosaic an wo DxO für mich - im Vergleich - stets einen sehr digitalen Look mit Detailverlusten hatte und endet nicht zuletzt bei der Rauschminderung - die zwar mittlerweile schon besser ist aber immer noch nicht meine erste Wahl darstellt. Wenn die Entrauschungsergebnisse ein Indiz für die Expertise der DxOLabs bezüglich Rauschen sind, dann würde ich darauf nicht mein ganzes Vertrauen stützen. Andere Messlabore geben zusätzlich noch Messungen für "Texturverlust" an - bei DxO ist das nach wie vor nicht enthalten. "High-ISO" ist und bleibt hier eindimensional.

Zitat von mrieglhofer

b) messen sie seit Jahren mit nachvollziehbaren Methoden quer über alle Hersteller und Bieter damit eine gute Vergleichsbasis auch über die Zeit.

Das kannst Du doch gar nicht wissen. Die Methoden, Testgeräte und Toleranzen sind allesamt nicht frei zugänglich dokumentiert. Wenn sie über die Jahre Änderungen vorgenommen haben sind diese ebenfalls nicht dokumentiert. Nachvollziehbar ist eigentlich gar nichts davon. Oder haben wir unterschiedliche Vorstellungen von "Nachvollziehbar"? Ich schätze Du meinst eigentlich "Für Dich plausible Ergebnisse"?

Zitat von mrieglhofer

3) sie messen physikalische Grössen , die sie als Indikatoren für gute Bilder sehen und können damit objektive und nachprüfbare Ergebnisse liefern.

Nach allem was man wissen kann machen sie auch nur RAW-Testsamples mit Testkameras und unspezifizierten Testobjektiven in einem unspezifizierten Setup. Sie verwenden für die Auswertung der so ermittelten - hoffentlich korrekten - Samples ihre eigene Testsoftware. Wie bei SenScore werden bestimmten Messdaten nach irgendwann mal in unspezifizierter Umgebung ermittelten subjektiven Limits bestimmten Score-Werte zugeordnet. Das ganze wird auf einer schicken Website leicht bekömmlich für Laien aufbereitet.

[mrieglhofer]

Zitat von Neonsquare

Nicht nur die der Käufer - die diversen Ergebnisse spiegeln einfach tatsächlich oft nicht die Wahrnehmung außerhalb der DxO-Sekte wieder ;-).

Die Kritik selbst ist allerdings objektiv. Der Großteil der "Messwerte" sind keine ebensolchen sondern nur rudimentär - wenn überhaupt - dokumentierte Noten. Es gibt weder Angaben zur exakten Methodik noch zu Toleranzen. Wissenschaftlich betrachtet ist es eigentlich Bullshit.

Bleibt die Frage ob es denn wenigstens konsistente Ergebnisse sind: Es gibt ja durchaus auch andere spezialisierte Testlabors wie z. B. "Image Engineering" das Labor-Aufträge von diversen Publikationen durchführt. Mir ist da bereits häufiger aufgefallen, das deren Ergebnisse sich nicht mit jenen von DxO decken.

Soviel zur Aussagekraft deines Lieblingsbenchmarks .

Insofern hast du recht, dass es sich um keine wissenschaftliche Qualitätsbewertung handelt. Es wird wohl der von ihnen hergestellte DXO-Analyzer verwendet, der recht weit verbreitet ist. D.h.mit diesem Tool kannst du prinzipiell nachmessen und wirst zu ähnlichen Ergebnissen kommen müssen. Wenn nicht, kann man drüber reden. Du kannst mit dxomark durchaus auch im Forum die Ergebnisse diskutieren. Klar wäre das Publizieren des genauen Testaufbaues im Sinne der Nachvollziehbarkeit wünschenswert.
Aber die so ermittelten Ergebnisse stehen in der Regel subjektiven Bewertungen von Neukäufern gegenüber, die plötzlich Welten bzw. Verbesserungen im Bereich von mehreren EVs feststellen, die sich dann in Jahresfrist in "rauscht wie Hulle" konvertieren. Im Vergleich dazu ist Dxomark eine zuverlässige Quelle, die auch über die Jahre im Rahmen der technischen Entwicklung nachvollziehbare Ergebnisse gebracht hat. Letztlich musst du auch dem Eichamt vertrauen, dass sie richtig gemessen haben. Oder das Gegenteil beweisen oder hast du da eine Dokumentarion, wie die alle Messwerte genau ermitteln.

Das heisst nicht, das im Einzelfall eigene Szarios eine bessere Nutzbarkeit bringen können, aber ein zumindest grobe Einordnung der Leistungsfähigkeit war immer gegeben. Immer besser als subjektive Aussagen oder visuelle Vergleiche mit völig anderen Parameter z.b,von Schärfe, Rauschunterdrückung, Kontrast, usw.

[modena]

Zitat von mrieglhofer

Aber die so ermittelten Ergebnisse stehen in der Regel subjektiven Bewertungen von Neukäufern gegenüber, die plötzlich Welten bzw. Verbesserungen im Bereich von mehreren EVs feststellen, die sich dann in Jahresfrist in "rauscht wie Hulle" konvertieren. Im Vergleich dazu ist Dxomark eine zuverlässige Quelle, die auch über die Jahre im Rahmen der technischen Entwicklung nachvollziehbare Ergebnisse gebracht hat. Letztlich musst du auch dem Eichamt vertrauen, dass sie richtig gemessen haben. Oder das Gegenteil beweisen oder hast du da eine Dokumentarion, wie die alle Messwerte genau ermitteln.

Ähem zumindest was das Rauschen angeht sind die DXOMark Test's ziemlicher Schwachsinn.
Der Aufbau ist folgender:

Sensor Overall Score is normalized for a defined printing scenario—8Mpix printed on 8"x12" (20cmx30cm) at 300dpi resolution. Any other normalization, even at a higher resolution, would lead to the same ranking, given that any camera that could not deliver the chosen resolution would be eliminated from the comparison.


Jedem der schon mal Bilder verkleinert hat sollte klar sein, dass beim Herunterskalieren
ein haufen Rauschen im Bildinhalt verschwindet, weil optisch nicht mehr sichtbar. Und das wird dann also "vermessen".

Diverse Kameraden bei Digitalfototreff.de und ich bewerten aufgrund diverser vergleichbarer RAW's die 6D obenraus (6400+) etwa 1/2-1 Blende besser als die D600/D610.
Die A7 wird wohl in ähnlichen Sphären zu finden sein wie die 600er Nikons. (Was durchaus sehr, sehr gut ist und kein Grund zum beanstanden)
Beim Dynamikumfang und Farbtiefe dürften die Sonysensoren einige Vorteile besitzen.

[Neonsquare]

Zitat von modena

Jedem der schon mal Bilder verkleinert hat sollte klar sein, dass beim Herunterskalieren
ein haufen Rauschen im Bildinhalt verschwindet, weil optisch nicht mehr sichtbar. Und das wird dann also "vermessen".

Das hängt vom Standpunkt ab. Wenn Du die Bildqualität eines ganzen Bildes beim Kleinbildformat vergleichen willst, dann ist diese Normalisierung durchaus legitim. Man könnte darüber streiten ob die 8MP heute noch zeitgemäß sind und ob mittlerweile nicht 12 oder 16MP eher sinnvoll wären - aber am Ende ist es ein legitimer, Anwendungsorientierter Vergleich.

Der eine findet das verschwinden des Rauschens beim Verkleinern unfair und der andere findet es eben unfair einen viel kleineren Bildausschnitt (und damit eine kleinere Sensorfläche => weniger Licht) als Vergleichsgrundlage herzunehmen.

[Plumpaquatsch]

Zitat von RoDiAVision

Da macht ja meine A77 bei Iso 6.400 bessere Bilder gegenüber der A7

Wenn Kameras verglichen werden, dann sollten doch auch mind. die Belichtungswerte deren Bild-Dateien exakt übereinstimmen, oder sehe ich da was falsch???

Die Belichtung differiert um ganze 1,3 Blenden, die A7 mit 1/8000sec. gegen die D6 mit 1/3200sec.

ich habe gerade mal reingeschaut. Ich bin wirklich kein Fanboy, aber das ist echt ein schlechter Scherz

[mrieglhofer]

Wo hast du jetzt ein Problem?
Wenn du bei allen Kameras das gleich machst, hast du einen guten Maßstab, in welcher Relation sie zueinander stehen.
Das heisst ja nicht, dass ein anderes Nutzungszenario nicht zu anderen absoluten Werten führen wird.
Nur hilft die Zufriedenheit von Forenuser und deren Einschätzung im Vergleich zu anderen Marken nicht viel. Selbst wenn mehrere Modelle zur Verfügung stehen würden, würde es wenig Leute geben, die einen fundierten Vergleich zumindest in der angeführten Qualität hinzukriegen. Da vertraue ich den Leuten von DXOMark durchaus mehr. Und bisher war das immer in der Grössenordnung nachvollziehbar.

[Neonsquare]

Zitat von mrieglhofer

Wo hast du jetzt ein Problem?

meinst du mich?

[mrieglhofer]

Zitat von Neonsquare

meinst du mich?

Nein, war Modena gemeint, weil alle auf einen Print bezogen ist, was in meinen Augen durchaus auch Sinn macht. Aber du hast dich der weilen dazwischen geschoben und ich Hans nicht gemerkt.