DxOMark : que pensez-vous des résultats Oly ?

[fk studio]

Bonjour à tous,

J'ai parcouru le fil ouvert par JMS concernant les resultats annoncés par DxO quant à l'analyse d'une 40aine de boitiers dont 2 oly : E3 et E520.
Ces derniers arrivent plutôt en queue de peloton.
Certes beaucoup (dont moi même) diront que les analyses et les courbes... ne valent pas le talent du photographe mais j'aimerai savoir ce que vous pensez de ces résultats.
Par ailleurs je suis surpris de voir que ces 2 boitiers ont des résultats très très proches.
A vos avis et commentaires...

[Escartefigue]

Eh bien la réponse est dans la question, les mires, les mesures, les comparatifs dont beaucoup se délectent ne servent qu'à vendre du papier ou dans le cas de dxo faire parler de soi et de son soft, comment faire court ? La photo c'est pas ça !

[fk studio]

Plutôt bien résumé je trouve 

Le lien pour ceux qui ne sont pas au courant : http://www.dxomark.com/index.php/eng/DxOMark-Sensor

[JMS]

Ce qui handicape les Olympus dans ce classement c'est leur moins bon rendement en hauts ISO qui dégrade aussi la dynamique. Si le capteur de l'E30 est celui du Pana G1 cela va continuer: il a un excellent piqué mais une dynamique assez courte, et si on compare avec un reflex amateur expert de même catégorie (Canon 450 D et Nikon D90) il sera mal à 1600 ISO et très mal à 3200 !

[MXGK]

Sur la procédure:
Ces tests ne regardent que les données brutes. C'est bien gentil mais cela ne présage en rien de la qualité des images; les données brutes ne sont en effet pas une image, et la méthode de dématriçage peut faire toute la différence. C'est un peu comme juger un vin sur le jus du raisin: quand il y a une très grande différence (capteur exceptionnel ou capteur nullissime), cela se remarque tout de suite, mais sinon cela ne laisse pas présager grand'chose du produit fini -- le savoir-faire du vigneron est primordial. Étant donné que les capteurs extraordinairement exceptionnels ou nullissimes n'existent plus dans les réflexs (le temps et le développement technologique ont beaucoup nivellé le paysage), la comparaison des bruts n'a à mon avis plus d'intérêt.

Sur les résultats:
Quand un test donne des notes à 4 chiffres significatifs, cela relativise la pertinence des résultats. Et quand le S5 Pro (65.29) reçoit la même note que l'Alpha 350 (65.36), cela rejoint les critiques sur la procédure: le dématriçage du Fuji tire à l'évidence de meilleures images (dynamique, par exemple) que le dématriçage Sony -- bien que les bruts soient comparables -- et ce classement DxO ne sert à rien pour juger de la qualité des images que peut produire un appareil donné par rapport à ses concurrents.

[cptcv]

Ce qui handicape les Olympus dans ce classement c'est leur moins bon rendement en hauts ISO qui dégrade aussi la dynamique. Si le capteur de l'E30 est celui du Pana G1 cela va continuer: il a un excellent piqué mais une dynamique assez courte, et si on compare avec un reflex amateur expert de même catégorie (Canon 450 D et Nikon D90) il sera mal à 1600 ISO et très mal à 3200 !

Pourtant le 50D avec des pixels de même tailles montre que l'on peut faire mieux.

[JMS]

Pour le Fuji ce n'est pas le dématriçage qui fait la dynamique, mais le double capteur: 1 couche 25 ISO, 1 couche 100 ISO. C'est simple dans le principe mais breveté. Comme je suis dans le forum 4.3 je dirai en plus ...quel drame que Fuji, qui est signataire de la charte 4.3 depuis le début, n'ait pas mis son capteur dans un E1 (ou qu'Olympus ait choisi Kodak et éliminé Fuji)...la face du monde en aurait été changée en 2003 question dynamique et bruit  !

Pour le reste des observations, le meilleur dématriceur ne peut exploiter que ce qui est sur le fichier RAW avant dématriçage...si tout est bruité les détails auront disparu. Même en lissant comme un malade.

[fk studio]

Très intéressant tout ça.
Par contre dois je comprendre que la taille des photosites du 50d est la même que celle des oly 4/3 ? si oui, pourquoi ?

[MXGK]

Pour le Fuji ce n'est pas le dématriçage qui fait la dynamique, mais le double capteur: 1 couche 25 ISO, 1 couche 100 ISO. C'est simple dans le principe mais breveté.

Chacune des couches a une dynamique a priori classique. La dynamique étendue vient du mélange des deux. Ce mélange a lieu au moment du "développement" du fichier brut, donc c'est bien le développement qui fait la dynamique.

Comme je suis dans le forum 4.3 je dirai en plus ...quel drame que Fuji, qui est signataire de la charte 4.3 depuis le début, n'ait pas mis son capteur dans un E1 (ou qu'Olympus ait choisi Kodak et éliminé Fuji)...la face du monde en aurait été changée en 2003 question dynamique et bruit!

Tout-à-fait d'accord.

Pour le reste des observations, le meilleur dématriceur ne peut exploiter que ce qui est sur le fichier RAW avant dématriçage...

Relis ma comparaison avec le vin: les années exceptionnelles ou mauvaises sont connues bien avant le vieillissement du vin (= développement du fichier brut). Mais dans la comparaison d'années classiques, lé savoir-faire du vigneron (= logiciel de développement) fera toute la différence. Aujourd'hui, il n'y a plus de capteurs vraiment mauvais et les capteurs exceptionnels sont connus de tous. On a donc pas besoin de test pour ça. Et entre les capteurs du gros du peloton (= années classiques), le développement fait toute la différence et une comparaison des capteurs eux-mêmes ne donne aucun indice sur la qualité de l'image finale.

Exemple:
Un capteur peut ne donner que 10 IL de dynamique en brut, mais se marier derrière avec un algorithme de développement qui les exploite entièrement pour donner 10 IL (comprimés) dans l'image. À l'opposé, un capteur de 10.5 IL bruts, donné mathématiquement pour meilleur par les tests comparant lés fichiers bruts, peut ne pas avoir de logiciel adéquat et ne se retrouver plus qu'avec 9 IL (comprimés) dans l'image. Il est donc inutile de comparer les données brutes pour des capteurs relativement proches (et c'est le cas de la majorité des capteurs actuels). Encore une fois, pour être convaincu de l'inutilité de comparer (sur le marché actuel) les données brutes, il suffit de regarder les notes du Fuji S5 Pro et de l'Alpha 350: ils obtiennent une note similaire, on est tenté d'en conclure que leur qualité d'image est proche. Or, il n'en est rien.

[MXGK]

Du temps de l'argentique, un bon tireur savait récupérer des négas ou des dias mal exposés et/ou issus de films de moindre qualité, mais il obtenait néanmoins de meilleurs résultats d'après un original bien exposé et d'après un film de qualité. Le raisonnement reste le même en numérique. Le résultat de la chaîne objectif-capteur-traitement boîtier-logiciel reste toujours dépendante de la qualité de chacun de ses maillons.

Exactement: La chaîne reste dépendante de la qualité de chacun de ses maillons. Il est illusoire de conclure sur la qualité de la chaîne en fonction d'un seul de ses maillons. Or cette chaîne est justement le seul élément pertinent! Ces tests ne permettant pas de comparer les couleurs, dynamiques et bruit des images (= résultats de la chaîne) obtenues à partir des différents capteurs, ils ne m'intéressent pas.

Ce qui est gênant, c'est que beaucoup de personnes vont au contraire prendre la qualité du maillon pour la qualité de la chaîne et se baser dessus pour faire des classements qui ne reflètent pas les chaînes respectives

[JMS]

MXGX...tu dis qu'il n'y a pas de rapport en qualité d'image entre un S5 et un 350 D, pourtant ils ont une note de synthèse proche.

Le tout dans ce cas est de se servir du comparateur du site pour étudier les différentes mesures et faire son proche choix selon les critères.

Si le critère est la dynamique maxi, personne n'arrive à la cheville des Fuji. Mais admettons que l'on veuille faire des paysages très détaillés en A2: à 200 ISO, le 350D avec ses 14 Mpix l'emportera facilement sur le S5 avec ses 6 Mpix interpolés.

[Pierre-Marie]

Donc, si DXO a fait des mesures indiscutables et réservées aux personnes capables de les apprécier et d'y faire leur marché, il aurait été plus judicieux de ne pas mettre de note globale.

[JMS]

Tu sais Pierre Marie, c'est comme les étoiles de CI: comme certains ne regardent que çà, ne lisent pas l'article et font quand même des polémiques sur les forums...autant ne pas en mettre ?

[chelmimage]

La qualité du premier maillon ne garantit pas la qualité de la chaîne, soit!
Mais lorsqu'il est déjà faible, c'est un handicap irrécupérable!
A la lecture des résultats, j'en conclus qu'il y a 2 paramètres actuellement essentiels, la surface du capteur, le nombre de pixels. La preuve, E-3, E-520, pratiquement même note!

[Pierre-Marie]

autant ne pas en mettre ?

Personnellement, je préfèrerais, oui.

[MXGK]

Si le critère est la dynamique maxi, personne n'arrive à la cheville des Fuji. Mais admettons que l'on veuille faire des paysages très détaillés en A2: à 200 ISO, le 350D avec ses 14 Mpix l'emportera facilement sur le S5 avec ses 6 Mpix interpolés.

Sauf que la résolution n'intervient pas dans ces tests DxOMark Sensor...
Si on m'offrait soit le S5, soit l'A350, avec comme seule exigence de ne choisir que sur les critères de couleur, de dynamique et de bruit (= sur les critères pris en compte ici), je choisirais le Fuji sans hésiter parce que j'ai eu l'occasion de comparer des images (= résultat de la chaîne et en particulier du couple capteur+logiciel). Tant pis pour les données brutes du capteur, absolument inutiles pour choisir puisque le cerveau humain n'est pas équipé pour les apprécier   Donc à la question du fil, "que pensez-vous des résultats Oly?", je réponds qu'ils ne me font ni chaud ni froid parce que ces tests ne sont pas pertinents pour juger de la qualité des images produites sur les critères qu'ils étudient (couleur, dynamique et bruit).

Tu sais Pierre Marie, c'est comme les étoiles de CI: comme certains ne regardent que çà, ne lisent pas l'article et font quand même des polémiques sur les forums...autant ne pas en mettre ?

Oui, tout-à-fait. Le tableau détaillé sans note globale est nettement plus éducatif, permettrait des choix plus éclairés (le lecteur sera obligé de regarder les détails) et d'éviter quelques anicroches. Je pense d'ailleurs que CI devrait décerner ses Oscars par catégorie: Oscar de sport/reportage (= plus fort coef. pour la sensibilité et la réactivité), Oscar de paysage (= plus fort coefficient pour la résolution à condition que la gamme optique suive), Oscar de polyvalence (= meilleurs compromis pour la photo de tous les jours), etc.

[chelmimage]

2 contradictions entre tes affirmations et les résultats DXO:

Sauf que la résolution n'intervient pas dans ces tests DxOMark Sensor

ces tests ne sont pas pertinents pour juger de la qualité des images produites sur les critères qu'ils étudient (couleur, dynamique et bruit).

a)Je serais moins affirmatif car je pense que de façon implicite la résolution fait varier la taille des pixels et a donc une influence
b)si tu regardes le graphique "tonal range" tu verras que le S5 est au dessus du 350.

[sygar]

La qualité du premier maillon ne garantit pas la qualité de la chaîne, soit!
Mais lorsqu'il est déjà faible, c'est un handicap irrécupérable!
A la lecture des résultats, j'en conclus qu'il y a 2 paramètres actuellement essentiels, la surface du capteur, le nombre de pixels. La preuve, E-3, E-520, pratiquement même note!

"Les métaphores c'est comme les poussins, quand on les presse trop ça ne ressemble plus à rien " (citation de ?)
Un réflex ce n'est pas une simple chaîne avec des maillons plus ou moins solide, il y a tout un tas de paramètres qui permettront de réussir ses photos : AF, ergonomie, poids, viseur, tropicalisation... (et j'en passe)
Il y a peu j'ai pris des photos dans une "sableuse" (container hermétique dans lequel on projete du sable fin à haute pression sur des pièces métalliques )
J'étais équipé d'un E3, pas d'un E520...
Il ne faut pas prendre les tests pour autre chose que ce qu'ils ne sont, celui de dxo est certainement très intéressant... pour celui qui s'y intéresse...
La seule vérité c'est l'usage qui la détermine... (et encore, l'usage personnel bien sûr)

[JMT64]

En fait, les résultats DxO reflètent quasi parfaitement la taille des capteurs.. Le FF arrive en tête, suivi par l'APS-C, puis le 4/3 et enfin les capteurs des compacts. Seul le Nikon D90 arrive à s'immiscer en queue de peloton des FF (et pourquoi pas le D300 qui a le même capteur? Mystère!). De la même façon le Pentax K20d n'a pas les mêmes résultats que le Samsung GX20.. Vous avez dit bizarre?

Reste que l'échelle des valeurs est trés dilatée et, qu'aux deux extrémités près, beaucoup de résultats sont en fait trés trés proches et certainement indifférenciables sur le terrain.

Enfin pas besoin de DxO pour savoir que les petits capteurs ont une dynamique (sauf chez Fuji) inférieure aux grands et un bruit supérieur aux hautes sensibilités ce qui a bien entendu un impact sur la qualité de l'image.
Maintenant à 100 ISO et par luminosité favorable (vous passez votre temps à photographier dans le noir, vous?) un G10 ou même un Fuji f100 fd (à peine plus de 200 euros, c'est peut-être pour cela qu'il n'a pas été retenu par DxO !) font des photos indiscernables des bons reflex, au moins en A4..

En conclusion, apparemment beaucoup  de travail pour pas grand chose et ces "performances" relevées avec des critères qui peuvent d'ailleurs être discutés, ne sont, comme cela a été dit, qu'un paramètre parmi une foultitude d'autres.

[JMS]

"Pentax K20d n'a pas les mêmes résultats que le Samsung GX20.. Vous avez dit bizarre"...

ils n'ont pas le même format de fichier RAW et le convertisseur doit être réglé de façon différente.

[chelmimage]

En conclusion, apparemment beaucoup  de travail pour pas grand chose et ces "performances" relevées avec des critères qui peuvent d'ailleurs être discutés, ne sont, comme cela a été dit, qu'un paramètre parmi une foultitude d'autres.

Sauf que comme ça n'avait jamais été fait, ça a au moins le mérite de te permettre d'en tirer tes propres conclusions..ce qui implicitement renforce la valeur du travail effectué!
un peu contradictoire?

[JMT64]

ils n'ont pas le même format de fichier RAW et le convertisseur doit être réglé de façon différente.

A propos de format RAW, une question bête: Le format RAW Olympus/ Panasonic est-il le même, est-il compatible (avec Studio 2 par exemple)?

[cptcv]

Seul le Nikon D90 arrive à s'immiscer en queue de peloton des FF (et pourquoi pas le D300 qui a le même capteur? Mystère!)

Le D90 a un mode vidéo qui a du nécessiter des changements sur le capteur je doute que ce soit celui du D300. D'ailleurs si j'en crois dpreview le capteur D90 a 12.9Mpix total pour 12.3 effectif et le D300 13.1/12.3 respectivement. Deplus le D300 est en 14 bits et pas le D90 (12 bits). Bref plein de raisons pour que les résultats soient différents.

[JMS]

Le RAW de Panasonic n'est pas le même, mais le logiciel fourni avec le G1 est vraiment très bon (Silkypix 3) et tient sans difficulté la comparaison avec Olympus Studio.

[MXGK]

Chelmimage, je ne vois aucune contradiction:

Sauf que la résolution n'intervient pas dans ces tests DxOMark Sensor

a)Je serais moins affirmatif car je pense que de façon implicite la résolution fait varier la taille des pixels et a donc une influence

Je répondais directement à JMS. Il faut donc cette réponse dans son contexte, à savoir: les critères examinés par les tests étant la profondeur de couleur, la dynamique et le bruit en haute sensibilité sur des données brutes de capteur, JMS ne peut pas dire que les notes globales proches du S5 et de l'A350 sont justifiés par les 14Mpx du dernier, qui lui permettent de "faire des paysages très détaillés en A2 à 200 ISO".

ces tests ne sont pas pertinents pour juger de la qualité des images produites sur les critères qu'ils étudient (couleur, dynamique et bruit).

b)si tu regardes le graphique "tonal range" tu verras que le S5 est au dessus du 350.

Je parle bien des images produites, par opposition aux données brutes. Regarde notre discussion: une chaîne ne peut avoir que la qualité de son plus faible maillon. On ne peut pas conclure de la qualité des images produites en ne regardant qu'un seul maillon, ici les données brutes du capteur. Leur classement ne correspond pas à un classement de la profondeur de couleur, de la dynamique et du bruit des images produites, mais des données brutes du capteur... et l'ordre peut être complètement différent à cause du reste de la chaîne. Si je devais choisir un matériel aujourd'hui, ces tests ne me fournirait aucun renseignement utile.

Pour moi, un test utile de matériel est un test qui peut aider au choix lors de l'achat. Si on s'intéresse à la couleur, la dynamique et le bruit, les tests DxOMark Sensor nous disent-ils quelque chose d'utile au choix sur ces 3 points? Ma réponse est non parce qu'ils sont basés sur des données brutes de capteur pour lesquelles mon cerveau n'est pas équipé. Le produit issu de la photographie est en effet des images et l'étape de traduction des données brutes en images peut changer les 4 classements (couleur, dynamique, bruit et classement global) issus de ce test. S'il s'agissait d'un test de matériel rawgraphique, je ne dis pas... et d'ailleurs, ces tests peuvent être utiles à quelques personnes qui ne sont intéressées que par les données brutes. Mais pour un photographe, à mon avis, ils ne sont pas pertinents (ce qui n'enlève rien à l'énorme quantité de travail fourni).

le D300 est en 14 bits et pas le D90 (12 bits).

Et pourtant le D90 largue le D300 sur TOUS les critères. Le D90 produit-il pour autant des images franchement meilleures que le D300? À mon avis, elles sont plutôt comparables. On a donc:
- le S5 et le A350 qui ont des résultats comparables mais une qualité d'image très différente;
- le D90 et le D300 qui ont des résultats très différents mais une qualité d'image comparable.
Cela prouve bien que sur les critères testés ici, le classement des données brutes n'a pas de relation avec les images produites, CQFD. Utiliser ces tests comme un des critères pour choisir son matériel serait donc une erreur.