fiabilité des test dxomark ?

[PINSAGOU]

je viens de fouiller en profondeur les test de dxomark, et j'y trouve des résultats surprenants parce que ne reflétant pas toujours les opinions que j'ai pu lire ça et là.
je concède qu'ils ne tiennent pas compte  de la construction et de l'ergonomie des objos, mais en tant qu'amateur pour qui ces qualités sont d'une moindre importance , s'ils sont réellement fiables,  je risque de faire de substantielles économies.
qu'en pensez-vous ?

[Powerdoc]

Qu'il arrive à DxO de se tromper.
L'exemple le plus manifeste est le 70-200 2,8 LIS 2 qu'ils jugent inférieur en qualité optique à la V1. 100 % des autres testeurs, y compris ceux qui utilisent DxO comme matériel de mesure, ont trouvé un résultat fort différent.
Alors nanar ? erreur de test ?
Difficile à savoir.

Ensuite les résultats ne sont pas forcément inintéressants, mais leur note synthétique n'est pas représentative de la qualité d'un objectif à mon avis. Il faut regarder les tests en détail, mais c'est pas évident.

[PINSAGOU]

effectivement, c'est d'un des points qui m'avait fait tiquer.
mais c'est surtout en regard des diagrammes que les choses me surprennent le plus : certains zooms L sont carrément mauvais partout, et des petites focales fixes d'indépendants ou de série amateur ont des résultats exceptionnels.
canon m'aurait menti ? 

[jp60]

effectivement, c'est d'un des points qui m'avait fait tiquer.
mais c'est surtout en regard des diagrammes que les choses me surprennent le plus : certains zooms L sont carrément mauvais partout, et des petites focales fixes d'indépendants ou de série amateur ont des résultats exceptionnels.
canon m'aurait menti ? 

Tu as regardé en prenant comme référence le même appareil? Parce que si tu prends par ex un APS Canon, le score final est mauvais quelque soit l'optique (même un macro!)

Je rejoint Powerdoc, c'est intéressant mais ne pas tenir compte de la note synthétique. J'aime bien entre autre la visualisation de l'homogénéité des objectifs (en terme de résolution)

Jean-Pierre

[Lorca]

Qu'il arrive à DxO de se tromper.
L'exemple le plus manifeste est le 70-200 2,8 LIS 2 qu'ils jugent inférieur en qualité optique à la V1. 100 % des autres testeurs, y compris ceux qui utilisent DxO comme matériel de mesure, ont trouvé un résultat fort différent.
Alors nanar ? erreur de test ?
Difficile à savoir.

Ensuite les résultats ne sont pas forcément inintéressants, mais leur note synthétique n'est pas représentative de la qualité d'un objectif à mon avis. Il faut regarder les tests en détail, mais c'est pas évident.

Je nuancerais la critique... les résultats sont dépendants du boîtier.
Quant à ceux qui mesurent sur mire Dxo cela n'a pas grand chose à voir : c'est juste une mesure du microcontraste pour un format de sortie virtuel restant très dépendant du degré d'accentuation qui ne renseignent que partiellement sur les qualités optiques (un graphique des performances de "piqué" est une cloche et non pas des barres collées au plafond).
On peut critiquer les mesures de DxOMark, autant pour les boîtiers que pour les optiques, mais y'a pas mieux, à ma connaissance !

[Powerdoc]

Je nuancerais la critique... les résultats sont dépendants du boîtier.
Quant à ceux qui mesurent sur mire Dxo cela n'a pas grand chose à voir : c'est juste une mesure du microcontraste pour un format de sortie virtuel restant très dépendant du degré d'accentuation qui ne renseignent que partiellement sur les qualités optiques (un graphique des performances de "piqué" est une cloche et non pas des barres collées au plafond).
On peut critiquer les mesures de DxOMark, autant pour les boîtiers que pour les optiques, mais y'a pas mieux, à ma connaissance !

pour le 70-200 2,8 LIS 2, les mesures de résolution existent : lenstip, DP review, Photozone ... et tous indiquent que la version 2 est meilleure (ce n'est pas vraiment un scoop).

[TomZeCat]

pour le 70-200 2,8 LIS 2, les mesures de résolution existent : lenstip, DP review, Photozone ... et tous indiquent que la version 2 est meilleure (ce n'est pas vraiment un scoop).

Si ! Pour DxOMark !

[Powerdoc]

Si ! Pour DxOMark !

En tout cas je ne regrette pas d'être passé d'un bon exemplaire de 70-200 2,8 LIS 1 à un bon exemplaire du modèle V2, mais d'après DxO je devrais peut être changer de monocle. 

[Nikojorj]

qu'en pensez-vous ?

Que pour un objo, la résolution n'est qu'une facette parmi pas mal d'autres : bon nombre de cailloux ordinaires sont effectivement capables de performances bien siffisantes à un tirages de dimensions honorables.
Après il reste l'AF (vitesse et précision), la résistance au contre jour, puis des paramètres peu quantifiables comme le rendu, le bokeh...
Pour les capteurs, les notes synthétiques sont là aussi d'un intérêt nul, mais les mesures qu'ils font (notamment Dynamic range) collent fort bien avec ce qu'on peut voir en triturant les raws des appareils.

[PINSAGOU]

merci pour vos réponses.
reste que ça permet d'éviter des gamelles graves et d'acheter des bouses .
et effectivement, je compare bien les tests avec un boitier précis ( le mien, tant qu'a faire).
il est bien entendu que pour ceux qui vivent en grande ville, essayer des lentilles, c'est pas trop dur. moi j'habite en rase campagne, c'est plus difficile.
quand a ce que je glane sur les forums, les avis d'utilisateurs tiennent comptent de paramètres qui ne collent pas toujours avec mes priorités.
je me plante donc régulièrement en achetant des objos que beaucoup de gens plébiscitent et qui ne me conviennent pas du tout ou dont le rapport avantage-prix ne m'est pas favorable.

[VOLAPUK]

N étant pas un matheux, je vais suivre le "conseil" de Ronan et ne pas entrer dans un débat technique

Mais je comprends toutefois les étonnements de certains. Quand je lis les résultats de certains objectifs nikon par ex, je ne retrouve pas et de loin, les commentaires élogieux de certains testeurs. Les récents 28 300 et 24.120 pour lesquels JMS a mis 5 étoiles en semblent bien loin sur dxo...
Mais je lis peut être mal ces résultats...

[Verso92]

Bon, je ne vais pas m'appesantir, mais je ne peux que conseiller à chacun, plutôt que de délirer sur des a priori et autres idées toutes faites, de lire la documentation très complète qui accompagne le site et les mesures.

A vrai dire, j'ai essayé... et j'ai eu des problèmes !

[tine]

Merci Ronan de recadrer les choses de temps en temps et de confronter certains à leurs certitudes...

[TomZeCat]

A vrai dire, j'ai essayé... et j'ai eu des problèmes !

Je ne sais pas si c'est dans ce sens que tu le dis mais... Il n'est pas obligatoire de sortir de Polyclinique ou de Centrale de Fleury-Mérogis pour se dire que plus la note est haute, meilleur est le matériel sur le terrain. Et pour moi, DxOMark accuse des incohérences  à ce niveau, super matheux inside ou non !
On peut toujours théoriser tout cela, mais la théorie s'oppose parfois à la pratique terrain. Je fais la comparaison avec certaines certifications dans le monde informatique. Certains arrivent tout fraîchement certifiés et sont inaptes à la vie d'entreprise. Il est vrai que cela dépend déjà des certifications. Exemple concret, quelques fois, on voit des MCSA (admin système) à côté de la plaque à poser des questions basiques à des confirmés ou à faire des bêtises en production (avec eux, à leur début, il faut souvent passer derrière afin de vérifier) alors que des CCNA (admin réseaux) sont plutôt opérationnels dès la prise de poste.
DxOMark se veut être une bible avec des chiffres irréprochables, beaucoup sont comme moi sont très méfiants car les notes des boitiers ne préjugent en rien de ce qu'on peut en faire entre nos mains. J'aurais vraiment préféré que DxO reste cantonné dans ce qu'il sait faire le mieux: son derawtiseur qui enfin a gagné en réactivité.

[Verso92]

Je ne sais pas si c'est dans ce sens que tu le dis mais... Il n'est pas obligatoire de sortir de Polyclinique ou de Centrale de Fleury-Mérogis pour se dire que plus la note est haute, meilleur est le matériel sur le terrain. Et pour moi, DxOMark accuse des incohérences  à ce niveau, super matheux inside ou non !

Je vais illustrer un des points que je ne comprends pas : le DxOMark score est donné pour le f/1.4 50 AF-D à 50mm (logique !) et f/1.4. Il est très précisément de "22"... OK.

[Verso92]

Quand on clique sur le point d'interrogation pour en savoir plus sur la signification du DxOMark score, on apprend que c'est la note atteinte pour l'objectif à sa meilleure combinaison longueur focale/ouverture.

Comme il s'agit d'une focale fixe, j'en déduis que cet objectif, c'est à f/1.4 qu'il est le meilleur d'après DxO*.

Ensuite, on explique que la mesure est faite pour une luminosité fixée à 150 lux avec un TdP de 1/60s...
Si un saint-cyrien passe par là...
*inutile de préciser, j'imagine, que ce n'est pas ce que j'ai constaté sur mon exemplaire...

[TomZeCat]

Seraient-Ils capables de te dire de changer de boitier ?
Mais habitué à la politique politicienne des cadres en entreprise, et je pense que nous sommes nombreux à y être habitués, il faut savoir que quand ils se trompent, ils ne l'avouent jamais et s'ils ne peuvent enterrer l'affaire, il leur faut démontrer par l'absurde qu'ils avaient raison quitte à foncer dans un mur !
Je ne m'attends aucunement donc à ce que DxOMark retire certains chiffres, certains résultats qui le désavoueraient. On pourra toujours dire qu'on n'a pas le prix Nobel contrairement aux concepteurs des tests...

[Nikojorj]

Ah, ça digresse dans le ad hominem là...

Mais habitué à la politique politicienne des cadres en entreprise, et je pense que nous sommes nombreux à y être habitués, il faut savoir que quand ils se trompent, ils ne l'avouent jamais et s'ils ne peuvent enterrer l'affaire, il leur faut démontrer par l'absurde qu'ils avaient raison quitte à foncer dans un mur !

J'ai vu moi aussi des échecs retentissants de polytechniciens : Géoconcept par exemple, qui ne survit que parce qu'il y a eu quelques X au ministère de l'agriculture de l'époque pour l'acheter, en étant méchant puisque c'est le sujet.
Mais dans le cas de DxO, y'a aussi une médaille Fields, et sans en faire un argument d'autorité on est quand même au-dessus de la plèbe du X moyen et corporatiste là.
Fin de la digression.
Et pour en revenir à DxOMark, il n'y a pas de chiffre absurde une fois qu'on en connait leur signification, nécessairement faible pour les notes synthétiques.

Premier point, il est toujours possible de tomber sur un nanar.
Ou, plus exactement, sur un exemplaire un peu à gauche dans la courbe de répartition de la qualité (qui, sur ce genre d'objectif, se caractérise quand même par un pic très accentué et pas par une courbe de Gauss classique, car la dispersion reste faible).

Toutafé!
Pour plus de détails sur le sujet de la variabilité des objectifs, lire http://www.lensrentals.com/blog/2011/10/the-limits-of-variation (et avant http://www.lensrentals.com/blog/2011/10/notes-on-lens-and-camera-variation pour ceux qui ne l'avaient pas fait). La dispersion reste en général faible, à quelques points aberrants près.

[dar]

"Je posséde un D3s .Je voulais voir les résultats sur DXOMark avec mon 24-70/2.8.
Mais je trouve des résultats imcompréhensibles .
Si on regarde la résolution à 24 mm , sauf au centre c'est à f/2.8 où le résultat est le meilleur .Meilleur résolution à f/2.8 à partir de 35% du centre qu'à f/8 !!
Erreur de mesure ou réalité !!!"
J'avais déjà posté cette remarque.Aucune confiance à DXO .Résultat faut dans ce cas. Et pourquoi publié un résultat sur un exemplaire avec un défaut de fabrication .DXO sert bien a comparer différent matériel qui fonctionne et pas des non qualités de fabrication.

[Nikojorj]

Si on regarde la résolution à 24 mm , sauf au centre c'est à f/2.8 où le résultat est le meilleur .Meilleur résolution à f/2.8 à partir de 35% du centre qu'à f/8 !!

http://www.dxomark.com/index.php/Lenses/Camera-Lens-Database/Nikon/AF-S-Nikkor-24-70mm-f-2.8G-ED#div1anchor
On ne doit pas consulter le même internet, je ne vois rien de choquant dans ces mesures avec un pic de résolution vers f/5.6 (voire peut-être avant vers f/4, mais pas à f/2.8 non) qui indique un objo performant en résolution puisque limité par la diffraction à partir de f/8 voire f/5.6... (tiens, c'est d'ailleurs ce que je t'avais répondu à l'époque).
Avant de critiquer il faudrait peut-être chercher à écouter ce qu'en disent les autres et à comprendre?

[gerarto]

Putain, mais qu'est-ce que tu attends pour postuler chez DxO ?     

J'ai l'impression que tu es le messie qu'ils attendent ! 
(Zut Noêl est passé depuis une semaine...)

Bon, c'est vrai que si le "problème" était sur un Nikon, tu aurais trouvé sans doute leur analyse pertinente !   
(M'en fout, je ne suis ni en Canon, ni en Nikon, et en plus je me déclare totalement incompétent en optique...)

[Kadobonux]

Putain, mais qu'est-ce que tu attends pour postuler chez DxO ?       

il ne peut pas
il vient d être engagé par Nikon pour refaire TOUTE la gamme des objectifs et des boitiers 

[gerarto]

Chiche, on va voir si CI s'engage sur les tests.

Comme vous le savez, les fabricants de boîtiers n'interviennent pas seulement sur le bruit chromatique dans les hauts isos.

Ils parviennent maintenant à corriger vignetage, distorsion et AC.

CI va-t-il enfin publier les "vraies" mesures pour CES CARACTÉRISTIQUES pour toutes les marques
ou persisterez-vous à donner les mesures JPEGs sans tenir compte des corrections des logiciels intégrés aux boîtiers ?

Finalement , c'est peut-être chez CI que tu devrais postuler : Pascal Miele a peut-être besoin d'une petite main...   

Allez, bonne et heureuse année quand même ! 

[Powerdoc]

Simplement, pour DxO, si j'ai la faiblesse de considérer les MESURES comme peu discutables (et pour cause, utilisant les mêmes outils, je sais ce qu'elles recouvrent), je suis plus réservé à l'égard des outils de "moyennage" des notes (les "metrics" d'évaluation), comme je le suis à l'égard de... nos étoiles ! Les notes de synthèse sont TOUJOURS à prendre avec des pincettes et c'est pourquoi, tant que je serai à CI, je continuerai à donner toutes les mesures et à les commenter pour permettre à chacun, s'il veut en faire l'effort, de se forger sa propre synthèse sur la base de ses propres attentes et besoins...

Bon, sur ce, bonnes bulles et bonne bourre. Je vous laisse... On se reverra au Salon de la photo dans quelques mois, pour ceux qui auront envie de tailler une bavette, du moins.
Onc'Ronan

Je suis tout à fait d'accord, ce qui est discutable c'est cette note synthétique dans leur cas (celle de CI l'est beaucoup moins). Pour le 70-200 V2, ce que je leur reproche, c'est que cela traduit peut être un manque de culture photographique.
Si CI ou JMS ou d'autres avait eu ce genre de résultat ils auraient refait faire un test. Là rien de tout cela, et c'est quand même ennuyeux car si cela se trouve les correctifs de piqué seront basés sur cet exemplaire non représentatif.

Pour ce qui est des mesures des qualités en haut isos, je me suis déjà prononcé ici et dit tout le bien que je pensais de la démarche de CI , qui a visé a mette en adéquation résultat visuel, et résultat chiffré, car ce n'est pas le tout de faire des mesures, encore faut-il qu'elles soient significatives.

Sur ce, bon réveillon, et que le champagne coule à flot 

[dar]

Pour nikojorj , oui on ne regarde pas la meme chose . je parle du 24-70 sur D3s et vous me mettez le lien du 24-70 sur D300.