A propos des tests d'objectifs parus dans differents médias

[beouveyre]

Bonjour à tous,
Après avoir parcouru pas mal de tests sur les objectifs, je suis arrivé à la conclusion, en croisant l'information, que chose très étonnante, les résultats étaient assez différents.
Voici quelques extrait partiels de tests, en couvrant plusieurs marques (je n'espère et ne souhaite pas m'attirer les foudres de quiconque (testeurs en particuliers)  ) :
- Samyang 14mm
-canon 24-70 f/2.8  L II
-Nikon AF-S 28-300 mm

1/ Samyang 14mm
Sur  photozone (http://www.photozone.de/canon_eos_ff/532-samyang14f28eosff?start=1 )
- Une distorsion en barillet de 5.29 %
- Vignetage de 3.26 EV à f/2.8
- Aberration chromatique en dessous de 0.3 pixel

Sur Le monde De La Photo (test de Jean-Marie Sépulche en ligne)
-distorsion 1.71%
- vignetage (à quelle ouverture ?) 1.9 IL
- Aberration chromatique 1.2 pixel

Dans ces deux cas l'appareil de test était le même : 5D mark II

2/ Canon 24-70 II
Sur  photozone http://www.photozone.de/canon_eos_ff/773-canon2470f28mk2ff?start=1 et LMDLP (test en ligne)

Distorsion à
24mm : 2.83% contre 0.78%
70mm : 1.26% contre 0.44%

Vignetage : 1.84 EV (à F/2.8 24mm) contre 1.5 IL (ouverture ? )

Le piqué
à 24mm
- pour photozone: excellent au centre, très bon sur les bords et seulement bon dans les coins à PO.
- pour LMDLP Excellent de partout.

Ce même schéma se répète à toutes les focales/ouvertures, avec notamment à 70 mm:
- pour photozone Excellent à toutes ouvertures au centre et seulement « bon » pour les bords et coins à presque toutes les ouvertures.
- Pour LMDLP c'est excellent de partout à toutes ouvertures, sauf f2.8 les coins « très bon »

Conclusion
Pour LMDLP, le « meilleur 24-70 f/2.8 du marché »
Pour photozone c'est 3.5/5, pas de « highly recommended » et qualité en baisse à 70mm

J'ai l'impression que les testeur ont eu deux objectifs totalement différents !

3/ Le Nikon 28-300

Dans l'ordre: Chasseur d'images n°344 / photozone http://www.photozone.de/nikon_ff/578-nikkorafs28300vrff?start=1 et LMDLP (test en ligne)
Distorsion
à 28mm : 1.3 pour chasseurs 4.48% pour photozone et 1.74% pour LMDLP
à 300mm :  0.7 / 1.79% / 0.6%

Vignetage à 28mm f3.5 : 1IL / 1.91 IL / 1 IL
Vignetage à 300mm f5.6 : 0.8 IL / 1.34 IL / 0.9 IL

Aberration Chro.
28mm : 1.93px (photozone f3.5) / 0.3 px (LMDLP, ouverture ?)

Le piqué
A 28mm
Chasseur : excellent à toutes ouvertures pour le centre, bords, coins (entre 8 et 10 /10)
Photozone  « bon » au centre, bords « moyen », coins « pauvre » à PO ensuite ça monte un peu, on arrive à atteindre « bon » pour les bords et coins à f8.
LMDLP Excellent pour le centre et bords toutes ouvertures, « bon » pour les coins, partir de f8 excellent.

Verdict
Chasseur: Qualité d'image surprenante de quoi satisfaire les utilisateurs exigeants.
Photozone: Un tel superzoom nécessite des compromis: distorsion très prononcée, vignetage important, piqué bon mais pas excellent. Ce zoom ne convainc pas.
Je ne m'étends pas plus sur les exemples (et autres sites également consultés). Pour chaque site/magazine j'ai l'impression qu'il ne s'agit pas du tout du même objectif..

Je veux bien admettre des petites disparités car quand les uns utilisent DXO, les autres utilisent Imatest, mais là... 

Je veux bien aussi admettre que je suis un idiot et n'avoir rien compris. Dans ce cas j'attends vos éclaircissements lumineux 

Personnellement la conclusion que j'en tire est que je ne sais à qui faire confiance (en plus du fait que les mires ne reflètent pas le feeling que l'on peut avoir, évidement) et donc ma seul option est le magasin de location d'objectifs pour me faire une réelle idée.

[tribulum]

Les méthodes de calcul sont tout simplement différentes selon les sites pour le vignetage et la distorsion. Par ailleurs, la "présentation" peut aussi différer: "logarithmisation" de certains graphiques en barres qui font parfois que "tout le monde il a gagné" ... Autre paramètre: certains testeurs livrés par les fabricants (objo trié ?), d'autres par des particuliers. Devinez où va ma préférence ?

[beouveyre]

Une échelle logarithmique, je comprends, effectivement tout les résultats sont hissés vers le haut, commercialement tout le monde est content, sauf peut-être les utilisateurs...

Par contre si les méthodes de calculs diffèrent elles devraient logiquement aboutir aux même résultats. Je veux dire, sauf erreur de ma part, qu'une distorsion de 1% de l'image, ce n'est pas 5%.
Et 3px, ce n'est pas 0.3px. Là je ne comprends pas. 

[Verso92]

Par contre si les méthodes de calculs diffèrent elles devraient logiquement aboutir aux même résultats. Je veux dire, sauf erreur de ma part, qu'une distorsion de 1% de l'image, ce n'est pas 5%.

Ah ?
La méthode utilisée par CI (ou JMS) pour mesurer la distorsion consiste à dire qu'une flèche de 1cm sur un tirage de 1m de large correspond à 1% de distorsion. Pour RP (et d'autres), la méthode de calcul est complètement différente : pour retomber sur ses pieds, il faut multiplier par trois (à la louche) les chiffres de CI pour obtenir ceux de RP...

[Michel]

Distortion, aberration chromatique, vignetage...sont les caractéristiques des objectifs actuels. L'important est que cela ne doit pas trop se voir.

[Verso92]

J'ai l'impression que les testeur ont eu deux objectifs totalement différents !

Petite question en passant, beouveyre : as-tu quelques notions en métrologie ?

Distortion, aberration chromatique, vignetage...sont les caractéristiques des objectifs actuels.

?

L'important est que cela ne doit pas trop se voir.

? (!)

[Verdi]

Ah ?
La méthode utilisée par CI (ou JMS) pour mesurer la distorsion consiste à dire qu'une flèche de 1cm sur un tirage de 1m de large correspond à 1% de distorsion. Pour RP (et d'autres), la méthode de calcul est complètement différente : pour retomber sur ses pieds, il faut multiplier par trois (à la louche) les chiffres de CI pour obtenir ceux de RP...

Le profane se moque de ce genre d'explications .

Il achète deux journaux qui utilisent des méthodes scientifiques pour les mesures et il constate que les résultats sont différents, alors, il ne comprend pas, normal, non, pas pour toi !!!

[Lyr]

Le profane se moque de ce genre d'explications .

Il achète deux journaux qui utilisent des méthodes scientifiques pour les mesures et il constate que les résultats sont différents, alors, il ne comprend pas, normal, non, pas pour toi !!!

"Méthode scientifique", on met tout et n'importe quoi derrière ces termes.

Par exemple, si on demande à deux organismes de mesurer, dans le domaine des accélérateurs de particules, l'émittance d'un accélérateur, l'un pourra dire qu'il a mesuré 2 pi mm mrad et l'autre aura mesuré 5,6 pi mm mrad.
Et ils auront eu le même objet à mesurer.

Mais par contre, leurs conventions de définition d'émittance ne sera pas forcément la même (certains travaillent à 1 sigma, d'autres à 2 sigma, etc.).

Cette différence n'a pas rendu les mesureurs moins "scientifiques" pour autant.
Donc une valeur "scientifique" ne veut rien dire sans avoir, derrière, les conventions qui permettent de l'obtenir.

C'est ce que Verso a tenté d'expliquer.

[Verso92]

"Méthode scientifique", on met tout et n'importe quoi derrière ces termes.

Par exemple, si on demande à deux organismes de mesurer, dans le domaine des accélérateurs de particules, l'émittance d'un accélérateur, l'un pourra dire qu'il a mesuré 2 pi mm mrad et l'autre aura mesuré 5,6 pi mm mrad.
Et ils auront eu le même objet à mesurer.

Mais par contre, leurs conventions de définition d'émittance ne sera pas forcément la même (certains travaillent à 1 sigma, d'autres à 2 sigma, etc.).

Cette différence n'a pas rendu les mesureurs moins "scientifiques" pour autant.
Donc une valeur "scientifique" ne veut rien dire sans avoir, derrière, les conventions qui permettent de l'obtenir.

C'est ce que Verso a tenté d'expliquer.

J'ai cherché tout à l'heure avec Google, sans succès, la méthode de mesure de la distorsion utilisée par RP (entre autre). J'ai cru comprendre qu'elle était beaucoup plus sophistiquée que le calcul de la simple flèche, utilisé par CI, mébon : quelles que soient les mérites de la formule "RP", je trouve la "flèche" plus parlante...

La chose a retenir, c'est que les chiffres de RP (ou de ceux qui utilisent cette formule) doivent être multipliés par trois*, à la louche, pour retomber sur ceux de CI.
Sinon, dans le même genre, question à l'auteur de ce fil : comment se mesure le vignetage ?

*déjà un mystère de levé...  ;-)

1/ Samyang 14mm
Sur  photozone (http://www.photozone.de/canon_eos_ff/532-samyang14f28eosff?start=1 )
- Une distorsion en barillet de 5.29 %

Sur Le monde De La Photo (test de Jean-Marie Sépulche en ligne)
-distorsion 1.71%

[Verso92]

Le profane se moque de ce genre d'explications .

Il achète deux journaux qui utilisent des méthodes scientifiques pour les mesures et il constate que les résultats sont différents, alors, il ne comprend pas, normal, non, pas pour toi !!!

Mais, sois rassuré, Verdi : même moi je ne comprends pas tout... par exemple, comment RP arrive à trouver une distorsion en barillet là ou CI trouve une distorsion en coussinet, et lycée de Versailles.
(on m'a bien donné une explication, mais elle n'était pas gentille pour le testeur de RP...  ;-)

[chelmimage]

Ah ?
La méthode utilisée par CI (ou JMS) pour mesurer la distorsion consiste à dire qu'une flèche de 1cm sur un tirage de 1m de large correspond à 1% de distorsion. Pour RP (et d'autres), la méthode de calcul est complètement différente : pour retomber sur ses pieds, il faut multiplier par trois (à la louche) les chiffres de CI pour obtenir ceux de RP...

J'ai plutôt compris que le rapport devrait être seulement de 2.
Une méthode mesure la déformation sur un seul des ventre ou pointe par rapport à la totalité de la longueur en cause.
L'autre mesure la totalité de la différence sur la longueur. Ce qui fait que si l'image est symétrique le rapport de l'écart est doublé.

[Sim2Bas]

Bon ce qui est bizarre c'est que les avis finaux différent autant. Chacun a sa méthode et les valeurs ne sont pas les mêmes mais les résultats devraient être cohérents avec toutes les méthodes non ?

En clair, peu importe que pour l'un une grosse distorsion soit une valeur de 2 et de 4 pour l'autre..; par contre comment un bon objectif pour l'un deviens médiocre pour l'autre ?

Effectivement ca fait se pauser la question de la régularité de la production, question que je me  pause de plus en plus en lisant ce forum et d'autres.

Parce que si ca n'est pas ca, il ne reste que: les a priori et opinions personnelles (bien humain) qui font varier les avis.... ou la plus inavouable entente avec le constructeur.

[Verso92]

J'ai plutôt compris que le rapport devrait être seulement de 2.

Il est de x3, sans contestation possible (vérifié sur de -très- nombreux objectifs)...

Une méthode mesure la déformation sur un seul des ventre ou pointe par rapport à la totalité de la longueur en cause.
L'autre mesure la totalité de la différence sur la longueur. Ce qui fait que si l'image est symétrique le rapport de l'écart est doublé.

J'avais lu une fois un truc là-dessus (oublié depuis). C'était bien plus sophistiqué que ça...

Bon ce qui est bizarre c'est que les avis finaux différent autant. Chacun a sa méthode et les valeurs ne sont pas les mêmes mais les résultats devraient être cohérents avec toutes les méthodes non ?

Non.
(ou alors, ça voudrait dire que tout le monde attend la même chose d'un objectif...)

Effectivement ca fait se pauser la question de la régularité de la production, question que je me  pause de plus en plus en lisant ce forum et d'autres.

Et tu as raison de te pauser ce genre de questions... et puis, ça fait coser !

;-)
Plus sérieusement, c'est aussi un facteur à prendre en compte...

Parce que si ca n'est pas ca, il ne reste que: les a priori et opinions personnelles (bien humain) qui font varier les avis.... ou la plus inavouable entente avec le constructeur.

Oui : la plupart des testeurs sont vendus aux marques, comme tu le sous-entends si élégamment.

[Michel]

Sur Pentax forum, site américain, il y a des reviews d'objectifs faites par les utilisateurs. C'est inouï de voir les variations de quotation pour un même modèle.
Il devrait y avoir un protocole scientifique pour les tests. On sait mesurer cela depuis longtemps en optique. Mais j'ai l'impression que tout le monde s'en fiche. L'essentiel est de vendre du 14/85, du 24/300....hérésies optiques. Après vous corrigerez avec votre logiciel. 

[Verso92]

Il devrait y avoir un protocole scientifique pour les tests. On sait mesurer cela depuis longtemps en optique.

Tu peux expliciter ton propos ?
Merci d'avance.

Mais j'ai l'impression que tout le monde s'en fiche.

Au contraire, Michel, au contraire... mais contrairement à ce que certains ici semblent penser, ce n'est pas simple de tout d'évaluer un objectif... pas simple du tout !

[Le Troisième Oeil]

Et tu as raison de te pauser ce genre de questions... et puis, ça fait coser !

!

[Sim2Bas]

(ou alors, ça voudrait dire que tout le monde attend la même chose d'un objectif...)

Sur le rendu ou l'avis final je suis OK... mais sur distorsion vignetage et aberration la mesure devrais pas être un minimum cohérent ?!! C'est pas tellement une question d'attente mais de constatation.

Et tu as raison de te pauser ce genre de questions... et puis, ça fait coser !

;-)

Et oui c'est bien tout l'intérêt... Par ailleurs c'était à moitié ironique, une façon de dire que si les tests des sites sont incohérents que dire des avis des forumeurs   Y a quoi après divergent   ?

Oui : la plupart des testeurs sont vendus aux marques, comme tu le sous-entends si élégamment.

Mais pas tous à la même marque sinon ils seraient tous d'accord !

Suffit de faire un tableau avec qui est vendu à qui et de pondérer les résultat suivant les marques testé et tout devient clair !

Sérieusement, pour travailler dans un milieu similaire, les budgets marketing ca existe et leurs effets sur certains sont bien réels et les sympathies aussi.

Si un jour je deviens trop élégant pour ce forum dit le moi, j'ai une photo de c** de babouin que je n'hésiterais pas à publier pour rééquilibrer mon image

[Verso92]

Sur le rendu ou l'avis final je suis OK... mais sur distorsion vignetage et aberration la mesure devrais pas être un minimum cohérent ?!! C'est pas tellement une question d'attente mais de constatation.

Je vais être plus précis, alors : outre le fait qu'il existe deux formules de calcul (au moins), sachant que la distorsion d'un objectif varie avec la distance de MaP, tu souhaiterais avoir un chiffre pour quelle distance : vingt fois la focale... quarante fois la focale... l'infini... autre ?

Pour le vignetage, je ne sais pas s'il existe de mesure normalisée... le mesure repose-t-elle sur une différence d'éclairement entre le centre et les angles extrêmes... entre le cente et les bords... à quel distance du centre exactement ? question subsidiaire : correction du boitier sur "off", "normale" ou "élevée" ?

Et oui c'est bien tout l'intérêt... Par ailleurs c'était à moitié ironique, une façon de dire que si les tests des sites sont incohérents que dire des avis des forumeurs  Y a quoi après divergent  ?

Les tests ne sont pas si incohérents que ça : il est normal que quand la procédure varie, les résultats ne soient pas identiques...

Sérieusement, pour travailler dans un milieu similaire, les budgets marketing ca existe et leurs effets sur certains sont bien réels et les sympathies aussi.

Que penser, dans ce cas, des réserves émises par CI sur le rendu d'image du Nikon D7000 (la courbe) ou sur les problèmes du D600, sans oublier la brouille avec Canon sur l'AF d'un certain boitier "pro" de la marque, qui leur a valu quelques suspensions de pubs, d'après ce que j'ai compris...

[chelmimage]

La mesure des distorsions c'est ici..
http://michel.thoby.free.fr/Fisheye_history_short/International_Standards_about_Distortion.html

[Verso92]

La mesure des distorsions c'est ici..
http://michel.thoby.free.fr/Fisheye_history_short/International_Standards_about_Distortion.html

Où l'on voit que les méthodes de mesures diffèrent radicalement...
D'ailleurs, l'article mentionne l'inversion de signe de la distorsion chez DxO (ils ne la comprennent pas, d'ailleurs...). Explication que RP trouve une distorsion en barillet là où CI (et JMS) trouvent une distorsion en coussinet ? pourtant, tous utilisent DxO pour les mesures...

[fred134]

La mesure des distorsions c'est ici..
http://michel.thoby.free.fr/Fisheye_history_short/International_Standards_about_Distortion.html

A la lecture de cet article, on comprend le facteur 3 entre Imatest (= Photozone) et DXO (= CI ou JMS).
A noter que ce facteur 3 n'est valable que pour des capteurs de format 3/2...

Sinon, google donne cette explication de la mesure Imatest, pour ceux que ça amuserait (je n'ai pas tout lu).
http://www.imatest.com/guides/modules/distortion/

[beouveyre]

Mouais...

On peut toujours trouver une explication. Mais qui prend la peine d'aller voir les détails des méthodes de test d'untel ?

Comment expliquer que 80% (à la louche) des objectifs testés dans CI sont "excellents", piqué entre 8 et 10.
On voit bien l'impact que cela peut avoir.

Les objos en dessous de 8 sont rares ! Est-ce normal? Et bien oui car tous les objectifs sont formidables aujourd'hui!
Monsieur tout le monde achetant son LMDLP ou son DP voit quasi toujours des super notes. J'ai l'impression qu'on s'arrange un peu trop au détriment de ceux qui achètent les magasines.

Personnellement je ne m'en étonne pas, je sais comment fonctionne les média ayant travaillé avec eux (pas sur le plan photo..)

Par contre ce qui m'amuse, c'est ce genre de conclusion sur le nikon 28-300. Et il y a moyen d'en sortir plein d'autres du genres..

Verdict
Chasseur: Qualité d'image surprenante de quoi satisfaire les utilisateurs exigeants.
Photozone: Un tel superzoom nécessite des compromis: distorsion très prononcée, vignetage important, piqué bon mais pas excellent. Ce zoom ne convainc pas.

[Verso92]

Mouais...

On peut toujours trouver une explication. Mais qui prend la peine d'aller voir les détails des méthodes de test d'untel ?

Comment expliquer que 80% (à la louche) des objectifs testés dans CI sont "excellents", piqué entre 8 et 10.
On voit bien l'impact que cela peut avoir.

Les objos en dessous de 8 sont rares ! Est-ce normal? Et bien oui car tous les objectifs sont formidables aujourd'hui!
Monsieur tout le monde achetant son LMDLP ou son DP voit quasi toujours des super notes. J'ai l'impression qu'on s'arrange un peu trop au détriment de ceux qui achètent les magasines.

Personnellement je ne m'en étonne pas, je sais comment fonctionne les média ayant travaillé avec eux (pas sur le plan photo..)

Par contre ce qui m'amuse, c'est ce genre de conclusion sur le nikon 28-300. Et il y a moyen d'en sortir plein d'autres du genres..

Si tu te donnais la peine de lire les explications des uns et des autres (les journalistes de CI communiquent régulièrement sur leur méthodologie de test, par exemple) plutôt que de te répandre ici en remarques fielleuses ?
(je sais bien, lire et essayer de comprendre demande un peu d'efforts, mébon... ça en vaut la peine, souvent !)

[Le Troisième Oeil]

Mouais... On peut toujours trouver une explication. Mais qui prend la peine d'aller voir les détails des méthodes de test d'untel ?
Comment expliquer que 80% (à la louche) des objectifs testés dans CI sont "excellents", piqué entre 8 et 10. On voit bien l'impact que cela peut avoir.
Les objos en dessous de 8 sont rares ! Est-ce normal? Et bien oui car tous les objectifs sont formidables aujourd'hui!
Monsieur tout le monde achetant son LMDLP ou son DP voit quasi toujours des super notes. J'ai l'impression qu'on s'arrange un peu trop au détriment de ceux qui achètent les magasines.

Personnellement je ne m'en étonne pas, je sais comment fonctionne les média ayant travaillé avec eux (pas sur le plan photo..)

Quelle suspicion, dis-donc !
À te lire et pour clarifier tes sous-entendus, les journaux trouveraient 80% des objectifs très bons ou excellents... parce qu'ils auraient des intérêts financiers, via la pub, à faire la lèche aux grands constructeurs, et que tout ça ne serait donc que magouille et compagnie. C'est bien ça que tu veux dire, n'est-ce-pas ?

Et il n'est pas venu à l'idée de remonter un peu dans le temps... et de te servir, sinon de ta réflexion, tout au moins de ta mémoire ?
Quand les premiers reflex numériques sont sortis, avec des capteurs APS-C positionnés derrière des objectifs conçus et fabriqués au départ pour du 24x36, le simple fait de n'utiliser que les "2/3 CENTRE" de la surface-image produite par ces objectifs a suffi pour que les mesures faites alors, sur les coins et bords du rectangle APS-C, remontent automatiquement de quelques crans la qualité générale des dits objectifs.
À ce moment d'ailleurs, les premiers utilisateurs, qui râlaient par ailleurs de ne pas trouver d'objos (notamment en GA) adaptés à leurs nouveaux joujoux, se réjouissaient quand même de ce que leurs objectifs, jusqu'ici "moyens" voire "faibles" dans les angles deviennent "bons" voire "très bons"... du simple faits que les angles ou bords d'un APS-C se trouvaient plus près du centre que ceux d'un 24x36.
Cela a été la première amélioration "sans frais". Mais par la suite (ces 20 dernières années, en gros), les techniques industrielles ont également beaucoup progressé : chimie du verre, techniques de moulage ou surmoulage permettant l'utilisation maintenant courante de lentilles asphériques (même dans des cailloux de milieu de gamme), amélioration des alliages et matières des châssis d'objectifs, numérisation/robotisation des chaines de production permettant de réduire les tolérances mécaniques, etc.

Or, le "juge final" qu'est l'oeil humain, lui, n'a pas progressé dans les même proportions (pour moi c'est même l'inverse, hélas ! ). Rendre plus sévère les mesures des tests au seul prétexte que leurs résultats donnent des objectifs pratiquement tous, oui, tu as raison, "bons" à "excellents", n'aurait donc servi... qu'à les départager. Ce que font d'ailleurs quelques "chercheurs de petites bêtes", en se basant sur des formats A2, A1 voire A0 que très peu de monde n'utilise en fait, ou des mesures très très pointues... qui ne correspondent en rien à ce que pourrait discerner un oeil humain.

Si tu y réfléchis, c'est pareil pour bon nombre de produits techniques aujourd'hui. La télé, le téléphone, la voiture même : si les testeurs auto n'avaient pas remonté leurs exigences au fur et à mesure de l'amélioration des modèles, la dernière des Dacia à 7.000 € serait aujourd'hui classée comme excellente... au regard d'une BMW série 5 de 1990 !

Personnellement, je préfère que les magazines photos (et notamment C.I.) fassent le choix de la "vérité journalistique" qui est de dire que, oui, tous les objectifs sont aujourd'hui globalement au moins "bons". (Ce qui ne les empêchera pas de nous signaler que, pour afficher en pleine résolution écran un paysage photographié au D800E il vaut mieux ne pas se contenter du zoom de base offert avec le boiter entrée de gamme).
Ces mêmes magazines peuvent d'ailleurs se féliciter d'avoir participé à cette élévation du niveau car, sans la pression de leurs tests, qui dit que les industriels auraient investi pour aboutir à cette qualité ? Mais c'est bien là la seule "connivence" que je vois entre eux (et ce, même sans nier qu'ils ont objectivement besoin les uns des autres pour vivre) !