Tests sur mires contre tests de terrain [Fil séparé]

[jean-fr]

D'apres l'interview de Norman Koren d'Imatest citee plus haut, Imatest avait 5 employes en 2012. Je n'ai pas les chiffres de DxO. J'avais entendu parler d'une quarantaine de personnes, mais je ne suis pas sur du tout.

La raison pour laquelle j'ai une preference pour Imatest en terme de test d'optique est que c'est une societe dont le patron a cree Imatest car c'etait un passionne de photos. Dans ses interviews, il parle tres facilement des limites des tests sur mire facilement. Bref, on sent la personne motivee par le tests des optiques.

DxO est beaucoup plus ferme. Ce n'est pas une societe crees par des passionnes de photos. C'est une societe qui est nee d'une entreprise qui faisait de la detection de noyade en piscine. Elle a evidemment d'excellents arguments a faire valoir en traitement du signal dans l'embarque. Par contre, le test des optiques, il est evident qu'ils s'en fichent totalement. Leurs articles sur les comparaisons d'objectifs montrent souvent qu'ils n'y connaissent pas grand chose en photo.

sylvatica, je croyais que DXO avait été créé par des chercheurs issus de l'INRIA ... ? mais je fais peut être une confusion.

[sylvatica]

sylvatica, je croyais que DXO avait été créé par des chercheurs issus de l'INRIA ... ? mais je fais peut être une confusion.

Le directeur de DxO est Jerome Meniere. C'est un scientifique de formation puisqu'il a fait l'Ecole Centrale. Mais son parcourt professionel est un parcourt de createur d'entreprise. C'est lui qui a cree Poseidon (prevention de la noyade en piscine)\, puis DxO.
http://www.lesechos.fr/01/03/2006/LesEchos/19616-164-ECH_il-met-les-maths-au-service-de-l-image.htm

Il s'est entoure entre autre de Frederic Guichard, maintenant directeur scientifique de DxO. Il a fait l'Ecole Normale Superieure et une these. Il a pas mal publie avec Pierre-Louis Lions, medaille Fields de mathematiques, sur le traitement des images.
http://fr.linkedin.com/pub/fr%C3%A9d%C3%A9ric-guichard/0/3b0/635
A priori, il n'est pas passe par l'INRIA. De toute facon, il n'y a pas de probleme: il est tres competent scientifiquement.

Le premier est le buisnessmann de DxO et le second, le scientifique. Bien sur, il y a toute une equipe autour.

[jean-fr]

Le directeur de DxO est Jerome Meniere. C'est un scientifique de formation puisqu'il a fait l'Ecole Centrale. Mais son parcourt professionel est un parcourt de createur d'entreprise. C'est lui qui a cree Poseidon (prevention de la noyade en piscine)\, puis DxO.
http://www.lesechos.fr/01/03/2006/LesEchos/19616-164-ECH_il-met-les-maths-au-service-de-l-image.htm

Il s'est entoure entre autre de Frederic Guichard, maintenant directeur scientifique de DxO. Il a fait l'Ecole Normale Superieure et une these. Il a pas mal publie avec Pierre-Louis Lions, medaille Fields de mathematiques, sur le traitement des images.
http://fr.linkedin.com/pub/fr%C3%A9d%C3%A9ric-guichard/0/3b0/635
A priori, il n'est pas passe par l'INRIA. De toute facon, il n'y a pas de probleme: il est tres competent scientifiquement.

Le premier est le buisnessmann de DxO et le second, le scientifique. Bien sur, il y a toute une equipe autour.

OK. Merci pour ces précisions !

[sylvatica]

Pour moi le critère "BxU" représente plus la qualité de netteté que le pouvoir de résolution de fréquences spatiales, d'ailleurs JMS emploie (de mémoire et il me corrigera si je me trompe) le terme "piqué subjectif", ceci me semble assez éloigné de la MTF.
Quand j'ai lu (avec quelques difficultés, je le reconnais avec modestie) l'article expliquant le BxU, j'ai eu l'impression que le Bxu était décrit comme un critère de" mathématique statistique" assez éloigné de ce j'imaginais, notamment quand son auteur indique que c'est phénomène basse fréquence.
Si j'ai bien compris également, son auteur dit qu'il existe existe un lien mathématique entre le BxU et la MTF, sans plus de précision...

Je vais essayer d'expliquer la différence entre le MTF50 et le BxU avec une analogie sonore.

Supposons qu'on souhaite tester un système sonore. Pour cela, on lui fait reproduire les notes graves, puis de plus en plus aiguës. On notera entre 0 et 1 cette reproduction : 1 si le système reproduit parfaitement la note, et 0 si le système ne reproduit rien du tout. Si on trace la courbe qui donne cette note en fonction de la fréquence, on obtient ce qu'on appelle la MTF (Modulation Transfer Function) du système sonore. Cette courbe va donner la caractéristique entière du système.
Vers les hautes fréquences, cette courbe va s'écrouler vers 0 car un système sonore est toujours limité dans les hautes fréquences. L'idée de la MTF50 est de donner la fréquence à laquelle cette courbe descend en dessous de 0,50. L'idée de DxO est de mesurer l'aire qu'il y a sous cette courbe et d'appeler cela le BxU. Le dessin ci-dessous montre cela.

En photographie, l'équivalent des basses fréquences est le "contraste" et l'équivalent des hautes fréquences est le "micro-contraste" (les détails). Évidemment, en réduisant une courbe à un seul nombre, de nombreuses informations sont perdues. Comme la MTF50 se fiche totalement de la forme de la courbe lorsqu'elle est au dessus de 0,50 (donc pour les basses fréquences), elle est peu sensible au "contraste" de l'objectif et très sensible à son "micro-contraste". Par contre, l'aire en dessous de la courbe est très dépendante de ce qui se passe pour les basses fréquences, et donc le BxU est bien plus sensible au "contraste" de l'objectif, un peu moins au "micro-contraste".

Pour compliquer le tout, en photo, il y a les détails qui sont dirigés vers le centre de la photo et les détails qui sont perpendiculaires à cette direction. C'est pour cela que la MTF50 doit être mesurée de manière sagittale et méridionale. Il y a donc deux fréquences à prendre en compte. Les testeurs ne voulant publier qu'un seul nombre, une salade est faite avec ces deux nombres. Est-ce une moyenne ? le plus grand ? le plus petit ? Ce n'est pas très clair. Le BxU fait cela beaucoup plus proprement en prenant dès le début correctement cette spécificité en compte.

Bref, MTF50 ou BxU, ce sont deux "simplifications" un peu différentes de la MTF. Si vous êtes plus branchés "micro-contraste", il vaut mieux préférer la MTF50. Si vous êtes plus branchés "contraste", il vaut mieux préférer le BxU. A quel point ces mesures sont différentes ? Il faudrait faire des essais pratiques. Le calcul de la MTF50 est quelque chose de totalement standardisé et de nombreux logiciels (même gratuits) la calculent. Pour ce qui est du BxU, seul les logiciels DxO savent le calculer. Comme très peu de personnes y ont accès, on n'est surement pas prêt de voir une comparaison.

Le Zeiss 21mm a un micro-contraste exceptionnel mais un contraste peu élevé. Cela pourrait expliquer qu'il soit plutôt mal noté par les personnes utilisant DxO (DxOMark, JMS) et bien noté par les personnes utilisant Imatest et donc la MTF50 (Photozone).

[LaRedac]

DxO est beaucoup plus ferme. Ce n'est pas une societe crees par des passionnes de photos. C'est une societe qui est nee d'une entreprise qui faisait de la detection de noyade en piscine. Elle a evidemment d'excellents arguments a faire valoir en traitement du signal dans l'embarque.

Par contre, le test des optiques, il est evident qu'ils s'en fichent totalement.

Leurs articles sur les comparaisons d'objectifs montrent souvent qu'ils n'y connaissent pas grand chose en photo.

Oh là... on se couchera moins bêtes ce soir! Voici un commentaire fort instructif !
Tu peux développer, s'il te plait?
Face à une telle affirmation, on tombe de haut et il nous faudrait quelques arguments, si possible en béton. 

[chelmimage]

Et ça vous en pensez quoi?
http://www.chassimages.com/forum/index.php/topic,182435.msg3850259.html#msg3850259
Dans l'histogramme, il y a un peu de DXO, si j'ai bien compris..
C'est valable pour une distance seulement qui augmente avec le nb de pixels. Et donc ça s'adapte automatiquement à l'appareil utilisé pour le test..

[Ronan]

L'addition d'une demi-science et de certitudes donne des choses intéressantes, comme le schéma explicatif du BxU versus le MTF 50 par Sylvatica ci-dessus... Merci, Sylvatica: je n'avais manifestement rien compris à la MTF et, plus largement, à la décomposition en séries de Fourier, pas plus qu'au BxU... je me coucherai donc moins ignorant ce soir...

Oh, les gars, c'est pas un peu fini le délire?
Désolé de ne pas être plus disert, mais j'ai école toute la journée et demain. Je lirai avec intérêt la suite dimanche: ma soif de culture scientifique est inextinguible, et Dieu sait que j'en apprend céans grâce à l'aide précieuse et bénévole de certains... experts!

[chris31]

et il nous faudrait quelques arguments, si possible en béton. 

Mur en brique pour les tests pas en béton.

[chelmimage]

Je pense que dans certains cas les tests sur mire sont nécessaires car les tests terrains sont difficilement reproductibles.
De plus on peut créer des tests sur mires spécifiques à certaines des caractéristiques comme le piqué, le bruit, l'accentuation..qui sont des caractéristiques élémentaires difficiles à isoler séparément sur un test terrain.

[JMS]

Il vaut mieux parler de ce que l'on connaît : le PDG de DxO et ses directeurs sont tout à fait passionnés de photo. S'ils ont cédé à la déplorable demande de la mesure du pouvoir séparateur avec une valeur fixe de contraste pour DxO Mark, c'est que le concept de "piqué subjectif" avec un traitement standard développé par la mesure BXU est moqué par ceux qui préfèrent une mesure à la ligne près et sont même en extase si suite à une erreur de manip d'Imatest (RTFM) quelqu'un publié un pouvoir séparateur...supérieur à celui du capteur. Il suffit de surraccentuer et Imatest donne des mesures fausses.

Pour reprendre ce concept, reprenez l'article de CI publié en février 2004, j'en ai assez pour ma part de tout répéter dans chaque discussion.

Sur le fond enfin, un essai approfondi doit cumuler mire et terrain, mais on ne peut jamais envisager tous les cas de figure, hélas, notamment la forte dispersion de performances de certains modèles (centrage imparfait) 

[hyucca]

Ronan Loaëc: "Oh, les gars, c'est pas un peu fini le délire?
Désolé de ne pas être plus disert, mais j'ai école toute la journée et demain. Je lirai avec intérêt la suite dimanche: ma soif de culture scientifique est inextinguible, et Dieu sait que j'en apprend céans grâce à l'aide précieuse et bénévole de certains... experts! "

J'ai comme la vague impression qu'il y en a qui vont prendre leur pâtée !

Cela leur apprendra à chasser, sans permis, sur des terres réservées ! Par chance, ils n'ont pas tué le garde-chasse.....

Sérieusement, j'aime quand même bien que certains fassent un peu de vulgarisation, même si ce n'est pas d'une absolue rigueur et entaché d'approximations; cela m'aide quand même à "entrevoir" les choses, ce qui me suffit sur quelques domaines ou me donne envie d'en savoir plus. Cela un des intérêts de ce forum.

Merci donc à Chelmimage et Sylvatica pour les efforts (non récompensés  ) que vous faites....

Et merci à CI de m'apporter le "savoir plus", avec rigueur, dans des articles de fond qui font, quand même, quelquefois un peu fumer mes neurones.

Bon week-end à tous.

[sylvatica]

Face à une telle affirmation, on tombe de haut et il nous faudrait quelques arguments, si possible en béton. 

Les articles de comparaison d'objectifs publies par DxO sont a mon avis de tres mauvaise qualite. Je vais bien sur argumenter en donnant quelques remarques sur la serie d'articles sur le D800 disponible ici : http://www.dxomark.com/index.php/Publications/DxOMark-Reviews/Which-lenses-for-your-Nikon-D800.

Des la premiere page, on a le droit au commentaire suivant : "It could be that the Anti-Aliasing filter is a little bit too strong adversely affecting the sharpness results". DxO pense donc que le filtre anti-aliasing du D800 est trop fort. Tous les autres testeurs ont decrit le filtre anti-aliasing du D800 comme plutot fabile. C'est bien sur un jugement de valeur et ils pensent ce qu'ils veulent, mais cette remarque me parait tres surprenante.
Mais ma critique fondamentale sur cette serie d'articles est leur utilisation du DxOMark score et du score P-MPix pour comparer les objectifs. Comme vous souhaitez des arguments, voici pourquoi je pense que l'utilisation du P-MPix score est tres dangereux. Comme vous le savez, la nettete d'un objectif depend de plusieurs facteurs : l'ouverture de l'objectif, la position dans l'image, la focale du zoom utilisee. Il y a aussi d'autres facteurs, comme la distance de mise au point, mais ils sont presque toujours ignores dans les tests. Pour calculer son score P-MPix, DxO doit donc "moyenner" toutes ces dependances, et voici ce qu'ils font:
1- Ils "eliminent" la dependance de la position sur l'image en faisant une moyenne. Ils donnent plus de poids au centre qu'au bords
2- Ils "eliminent" la dependance a l'ouverture en choisissant la meilleure ouverture
3- Ils "eliminent" la dependance a la focale en faisant une moyenne
Cette methode est expliquee ici http://www.dxomark.com/index.php/About/Lens-scores/Metric-Scores , et c'est comme cela qu'ils optiennent le score P-MPix. Il est donc important de savoir que le score P-MPix ne depend pas du tout de la qualite de l'objectif a pleine ouverture, mais uniquement de sa qualite pour l'ouverture optimale : souvent f5.6 ou f8. Qu'on ecrive des articles entiers sur les qualites relatives des objectifs sur un boitier haut de gamme comme le D800 en se basant sur ce genre de metrique me choque profondemment.
C'est ce genre de choix qui me fait dire qu'ils ne connaissent rien a la photo. C'est evidemment un jugement de valeur peu mesure, mais j'espere que Ronan me pardonnera cela.

Maintenant, si chasseurs d'images pense que le filtre anti-aliasing du D800 est trop fort et surtout que le DxOMark score et le P-MPix score sont des mesures intelligentes pour classer les objectifs sur un boitier comme le D800, je vous prie de le dire.

L'addition d'une demi-science et de certitudes donne des choses intéressantes, comme le schéma explicatif du BxU versus le MTF 50 par Sylvatica ci-dessus... Merci, Sylvatica: je n'avais manifestement rien compris à la MTF et, plus largement, à la décomposition en séries de Fourier, pas plus qu'au BxU... je me coucherai donc moins ignorant ce soir...

Je suis un peu surpris que Ronan considere que mes arguments sont de la "demi-science". Je vais tacher de rester calme face a cette affirmation, et je vais plutot me concentrer sur ce que j'ai explique.
Pour definir la MTF, on peut envoyer un point lumineux a un objectif et voir comment le systeme objectif/capteur rend ce point. Le systeme va "flouter" ce point et la reponse a ce point lumineux (un Dirac) est ce qu'on appelle le PSF (Point Spread Function). Un systeme parfait transformerait le Dirac en un Dirac. La MTF est la transformee de Fourier de la Point Spread Function. Dans l'ideal, comme la transformee de Fourier d'un Dirac est la function constate egale a 1, la MTF serait une constante egale a 1. Mais comme le systeme n'est pas parfait, le PSF n'est pas un Dirac et sa transformee de Fourier est une fonction qui tend vers 0 lorsque la frequence augmente. La MTF50 et le BxU sont des metriques qui permettent de mesurer la "decroissance" de cette fonction.
- La MTF50, donne la frequence a laquelle cette fonction descend en dessous de 0,50. C'est ecrit ici : http://www.imatest.com/docs/sharpness/#mtf , je cite "where MTF is 50% of its low frequency value (MTF50)".
- Le BxU est donne par l'integrale de f^2.MTF(f) sur le domaine des frequences, ou MTF designe la transformee de Fourier de la PSF. C'est ce qui est dit dans le theoreme 1 de l'article : http://perso.telecom-paristech.fr/~gousseau/ProjMVA/Flou/blur_long.pdf . J'ai simplifie plus haut en omettant le terme f^2, mais l'idee est la. Pour rendre plus facile a interpreter cette mesure, DxO a choisi de normaliser cette mesure en la multipliant par une constante qui fait que le Blur de photoshop a un BxU de 1.
La MTF50 et le BxU sont donc deux "metriques" differentes pour mesurer la "chute vers 0" de la MTF.

Est-ce qu'une mesure est meilleure que l'autre, je n'en n'ai aucune idee. Je serai tres interesse par voir une etude correcte de la difference entre les deux sur des exemples precis.

Il vaut mieux parler de ce que l'on connaît : le PDG de DxO et ses directeurs sont tout à fait passionnés de photo. S'ils ont cédé à la déplorable demande de la mesure du pouvoir séparateur avec une valeur fixe de contraste pour DxO Mark, c'est que le concept de "piqué subjectif" avec un traitement standard développé par la mesure BXU est moqué par ceux qui préfèrent une mesure à la ligne près et sont même en extase si suite à une erreur de manip d'Imatest (RTFM) quelqu'un publié un pouvoir séparateur...supérieur à celui du capteur. Il suffit de surraccentuer et Imatest donne des mesures fausses.

JMS, je crois avoir une vague idee de qui sont les dirigeants de DxO. J'ai d'ailleurs beaucoup de respect pour ceux que j'ai deja croise.
Si j'ai une preference pour la MTF50, c'est parce qu'elle est definie clairement dans de nombreux papiers, et la methode de mesure utilisee est normalisee. Concernant le BxU, ce qui me gene est que meme si la definition du BxU est clairement donnee dans le papier plus haut, sa methode de mesure n'est pas expliquee.
Qu'une personne publie une MTF50 avec une resolution superieure au capteur, ce n'est pas bien surprenant. En faisant n'importe quoi avec un instrument de mesure (suraccentuer l'image), on obtient evidemment n'importe quoi.

Maintenant, revenons sur un exemple concret : Le Zeiss 21mm f/2.8. Est-ce que je peux avoir une explication sur la raison pour laquelle il se prend des resultats tres moyens avec DxO et pas avec Imatest ? Pourquoi le 24-120 VR f4 semble etre meilleur a 24mm que ce Zeiss lors des tests DxO ? Pourquoi tout le monde par en courant lorsqu'on poste des photos et que l'on demande des explications ?

[sylvatica]

et Dieu sait que j'en apprend céans grâce à l'aide précieuse et bénévole de certains... experts!

Ronan, je ne me suis jamais declare expert.

Ce niveau de qualification, qui semble permettre de voir plus de micro-contraste dans les photos prises en NEF avec les Nikon sans compression qu'avec les memes NEF avec compression avec perte ne m'a pas malheureusement pas ete donne. Comme je n'ai pas ces competences, peux-tu m'aider a dire quelle est la ligne qui a ete enregistree avec une compression avec perte https://www.dropbox.com/s/wly14eumzu9cog7/D800-14bit-compression.png ?

[chelmimage]

Merci donc à Chelmimage et Sylvatica pour les efforts (non récompensés  ) que vous faites....

Merci. Ta remarque est une récompense..Je ne joue pas dans la cour des grands, j'essaye de m'amuser à mon niveau. Et si ça peut être utile, tant mieux..

[Jean-Claude]

Il ne faut pas confondre le banc de test DxO et les publications DxO qui n'ont rien à voir sinon que c'est le même matériel de test qui est utilisé.

Il n'y a pas à discuter du banc de test DxO qui est scientifique et reproductible, après tout dépend de ce que l'on en fait.

Les publications DxO ont pris le parti de donner quelque notes globales par objectif en imposant leur pondération qui peut correspondre à ses exigences et son style de photographie ou ne pas correspondre. Ces notes permettent en tout cas de comparer les optiques entre elles avec la prudence nécessaire tout de même quand les notes ne sont pas trop éloignées

Des gens comme CI ou JMS ont pris la décisions d'aller d'avantage dans le détail de publication avec le même matériel de test, ici il faut un peu plus de connaissances pour comparer, le lecteur béotien total est exclu, mais on en sait d'avantage et peut mieux situer les points forts et faibles.

Ces test permettent donc de se faire une idée comparatif sur le matos, permettent-ils aux possesseurs d'utiliser ces objectifs de façons optimale, non en aucun cas, c'est là que seuls des essais sur images complets et très poussés sont nécessaire, et là plus aucune publication commerciale n'a plus les moyens aujourd'hui de les financer.

Quand je veux savoir si mon objectif pique mieux de près ou de loin, s'il fait de la courbure de champ, si celle-ci peut être utilisée de façon positive ou non, si je veux savoir si un objectif peut me donner un très doux flare uniforme positif pour la dynamique, si je veux savoir si l'objectif nimbe de façon irrécupérable à certaines ouvertures etc.... je fais mes essais perso pendant plusieurs semaines avec des images réelles et éventuellement on échange nos expériences ici 

[sylvatica]

Jean-Claude,

Merci d'avoir tres bien resume la situation.

Les tests terrain ont un cout, et le seul site que je connais qui fait cela tres bien est le site de DigLloyd. Il est evidemment payant, mais il est tres bien fait et tres instructif. Il travaille surement a plein temps sur ce site et teste pas mal d'objectifs.
Comme je l'ai deja dit plus haut, je ne souhaite pas l'elimination des tests sur mire. Je me permet seulement de mettre en valeur leurs limites et d'essayer de comprendre les differentes metriques (MTF50/BxU).

Je trouve juste deplorable de se faire traiter de rigolo par des gens de chasseurs d'image. Je pense avoir une vague idee de ce qu'est une transformee de Fourier, et etant chercheur en mathematiques, je n'ai pas besoin de Ronan pour m'expliquer ce que c'est. Sa mauvaise foi me fatigue.

[MBe]

Merci à Chelminage et Sylvatica pour les informations communiquées sur ce fil avec un un dialogue constructif et des échanges respectueux.

La question intéressante est bien de comprendre pourquoi de tels écarts de résultat ( comme tu l'indique Sylvatica) avec des méthodes (DxO /Imatest) qui veulent caractériser les mêmes paramètres (résolution spatiale...)? les dispersions sur les optiques ne peuvent tout expliquer (enfin j'ose le croire...)

[Verso92]

De toute façon, le nombre de variables est trop important pour pouvoir être résumé sur un tableau (sur un chiffre, je n'en parle même pas !).
Tout d'abord, chacun sait que le rendement d'un objectif va dépendre de la distance de MaP : proche de sa distance mini (0,38m), le Nikkor f/2.8 24-70 va être mauvais, pour devenir excellent aux alentours de 1m.

Ensuite, il y a le rendu propre des objectifs : pour des résultats très proches aux tests (CI argentiques), les Nikkor ne délivraient pas du tout le même type d'image que les Zuiko OM, par exemple (ce qui me faisait grandement préférer ces derniers en N&B, mais pas en diapo...). J'en avais assez vite conclu que, lorsque je connaissais la signature des optiques d'un fabricant, je pouvais d'une façon relativement fiable comparer entre eux les résultats aux tests des différents objectifs contemporains de celui-ci. J'ai par contre essuyé quelques déconvenues en me fiant au test CI avec le Tamron SP f/3.5~4.5 28-80, que j'ai trouvé très contrasté mais peu défini (ce qui ne me plaisait pas du tout : vite revendu !).

D'ailleurs, les journalistes de CI, bien conscients du "problème", ajoutaient quelquefois des commentaires sur l'équilibre contraste/définition de certains objectifs : par exemple, le Nikkor f/1.4 35 Ais était affublé à PO de la note "faible/faible", mais on pouvait lire le commentaire suivant : "elles sont modestes à f/1.4 mais ce jugement mérite d'être nuancé : le contraste est effectivement peu élevé alors que la définition est plutôt honnête". A l'inverse, la PO du Zuiko f/2 40, jugé "moyen/moyen", était commentée comme étant "déjà bien contrastée et tout à fait utilisable".

Certains objectifs, de plus, donnent des résultats quasiment identiques aux tests, mais des images différentes. Exemple type : les deux Nikkor f/2.8 180 AF(D) et Ais, qui obtiennent des résultats très voisins aux tests (sauf à PO). JMS ajoute d'ailleurs le commentaire suivant pour le modèle Ais : "On soulignera le caractère particulier de cette formule optique très simple à cinq lentilles en matière de transparence des couleurs et de qualité du flou arrière en portrait".
En bref, les tests sont des outils nécessaires et incontournables... mais pas suffisants*.
*et ce n'est pas une critique envers les testeurs, hein : ils n'y sont pour rien !

[JMS]

Le Zeiss 21mm a un micro-contraste exceptionnel mais un contraste peu élevé. Cela pourrait expliquer qu'il soit plutôt mal noté par les personnes utilisant DxO (DxOMark, JMS) et bien noté par les personnes utilisant Imatest et donc la MTF50 (Photozone).

Franchement, Sylvatica, avant de dire que je note mal le 21 mm Zeiss tu pourrais essayer de comprendre qu'un vignetage de 1,8 IL peut parfois gêner, et que si le piqué est très bon aux ouvertures moyennes avec un beau contraste on n'a pas besoin d'Imatest pour le savoir. Maintenant quand je vois que Photozone le publie pour les 12 Mpix d'un D3 (A3
à 254 dpi) et que je le mesure sur les 36 Mpix du D800, pour un tirage A1 avec marge, tu me pourras me laisser éclater d'un rire douloureux quand à mon mauvais système de mesure fait par des spécialistes en piscines. 

[MBe]

En bref, les tests sont des outils nécessaires et incontournables... mais pas suffisants*.

*et ce n'est pas une critique envers les testeurs, hein : ils n'y sont pour rien !

Verso, je suis bien d'accord avec cette conclusion.

[sylvatica]

JMS,

Les tests de Photozone sont faits sur D3X et non sur D3. Il sont un peu taquin et il est vrai que la photo de l'objectif disponible sur la page de leur test est trompeuse : http://www.photozone.de/nikon_ff/446-zeisszf2128ff . 

tu me pourras me laisser éclater d'un rire douloureux quand à mon mauvais système de mesure fait par des spécialistes en piscines. 

Je tiens aussi a preciser que jamais, je n'ai critique le fait que les gens qui ont fonde DxO travaillaient avant pour une societe qui faisait de la detection de noyade en piscine. Je n'ai jamais critique non plus leurs competences scientifique. Je critique seulement deux choses:
- Leurs articles sur les tests d'objectifs, comme celui fait sur le D800.
- Leur volonte de tout traduire par une note unique, par exemple l'introduction du P-MPix.
Etant donne que je connais un peu Frederic Guichard (directeur scientifique de DxO), j'aimerais que les choses soient claires : j'ai beaucoup d'estime pour ce qu'il fait scientifiquement.  J'aimerais qu'on evite de me faire dire ce que je n'ai jamais dit.
J'observe simplement que Norman Koren d'Imatest donne des interview ( http://photographylife.com/interview-with-norman-koren-at-imatest ) ou il parle sans complexe des defauts des tests sur mire, par exemple de la courbure de champ qui peut avoir des effets indesirables sur les mesures. Ils sont aussi bien conscient de l'effet de la distance de mise au point a sur le pique puisqu'ils font des mires pour les objectifs macros (mires de la meme taille que le capteur). Je ne crois pas que DxO fasse ce genre de choses.

En ce qui concerne tes test JMS, tu sais tres bien que je leur trouve beaucoup de qualite : beaucoup d'optiques sont testees, en general peu apres la sortie des appareils, et les commentaires sont souvent tres justes.
Concernant le test que tu fais du Zeiss dans ton livre sur le D800, voici la raison pour laquelle je me pose des questions. Si on regarde les notes du Zeiss 21mm et du 24-120 VR f4 a 24mm, ils ont a peu pres les memes notes avec un leger avantage pour le Nikon.
Maintenant, regardons ce qui se passe sur un D800, au centre, au bord et dans les angles (Les images suivront). On observe que le 24-120 est meilleur au centre, mais qu'il ne tient pas la route face au Zeiss sur les bords et dans les angles.
J'estime ne pas commettre un crime lorsque je met cela en valeur. Et j'espere que tu seras d'accord pour dire qu'il y a un decalage non negligeable avec les resultats publies dans ton livre sur le D800.

Enfin, jamais je n'ai dit que tu etais un mauvais testeur. J'essaie juste de mettre en valeur sur des exemples pratiques les "limites" d'un test sur mire.

[sylvatica]

Centre:

[sylvatica]

Bord droit:

[sylvatica]

Angle haut droit:
Comme avant, le Zeiss est en haut et le Nikon est en bas.

[sylvatica]

Les photos en entier sont disponibles ici : https://www.dropbox.com/s/4xn68vewn8ray5g/Zeiss-vs-Nikon.zip.