Test CI - Fiabilité des évaluations ?

Démarré par John Lloyd, Janvier 29, 2013, 09:32:55

« précédent - suivant »
Imprimer
En bas Pages 1 2 3 4 5 6 7 8
Actions de l'utilisateur

Verso92

#125
Février 01, 2013, 19:29:38 Dernière édition: Février 01, 2013, 19:36:04 par Verso92
Citation de: sylvatica le Février 01, 2013, 17:26:17
J'aimerai clarifier ma position. Je lis et je continuerai à lire avec attention les tests quantitatifs de piqué d'objectif. Je trouve seulement qu'ils ont pris une place beaucoup trop importante aujourd'hui. Je vais essayer d'expliquer pourquoi:

Test quantitatifs de piqué: Qu'ils soient fait avec Imatest ou DxO, tous les tests font des mesures sur la manière dont un système optique rend le passage d'un aplat noir à un aplat blanc. Ce type de "choc" à l'avantage de solliciter l'optique dans les basses fréquences (contraste de l'optique) et les hautes fréquences (micro contraste). Les logiciels génèrent une courbe qui dépend de la fréquence et qui nous dit avec quelle fidélité le système optique transmet cette information. Cette courbe est à 1 pour les très basses fréquences et descend à 0 pour les hautes fréquences. On juge la qualité de l'optique à la manière dont chute cette courbe. On donne souvent la fréquence à laquelle cette courbe passe en dessous de 0.5 (MTF50) et c'est ce que font la plupart des tests qui utilisent Imatest. DxO pour sa part calcule l'aire qu'il y a sous cette courbe. Au final, on obtient un nombre que l'on considère comme étant le piqué. Bien sur, il faut calculer ce nombre pour les différentes zones de l'image et pour les différentes ouvertures. On obtient les courbes publiées par JMS, photozone, slrgear, CI.
Ces tests sont faits sur une mire plane à une distance faible, souvent de l'ordre de 50 fois la distance focale. Un objectif comme l'AFS 35mm f1.4 a une courbure de champ très faible à cette distance alors qu'elle est énorme à une distance de mise au point de 50m. De même, les utilisateurs du 24-70mm f2.8 sont parfois surpris par la faible qualité des photos de groupe aux courtes focales. Encore une fois, la courbure de champ fait sont travail, et les tests sur mire à courte distance masquent cette caractéristique de l'objectif.
De plus, en ne donnant qu'un seul nombre, on ne fait plus de différence entre contraste et micro contraste. Du coup, on peut très bien avoir des optiques qui ont la même valeur de MTF50 (ou BxU) et des rendus différent. Le document "How to read MTF curves" publié par Zeiss est d'ailleurs très instructif et explique tout cela beaucoup mieux que ce que j'ai fait.
Bref, ce qui me dérange, c'est la place qu'on pris toutes ces mesures quantitatives dans les tests. Elles sont une très grande source d'information, mais elles font je trouve trop d'ombre au reste. Au final, cela "tue" la personnalité des optiques, et c'est très dommage.

DigLloyd: Son site prend le contrepied total de ces méthodes. Pour mire, il utilise une façade d'église en mosaïque et publie les crops 100% des photos tout en précisant clairement comment la conversion RAW a été faite et quels sont notamment les paramètres de netteté. Plus bas, j'ai mis un exemple de comparaison entre des Nikkor grand angle. On peut balader sa souris entre les différentes ouvertures et les différents objectifs et on voit évoluer le crop 100%. Une telle page est disponible pour différentes zones de l'image et pour différentes distances focales. Il y a de nombreux commentaires et on a vraiment l'impression d'avoir testé les objectifs avec lui. De plus, on peut juger le piqué sur pièce et décider si le piqué de tel ou tel objectif nous semble suffisant.
Il y a aussi de nombreux tests, où les problèmes de focus shift, de courbure de champ sont mis en valeur. Le plus souvent, ce sont des séries d'une même photo à plusieurs ou ouvertures. Les crops 100% sont diponibles et commentés.
On peut y voir des comparaison de piqué entre un D3X, un D600 et un D800, avec le même optique. Les crops sont disponibles, la méthode de comparaison est expliquée, et les limites de la méthode sont mis en valeur. C'est le genre de tests qui peuvent intéresser.
On y voit aussi des tests de performance d'autofocus sur des sujets statiques. On y observe la variabilité d'un autofocus, et l'impact que cela a sur une image.
Bref, on y apprend beaucoup, et il y a un côté "terrain" qui est incomparable avec ce qui se fait ailleurs. A la fin, son avis est donné. Comme tout est expliqué et que les photos disponibles, on réalise qu'on ne regarde pas toujours les mêmes choses sur une photo, et on peut avoir un avis différent.
Allez regarder ce qu'a fait JMS dans sa comparaison sur questions photos entre le D800 et le D800E. C'est dans le même style. Après avoir lu l'article, on a l'impression que le testeur a tout fait pour vous laisser juger et non vous donner une réponse toute faite. Les tests sur mires tuent cela et bien qu'ils soient une excellent source d'information, ils ont pris à mon avis beaucoup trop de place.

Je trouve moi aussi les deux approches complémentaires.
Les tests "classiques" sur mire, comme ceux de CI ou de JMS, par exemple, permettent de se faire une première opinion, et d'établir une hiérarchie entre les objectifs. Mais ils ne peuvent pas, par principe, être exhaustifs. En ce qui me concerne, j'ai souvent été surpris, par exemple, que certains objectifs obtenant quasiment les mêmes notes aux tests puissent donner des images aussi différentes, au bout du compte. Pour prendre un exemple concret et connu : les Nikkor f/2.8 180 Ais et AF(D)...

D'ailleurs, dans son EBook "D700", JMS, visiblement conscient de cet état de fait (les résultats aux mires entre le modèle Ais et AF étant voisins), précise en commentaire pour le 180 Ais : "On soulignera le caractère particulier de cette formule optique très simple à cinq lentilles en matière de transparence des couleurs et de qualité du flou arrière en portrait".

Je me rappelle aussi que CI se fendait souvent de commentaires sur la qualité de certains objectifs à PO. Beaucoup étaient notés "moyen/moyen", mais il était quelquefois précisé que le contraste était plutôt élevé, mais la définition faible, ou l'inverse (définition plutôt bonne mais contraste faible)...

Le rendu de certaines gammes optiques sont également significativement différents. Comme déjà évoqué, le rendu des Zuiko OM est beaucoup plus doux, moins tranché, globalement, que celui des Nikkor. Pourtant, dans les tests CI argentiques, le f/2 85 Zuiko obtenait les mêmes notes que le f/2 85 Ais. Pour avoir possédé les deux, ils délivraient quand même des images au rendu différent...
Citation de: John Lloyd le Février 01, 2013, 19:13:37
Pour ma part, rien ne vaut le site de Dxomark qui nous présentent des résultats le plus "objectif" possible. C'est le cas de le dire  :D

Là, par contre, j'ai jamais rien compris à leurs tests...

arno06

#126
Février 01, 2013, 19:35:53
Là, par contre, j'ai jamais rien compris à leurs tests...

Pas mieux !

Verso92

#127
Février 01, 2013, 19:43:24
Citation de: Verso92 le Février 01, 2013, 19:29:38
Les tests "classiques" sur mire, comme ceux de CI ou de JMS, par exemple, permettent de se faire une première opinion, et d'établir une hiérarchie entre les objectifs. Mais ils ne peuvent pas, par principe, être exhaustifs.

Je me rappelle avoir comparé pied à pied (si j'ose dire...) mes f/2.8 24-70 AF-S et f/2.8 60 micro AF-D : à 50cm, le micro enfonçait le zoom... à 1m, c'était juste l'inverse !
Sans compter que les résultats à l'infini peuvent être significativement différents de ceux obtenus à 40 fois la focale, que ce soit en terme de piqué, d'homogénéité des performances ou de distorsion, par exemple...

sylvatica

#128
Février 01, 2013, 20:24:58
Verso92,

D'après ce que j'ai vu, DxO fait une mesure de la courbe MTF différente d'Imatest:

- DxO fait une mesure qui prend en compte à la fois la direction radiale et tangentielle. C'est la raison pour laquelle ils utilisent des ronds et non des barres obliques. Les tests faits avec Imatests sont d'ailleurs en général très flou sur ce qu'ils font.
- DxO ne prend pas la fréquence à partir de laquelle la courbe passe en dessous de 0.5 mais plutôt l'aire sous la courbe. Ils ont de très bonnes raisons mathématiques de faire cela et l'article "uniqueness of blur mesure" de frederic guichard explique cela très en détail.

Au final, c'est intellectuellement plus beau que prendre la MTF50 mais cela ne doit pas changer grand chose.

sylvatica

#129
Février 01, 2013, 20:32:02
Citation de: Verso92 le Février 01, 2013, 19:43:24
Je me rappelle avoir comparé pied à pied (si j'ose dire...) mes f/2.8 24-70 AF-S et f/2.8 60 micro AF-D : à 50cm, le micro enfonçait le zoom... à 1m, c'était juste l'inverse !

Des crops ! 8)

C'est quand même surprenant une telle différence avec des distances de focus à peu près semblables. Tu avais fait comment la mise au point ?

Verso92

#130
Février 01, 2013, 20:32:31
Citation de: sylvatica le Février 01, 2013, 20:24:58
Verso92,

D'après ce que j'ai vu, DxO fait une mesure de la courbe MTF différente d'Imatest:

- DxO fait une mesure qui prend en compte à la fois la direction radiale et tangentielle. C'est la raison pour laquelle ils utilisent des ronds et non des barres obliques. Les tests faits avec Imatests sont d'ailleurs en général très flou sur ce qu'ils font.
- DxO ne prend pas la fréquence à partir de laquelle la courbe passe en dessous de 0.5 mais plutôt l'aire sous la courbe. Ils ont de très bonnes raisons mathématiques de faire cela et l'article "uniqueness of blur mesure" de frederic guichard explique cela très en détail.

Au final, c'est intellectuellement plus beau que prendre la MTF50 mais cela ne doit pas changer grand chose.

Je dois avouer avec un peu de honte que la présentation quelque peu ésotérique des résultat DxO mettent un peu à mal ma fainéantise intellectuelle naturelle... mais bon, so what ?

;-)

sylvatica

#131
Février 01, 2013, 20:42:35 Dernière édition: Février 01, 2013, 20:53:09 par sylvatica
Verso92,

En gros, DxO mesure a peu près la même chose que la MTF50. C'est un peu différent et plus joli mathématiquement, mais je n'ai jamais vu d'exemple concret qui prouve que c'est une meilleure définition du "piqué".

Cela ne remplacera pas pour moi un bon vieux crop.

Verso92

#132
Février 01, 2013, 21:04:47
Citation de: sylvatica le Février 01, 2013, 20:32:02
Des crops ! 8)

C'est pô sympa de m'obliger à replonger dans mes archives un vendredi soir, après une dure semaine de boulot...  ;-)
1/2 :

(à noter l'astigmatisme (?) bien visible sur la vis de la cassette sur l'image au 24-70)

Verso92

#133
Février 01, 2013, 21:05:44

sylvatica

#134
Février 01, 2013, 21:23:17
Merci. Tu es sur que ce ne sont pas des petits décalage de mise au point ?

Sur la seconde, la table sur laquelle la cassette est posée montre que le micro Nikkor a fait le point un peu plus vers l'avant.

Verso92

#135
Février 01, 2013, 21:27:02
Citation de: sylvatica le Février 01, 2013, 21:23:17
Merci. Tu es sur que ce ne sont pas des petits décalage de mise au point ?

Sur la seconde, la table sur laquelle la cassette est posée montre que le micro Nikkor a fait le point un peu plus vers l'avant.

J'ai fait par ailleurs de nombreux tests sur les décalages de MaP de mes objectifs sur le D700 (dont certains avec des "experts"), sans jamais réussir à mettre en évidence de biais. D'autre part le 60 micro me sert à faire toutes mes illustrations techniques sur le forum, la plupart du temps en AF et à PO (le soir, halogène oblige) : c'est toujours nickel.
Même si cette éventualité n'est pas à exclure à priori, le 24-70 souffre aux alentours de sa MaP mini (c'est connu), mais se rattrape très vite ensuite...

Précision : photos faite à f/5.6 pour le 24-70, et f/6.3 pour le 60 micro.

sylvatica

#136
Février 02, 2013, 02:59:09
Je me suis amusé à faire une petite maquette avec mes photos de brique. Vous pouvez télécharger le .zip, dézipper, et double-cliquer sur index.html. Vous aurez ainsi droit à une petite comparaison du piqué au centre des 35mm f1.4, 24-120mm f4 et 16-35mm f4. Le 16-35mm f4 a surement un problème, mais je vais arrêter là mes jérémiades  ;D

https://www.dropbox.com/s/vbwgspiryofmhhe/sylvatica.zip

Tonton-Bruno

#137
Février 02, 2013, 09:21:37
Citation de: sylvatica le Février 02, 2013, 02:59:09
Je me suis amusé à faire une petite maquette avec mes photos de brique. Vous pouvez télécharger le .zip, dézipper, et double-cliquer sur index.html. Vous aurez ainsi droit à une petite comparaison du piqué au centre des 35mm f1.4, 24-120mm f4 et 16-35mm f4. Le 16-35mm f4 a surement un problème, mais je vais arrêter là mes jérémiades  ;D

https://www.dropbox.com/s/vbwgspiryofmhhe/sylvatica.zip

Est-ce que toutes ces photos ont été prises le même jour, et en mode LiveView, avec oculaire obturé ?

Tu pourrais ajouter 5 boutons sur le haut du tableau : Centre, bord DH, bord DB, bord GH, bord GB.

De plus, tu devrais écrire explicitement sur ce forum que tu encourages JMS a utiliser cette maquette html avec ses propres photos, car ce type de représentation étant assez courant sur Internet, cette maquette html, à l'exception des photos qu'elle contient, ne peut faire l'objet d'aucun copyright. Les photos incluses dans la maquette, en revanche, ne sont pas forcément libres de droit.
Tout ce qui peut être réglé dès la prise de vue gagne à l'être

sylvatica

#138
Février 02, 2013, 13:52:20 Dernière édition: Février 02, 2013, 14:00:14 par sylvatica
JMS: Tu peux encore déposer le brevet. C'est bien sur en regardant PictChallenge que j'ai appris cette astuce. Je vais de ce pas m'occuper du brevet NotreDameDeParisxU.  ;)

TontonBruno: La prise de vue a été faite un peu rapidement. Mais c'est fait sur pied et sans oculaire obturé (ça change vraiment quelque chose ?). Pour la mise au point, elle a été faite pour chaque objectif à ouverture maximale en mode LiveView. Toutes les photos ont été faites à 15 minutes d'intervalle.

Effectivement, il faudrait y ajouter des boutons pour la zone de l'image et ce serait vraiment le pied. Je n'y connais rien en JavaScript, donc je ne sais pas modifier comme cela le script disponible pour y ajouter les zones. Par contre, écrire un script pour croper automatiquement une série d'images, c'est pas trop dur.

Il y a d'autres questions que je me pose:
- Comment faire l'exposition ? Ici, je crois que j'ai laissé la matricielle faire l'expo pour chaque photo.
- Courbure de champ ? Il serait aussi bon de faire une série avec la mise au point au centre, en zone des tiers et dans les coins.
- Autre idée ?

PS: Ce n'est pas moi qui ai écrit le script. Il est simplement sous licence MIT ou GPL. C'est donc un "logiciel libre", comme Linux.

arno06

#139
Février 02, 2013, 14:11:25
Citation de: sylvatica le Février 01, 2013, 21:23:17
Merci. Tu es sur que ce ne sont pas des petits décalage de mise au point ?

Sur la seconde, la table sur laquelle la cassette est posée montre que le micro Nikkor a fait le point un peu plus vers l'avant.

200-400 contre 200 f2 + multi le résultat est le même.
Proche le zoom est très supérieur au fixe doublé, a l infini le zoom se fait éclater par le fixe doublé ;-)
Des images sur le site de brad hill .....

sylvatica

#140
Février 02, 2013, 15:00:40
Citation de: arno06 le Février 02, 2013, 14:11:25
200-400 contre 200 f2 + multi le résultat est le même.
Proche le zoom est très supérieur au fixe doublé, a l infini le zoom se fait éclater par le fixe doublé ;-)
Des images sur le site de brad hill .....

Merci. C'est un superbe site.

J'imagine que la comparaison est sur la partie blog. Est-ce que tu as la date du post ?

arno06

#141
Février 02, 2013, 16:46:14
Citation de: sylvatica le Février 02, 2013, 15:00:40
Merci. C'est un superbe site.

J'imagine que la comparaison est sur la partie blog. Est-ce que tu as la date du post ?
http://www.naturalart.ca/artist/fieldtests/4waysto400.html

Jean-Claude

#142
Février 20, 2013, 17:26:34
Faut tout de même dire qu'en général les optiques photo des années 90 étaient moins bonnes que ce qui se trouve aujourd'hui sur le marché, d'où des notes qui peuvent sembler plus sévères.
Les optiques d'enfer avaient déjà 5 étoiles à l'époque.

Aujourd'hui plus personne dans le presse ne peut se permettre des dossiers archi complets et fouillés que CI faisait à l'époque pour des raisons de coûts. Alors on se rabat sur des systèmes informatisés automatiques qui crachent des notes, mais tout le monde fait ainsi.

kochka

#143
Février 20, 2013, 17:58:46
La relative "mauvaise" qualité de la pelloche par rapport aux derniers numériques, en matière de définition, rendait plus tolérant, ou ne mettait pas assez en valeurs les quelques merveilles de l'époque.
J'ai longtemps conservé les fiches depuis 1984.
J'étais très satisfait de mon 24/50 Nikon. Je l'ai monté l'année dernière "pour voir", et n'ai pas été déçu du voyage. Il a vite regagné l'armoire à souvenirs.
Lorsque l'on scanne les vieilles diapos, on est très souvent surpris du flou obtenu avec de très bons scanners.
Pareil pour mes agrandissements en N&B d'époque.
Technophile Père Siffleur

Jean-Claude

#144
Février 20, 2013, 18:16:41
Lorsque j'ai démarré mon apprentissage de photographe amateur auprès d'amateurs et de pros super compétents, ils parlaient déjà en 1971 du Nikkor 105 2,5 comme d'une petite merveille.

Faut pas non plus croire que le 105 2,5 AIS est meilleur que les meilleures optiques Nikkor actuelles.
Son énorme intérêt est une qualité quasi équivalente dans un volume et un poids ridicules, voilà pourquoi il est toujours dans mon sac light en voyage.

Le 105 AIS est exceptionnel à grande distance de map et là il va clairement au delà des possibilités du capteur de mon D3x. Pour le D800E je n'ai pas encore assez d'éléments pour vraiment dire s'il va au bout de ce capteur là

Par contre à courte distance le 105 AIS fait du focus shift assez sévère, il donne vraiment bien sur du portrait mais est par exemple inadapté à des sujet plats (reproduction de peintures).

Il faut savoir qu'il y a 40 ans les test d'optiques sur film se faisaient aussi à courte distance et sur des mires plates

Ceci explique celà  ;)

cagire

#145
Février 20, 2013, 18:29:05
Pour moi, quand j'ai débuté dans les années 70, la merveille était le F3.5 135 AI, et il le reste toujours en numérique.  ;)

ST2

#146
Février 20, 2013, 18:40:54
Citation de: cagire le Février 20, 2013, 18:29:05
Pour moi, quand j'ai débuté dans les années 70, la merveille était le F3.5 135 AI, et il le reste toujours en numérique.  ;)

+1
Je confirme pour ce 135AI f3,5. Étonnant, c'est le moins que l'on puisse dire!
Et le 200 f4 mérite que l'on s'y attarde aussi.

bitere

#147
Février 20, 2013, 18:43:20
Ah oui, je l'ai celui-ci  ;)
J'ai débuté aussi en 70  :'(
J'ai quelque part les fiches CI, qui m'ont bien servi à l'époque.
Mais je ne regrette rien... sinon l'âge  ;D

Verso92

#148
Février 20, 2013, 19:03:28
Citation de: photo63 le Février 20, 2013, 18:25:14
Donc les tests d optiques sont à prendre avec des pincettes d après ce que tu dis ... Il faudrait des tests très très poussés pour avoir LA qualité entière d une optique.
D'ailleurs à l époque les magasins phox n étaient pas entièrement d accord avec certains tests de CI.

Il ne faut pas vouloir à tout prix faire dire aux tests d'objectifs ce qu'ils ne peuvent tout simplement pas dire.
C'est une évaluation objective [sic] de certains critères dans des conditions données, ce qui n'est déjà pas si mal...

Verso92

#149
Février 20, 2013, 19:57:21
Citation de: photo63 le Février 20, 2013, 19:55:23
Oui c est sur ... Mais on prends souvent ça comme une bible non ?

(* à tord certainement )

Chacun fait comme il l'entend... la messe tous les dimanches matins, il y a longtemps que j'ai arrêté.
Imprimer
En haut Pages 1 2 3 4 5 6 7 8
Actions de l'utilisateur