Tests sur mires contre tests de terrain [Fil séparé]

Démarré par barberaz, Avril 25, 2013, 15:31:29

« précédent - suivant »

barberaz

(***) Fil séparé suite à changement de thème
Citation de: sylvatica le Avril 25, 2013, 15:06:14
Les images disponibles sur le compte Dropbox correspondent bien au centre. Sur la série de crops, j'ai volontairement légèrement décalé le "centre" car c'est très dangereux de comparer le piqué d'un 21mm et d'un 24mm sur des mêmes détails puisque ces détails n'auront pas le même rapport de reproduction.

Le but de la manip est simplement de comparer la piqué de deux objectifs avec leurs tests DxO respectifs. On voit bien que les tests sur cette cible à distance infinie ne sont pas du tout en accord avec les tests faits avec DxO.

Un test de mire et de terrain, qui plus est sur l'infini, sont souvent un peu différent, mais ce type de comparaison trouve vite sa limite à mon sens.

barberaz

Citation de: sylvatica le Avril 25, 2013, 15:50:43
C'est vrai qu'il vaut mieux tester les grand angle et les objectifs macro à 50 fois la distance focale. C'est comme cela qu'on les utilise le plus.  ;D

Personnellement je me fie plus aux tests de terrain qui traitent d'une réelle utilisation, que de tests sur mire que je ne photographie jamais.

Verso92

Citation de: sylvatica le Avril 25, 2013, 15:06:14
Le but de la manip est simplement de comparer la piqué de deux objectifs avec leurs tests DxO respectifs. On voit bien que les tests sur cette cible à distance infinie ne sont pas du tout en accord avec les tests faits avec DxO.

Oui.
C'est une chose que j'ai remarqué, aussi.

sylvatica

#3
Citation de: Verso92 le Avril 25, 2013, 20:38:20
Oui.
C'est une chose que j'ai remarqué, aussi.

La probleme est qu'il y a enormement de parametres en jeu sur les tests sur mire:

- A quelle distance de l'objectif est la mire.
- Quelle est la metrique utilisee pour definir la nettete. En gros, deux metriques sont couramment utilisees : la MTF50 et le BxU. La premiere metrique est utilisee depuis de nombreuses annees et est c'est la metrique qui est donnee par Imatest. Elle est strandardisee, et son protocole de mesure est standardise aussi (methode "slanted edge"). La metrique de DxO, le BxU est definie clairement dans un article que j'ai cite plus haut. Par contre, a priori, personne ne sait comment elle est mesuree. Si cette metrique correspondait mieux a ce que la majorite des humains appellent le pique, ce serait une meilleure mesure. Cependant, je ne crois pas que cela soit prouve quelque part.
- Comment est faite la mise au point. En general, on fait la mise au point au centre. Seulement les phenomenes de courbure de champ (tres dependants de la distance de mise au point) peuvent faire que cette mise au point differe de la mise au point faite dans la zone des tiers. Les consequences peuvent etre enormes sur certains objectifs.

J'ai de plus en plus de mal avec ces tests. Ce qui me chagrine est que tres peu de testeurs expliquent clairement ces problemes, et a part quelques articles sur slrgear, je n'ai jamais vu d'etude correcte de l'influence respective de ces differents points.
Et en tant que scientifique, la position marketing de DxO me degoute. Elle me semble du type : "On est intelligent, on a meme des medaille Fields avec nous, vous etes des truffes".

Je trouve extremement dangeureux l'influence que ces tests sur mire peuvent avoir sur les fabriquants d'optique. Si j'etais fabriquant d'optique, est-ce que j'optimiserai mes optiques pour des tests sur mire ou des prises de vue reelles. Par exemple, en fabriquant un objectif grand angle destine au paysage, est-ce que je l'optimise pour des prises de vue a l'infini ou des prises de vue a 2m ? Je n'ai aucune idee de ce qui se passe chez les fabriquants d'optique, mais il me semble evident que ces questions doivent etre soulevees.

Bref, rebellons nous.  ;D

Verso92

Citation de: sylvatica le Avril 25, 2013, 21:03:59
Je trouve extremement dangeureux l'influence que ces tests sur mire peuvent avoir sur les fabriquants d'optique. Si j'etais fabriquant d'optique, est-ce que j'optimiserai mes optiques pour des tests sur mire ou des prises de vue reelles. Par exemple, en fabriquant un objectif grand angle destine au paysage, est-ce que je l'optimise pour des prises de vue a l'infini ou des prises de vue a 2m ? Je n'ai aucune idee de ce qui se passe chez les fabriquants d'optique, mais il me semble evident que ces questions doivent etre soulevees.

C'est une question que je me suis posée, aussi.
J'ai évoqué cette hypothèse auprès d'un pote, à propos des tests DxO. Celui-ci m'a répondu que DxO était surtout connu dans un périmètre franco-français...

sylvatica

#5
Citation de: Verso92 le Avril 25, 2013, 21:36:51
J'ai évoqué cette hypothèse auprès d'un pote, à propos des tests DxO. Celui-ci m'a répondu que DxO était surtout connu dans un périmètre franco-français...

DxO est tres habile commercialement et gagne de plus en plus de testeurs. Le fait qu'Imatest possede un catalogue avec un prix officiel et que DxO ne dit rien des contrats passes avec les testeurs montre une difference fondamentale entre la politique commerciale de ces deux societes.

Pour ce que je connais :
- JMS (France)
- Chasseurs d'image (France)
- DPreview (USA)
- SLRgear (USA ?)

En ce qui concerne Imatest :
- Photozone (Allemagne)
- Mansurovs (Photography life) (USA)
- Lensrentals (USA)

De toute facon Imatest possede les memes biais que DxO : tests fait a courte distance, courbure de champ "ignoree".

MBe

Citation de: sylvatica le Avril 25, 2013, 21:03:59
La probleme est qu'il y a enormement de parametres en jeu sur les tests sur mire:

- A quelle distance de l'objectif est la mire.
- Quelle est la metrique utilisee pour definir la nettete. En gros, deux metriques sont couramment utilisees : la MTF50 et le BxU. La premiere metrique est utilisee depuis de nombreuses annees et est c'est la metrique qui est donnee par Imatest. Elle est strandardisee, et son protocole de mesure est standardise aussi (methode "slanted edge"). La metrique de DxO, le BxU est definie clairement dans un article que j'ai cite plus haut. Par contre, a priori, personne ne sait comment elle est mesuree. Si cette metrique correspondait mieux a ce que la majorite des humains appellent le pique, ce serait une meilleure mesure. Cependant, je ne crois pas que cela soit prouve quelque part.
- Comment est faite la mise au point. En general, on fait la mise au point au centre. Seulement les phenomenes de courbure de champ (tres dependants de la distance de mise au point) peuvent faire que cette mise au point differe de la mise au point faite dans la zone des tiers. Les consequences peuvent etre enormes sur certains objectifs.

J'ai de plus en plus de mal avec ces tests. Ce qui me chagrine est que tres peu de testeurs expliquent clairement ces problemes, et a part quelques articles sur slrgear, je n'ai jamais vu d'etude correcte de l'influence respective de ces differents points.
Et en tant que scientifique, la position marketing de DxO me degoute. Elle me semble du type : "On est intelligent, on a meme des medaille Fields avec nous, vous etes des truffes".

Je trouve extremement dangeureux l'influence que ces tests sur mire peuvent avoir sur les fabriquants d'optique. Si j'etais fabriquant d'optique, est-ce que j'optimiserai mes optiques pour des tests sur mire ou des prises de vue reelles. Par exemple, en fabriquant un objectif grand angle destine au paysage, est-ce que je l'optimise pour des prises de vue a l'infini ou des prises de vue a 2m ? Je n'ai aucune idee de ce qui se passe chez les fabriquants d'optique, mais il me semble evident que ces questions doivent etre soulevees.

Bref, rebellons nous.  ;D


Sylvatica,

Je me suis posé les mêmes questions que toi à propos de Dxo, de ses publications, j'ai également fait les mêmes lectures que toi pour essayer de comprendre la méthode utilisée et malgré cela, j'ai  conservé mes interrogations.

Pour moi le critère "BxU" représente plus la qualité de netteté que le pouvoir de résolution de fréquences spatiales, d'ailleurs JMS emploie (de mémoire et il me corrigera si je me trompe) le terme "piqué subjectif", ceci me semble assez éloigné de la MTF.
Quand j'ai lu (avec quelques difficultés, je le reconnais avec modestie) l'article expliquant le BxU, j'ai eu l'impression que le Bxu était décrit comme un critère de" mathématique statistique" assez éloigné de ce j'imaginais, notamment quand son auteur indique que c'est phénomène basse fréquence.
Si j'ai bien compris également, son auteur dit qu'il existe existe un lien mathématique entre le BxU et la MTF, sans plus de précision...

J'ai également constaté que les résultats présentés par Dxo ne représentaient pas vraiment mon impression sur de "vraies" photos.

Par contre, j'ai également le sentiment (et la confiance) dans les publications faites par JMS, je pense qu'il sait et qu'il a compris comment utiliser cet outil pour traduire les performances de résolution dématriceur + capteur + optiques avec la mire Dxo. Là ou je reste un peu perplexe, est quand il indique qu'il obtient de meilleure résultat de "BxU" quand il utilise un jpeg de l'APN (c'est arrivé sur un APN Canon de mémoire) qu'un fichier dématricé sans accentuation (tiff probablement) était moins bon que le Jpeg, je prends l'hypothèse que l'accentuation du Jpeg fait la "différence" mais quand on sait comment est "bidouillé" un jpeg il est normal de s'interroger...sur le BxU.

Au fait merci pour tes tests, commentaires sur le sujet.

MBe

Citation de: sylvatica le Avril 25, 2013, 21:48:42

De toute facon Imatest possede les memes biais que DxO : tests fait a courte distance, courbure de champ "ignoree".
Oui tout à fait , et j'ajouterai également la rigueur de mise en œuvre de la mesure par le testeur, mais à la base, la mesure de MTF et la méthode utilisée me satisfont beaucoup plus d'un point de vue mathématique et physique.

Dans les compte rendus des mesures de JMS, j'apprécie le volet mesure et le volet pratique illustré de photos qui permet de bien corréler mesures et images photos ;)

les 2 sont indispensables.

Lucien

Citation de: Verso92 le Avril 25, 2013, 21:36:51
C'est une question que je me suis posée, aussi.
J'ai évoqué cette hypothèse auprès d'un pote, à propos des tests DxO. Celui-ci m'a répondu que DxO était surtout connu dans un périmètre franco-français...
Ce que t'a répondu ton "pote" c'est du grand n'importe quoi!
DxO ce n'est pas seulement les mires et les tests, c'est aussi une technologie embarquée, vendue directement aux fabricants et intégrée dans les puces de pas mal d'appareils photo et d'encore plus de téléphones.
Pour les tests, c'est même le seul logiciel "solide" qui existe, Imatest étant beaucoup plus amateur.
DXO, il y a une bonne centaine d'ingénieurs qui bossent là dedans. Et une armée pareille ca ne se rémunère pas avec trois ou quatre clients "franco-francais". Je ne sais pas qui est ton pote, mais au mieux il n'y connait rien, au pire il est jaloux de ceux qui utilisent un soft auquel il n'a pas accès. N'est pas CI ou Dpreview qui veut. Alors évidemment ca fait des jaloux! Pendant qu'il y était, il aurait dû dire "franchouillard", ç'aurait fait encore plus expert comme analyse!  ;D ;D

Je pense que tu aurais intérêt à changer tes fréquentations, parce que ton "pote" te raconte n'importe quoi!  ;)
Lucien

Verso92

#9
Citation de: Lucien le Avril 25, 2013, 23:28:39
Pour les tests, c'est même le seul logiciel "solide" qui existe, Imatest étant beaucoup plus amateur.

Loin de moi la volonté de critiquer les tests et de remettre en cause leur sérieux : je suis le premier à les lire et à en tirer les enseignements... qu'ils sont aptes à délivrer. Ils ne faut tout simplement pas vouloir leur faire dire ce pour quoi ils n'ont pas été faits, c'est tout. Un objectif, c'est un compromis beaucoup plus complexe que certains voudraient essayer de nous le faire croire...
Citation de: Lucien le Avril 25, 2013, 23:28:39
DXO, il y a une bonne centaine d'ingénieurs qui bossent là dedans. Et une armée pareille ca ne se rémunère pas avec trois ou quatre clients "franco-francais".

Je me rappelle qu'il n'y a pas si longtemps, DxO recrutait justement pour se déployer à l'international, point qui semblait justement à forte croissance potentielle. Moi je dis ça, je dis rien...
D'ailleurs, il me semble que l'adoption du logiciel DxO par des revues ou sites de test non français est relativement récente...
Citation de: Lucien le Avril 25, 2013, 23:28:39
[...] au pire il est jaloux de ceux qui utilisent un soft auquel il n'a pas accès.

Si tu savais...
Citation de: Lucien le Avril 25, 2013, 23:28:39
Je pense que tu aurais intérêt à changer tes fréquentations, parce que ton "pote" te raconte n'importe quoi!  ;)

Tu sais, Lucien, l'avantage des potes, c'est qu'on les choisit... c'est pas comme la famille.

Lucien

Citation de: Verso92 le Avril 25, 2013, 23:40:29
Loin de moi la volonté de critiquer les tests et de remettre en cause leur sérieux : je suis le premier à les lire et à en tirer les enseignements... qu'ils sont aptes à délivrer. Ils ne faut tout simplement pas vouloir leur faire dire ce pour quoi ils n'ont pas été faits, c'est tout. Un objectif, c'est un compromis beaucoup plus complexe que certains voudraient essayer de nous le faire croire...


J'ai pas dit le contraire !
J'ai juste réagi à la remarque de ton pote disant que Dxo est un truc "franco français", façon comme une autre de laisser entendre que ca ne vaut pas grand chose. Sa remarque est perfide et stupide et trahit soit une grande frustration, soit une extrème méconnaissance de cette société.
Citation de: Verso92 le Avril 25, 2013, 23:40:29
Tu sais, Lucien, l'avantage des potes, c'est qu'on les choisit... c'est pas comme la famille.

C'est pour ca que je te suggérais d'en changer ... vu que tu as la chance qu'il ne soit pas de ta famille !   :D :D :D :D

Lucien

Lucien

Oh mince, tu as changé ton message pendant que je répondais. Tu fais comment, toi, pour changer un message déjà posté ?
Lucien

Verso92

#12
Citation de: Lucien le Avril 25, 2013, 23:49:07
J'ai juste réagi à la remarque de ton pote disant que Dxo est un truc "franco français", façon comme une autre de laisser entendre que ca ne vaut pas grand chose.

?!!!
Pas compris. Personnellement, je travaille dans une entreprise française, et j'en éprouve de la fierté.
Maintenant, si tu imagines, par exemple, que les ingénieurs de chez Nikon ont développé le 14-24 pour qu'il donne les meilleurs résultats possibles sur une mire DxO à 50 fois la focale, tu te fourres le doigt dans l'œil, c'est tout...
Tester un objectif à 50 fois la focale va donner des informations intéressantes sur certaines de ses caractéristiques... à 50 fois la focale !
Citation de: Lucien le Avril 25, 2013, 23:49:07
Sa remarque est perfide et stupide et trahit soit une grande frustration, soit une extrème méconnaissance de cette société.

Encore une fois, tu parles sans savoir...

Verso92

Citation de: Lucien le Avril 25, 2013, 23:50:47
Oh mince, tu as changé ton message pendant que je répondais. Tu fais comment, toi, pour changer un message déjà posté ?

Tu cliques sur le bouton "Modifier", comme tout le monde, dans la limite des dix minutes qui suivent l'upload.
(comme si tu ne le savais pas...)

Lucien

Citation de: Verso92 le Avril 25, 2013, 23:51:03
?!!!
Pas compris. Personnellement, je travaille dans une entreprise française, et j'en éprouve de la fierté.
Encore une fois, tu parles sans savoir...
C'est bien toi qui a écrit ca ?  Ou alors le forum me joue des tours :

Citation de: Verso92 le Avril 25, 2013, 21:36:51
C'est une question que je me suis posée, aussi.

J'ai évoqué cette hypothèse auprès d'un pote, à propos des tests DxO. Celui-ci m'a répondu que DxO était surtout connu dans un périmètre franco-français...

Lucien

Lucien

Citation de: Verso92 le Avril 25, 2013, 23:53:01
Tu cliques sur le bouton "Modifier", comme tout le monde, dans la limite des dix minutes qui suivent l'upload.

(comme si tu ne le savais pas...)

OK... j'avais pas vu, autant pour moi.

edit : en effet, ca marche ! Merci
Lucien

sylvatica

Citation de: Lucien le Avril 25, 2013, 23:28:39
Pour les tests, c'est même le seul logiciel "solide" qui existe, Imatest étant beaucoup plus amateur.

Et bien sur, tu as des arguments construits pour affirmer cela.  ;D

Lucien

Citation de: sylvatica le Avril 25, 2013, 23:55:55
Pour quelles raisons dis-tu ça ?


Imatest est une petite société qui vend des mires et des logiciels aux particuliers et à quelques petites firmes. DXO intervient en amont et vend son savoir faire directement à ceux qui conçoivent les puces gérant les images, dans les téléphones et les appareils photo. Ca ne joue pas du tout dans la même cour
Lucien

Lucien

#18
Citation de: sylvatica le Avril 25, 2013, 23:55:55
Pour quelles raisons dis-tu ça ?


Message changé en :

Citation de: sylvatica le Avril 25, 2013, 23:55:55
Et bien sur, tu as des arguments construits pour affirmer cela.  ;D


Bon, Verso92 et Sylvatica, vous êtes gentils, mais vous jouez à quoi?
Vous postez un message et le temps qu'on réponde, vous le changez. Résultat, on passe pour une andouille quand on met la réponse en ligne, la question ayant changée.
Désolé de vous avoir dérangés, mais je vous laisse à votre petit jeu.  :-[ :-[ :-[
edit : j'ai édité !  :D
Lucien

Verso92

Citation de: Lucien le Avril 26, 2013, 00:03:43
DXO intervient en amont et vend son savoir faire directement à ceux qui conçoivent les puces gérant les images, dans les téléphones et les appareils photo. Ca ne joue pas du tout dans la même cour

Ils ont d'ailleurs essuyé un certain nombre de déconvenues à ce sujet par rapport à leurs prévisions...

Verso92

#20
Citation de: Lucien le Avril 26, 2013, 00:05:44
Bon, Verso92 et Sylvatica, vous êtes gentils, mais vous jouez à quoi?
Vous postez un message et le temps qu'on réponde, vous le changez.

En ce qui me concerne, je les ai juste complétés et étayés, et n'en ai pas changé le sens...
Pour reformuler mon propos, si besoin était, je n'ai jamais critiqué la validité des tests ni le savoir faire de DxO. Juste qu'il ne fallait pas vouloir faire dire à ces tests, réalisés dans des conditions bien précises (et forcément réductrices, personne ne sachant faire autrement...) ce qu'ils ne pouvaient pas dire.
Enfin, penser que les opticiens conçoivent leurs objectifs dans le but ultime d'obtenir de bonnes notes à ces tests me semble pour le moins folklorique et un brin ridicule.

sylvatica

Citation de: Lucien le Avril 26, 2013, 00:03:43
Imatest est une petite société qui vend des mires et des logiciels aux particuliers et à quelques petites firmes.

Effectivement, que des tous petits : Intel, Google, Microsoft, Motorola, Nvidia, Cisco, Samsung, Sony...
Source : http://photographylife.com/interview-with-norman-koren-at-imatest

Je crois connaitre assez bien DxO et effectivement, il font bien plus que ce pour quoi ils sont connus. Savoir comment cela pese dans leur chiffre d'affaire, je n'en n'ai aucune idee. Mais laisser penser que les personnes qui travaillent chez Imatest sont des amateurs est une vaste blague.

Citation de: Lucien le Avril 26, 2013, 00:05:44
Sylvatica, vous êtes gentils, mais vous jouez à quoi? Vous postez un message et le temps qu'on réponde, vous le changez. Résultat, on passe pour une andouille quand on met la réponse en ligne, la question ayant changée.

Je ne crois pas avoir change quelque message que ce soit.

Lucien

Citation de: Verso92 le Avril 26, 2013, 00:08:31
En ce qui me concerne, je les ai juste complétés et étayés, et n'en ai pas changé le sens...

Sauf que si un message change pendant qu'on y répond, tout dialogue devient impossible et ca discrédite celui qui répond, du coup, à côté de la plaque.
Pas grave, j'ai dit ce que j'avais à dire: ton "pote" est bien méprisant en réduisant l'importance de DXO à un périmètre franco-français et puisque tu est fier de travailler toi aussi dans une société française, je pense que tu auras saisi le caractère insidieux de sa remarque, manifestement destinée à rabaisser l'intérêt des tests en question.
Mais tout ca nous éloigne du sujet de ce fil et on ne va pas se battre pour si peu  ;)
edit: en tout cas merci pour "edit", je vais m'en servir !  ;) ;) ;)
Lucien

Verso92

#23
Citation de: Lucien le Avril 26, 2013, 00:15:04
Sauf que si un message change pendant qu'on y répond, tout dialogue devient impossible et ca discrédite celui qui répond, du coup, à côté de la plaque.

Bis repetita, je n'ai jamais changé le sens de mon propos, juste complété (par d'autres phrases).
D'ailleurs, ton argument ne tient pas, car quand tu cites un propos auquel tu réponds, celui-ci sera mémorisé dans ton message. Ce qui m'a quelquefois valu quelques surprises "désagréables", certains de mes propos cités contenant des fautes d'orthographe, de syntaxe ou de frappe que j'avais corrigé entre temps en me relisant et en éditant...
Citation de: Lucien le Avril 26, 2013, 00:15:04
Pas grave, j'ai dit ce que j'avais à dire: ton "pote" est bien méprisant en réduisant l'importance de DXO à un périmètre franco-français et puisque tu est fier de travailler toi aussi dans une société française, je pense que tu auras saisi le caractère insidieux de sa remarque, manifestement destinée à rabaisser l'intérêt des tests en question.

Là, tu te fais un film : certains des marchés que nous adressons dans ma boîte sont aussi "français" (au sens large), sans que ce soit déshonorant...

sylvatica

D'apres l'interview de Norman Koren d'Imatest citee plus haut, Imatest avait 5 employes en 2012. Je n'ai pas les chiffres de DxO. J'avais entendu parler d'une quarantaine de personnes, mais je ne suis pas sur du tout.

La raison pour laquelle j'ai une preference pour Imatest en terme de test d'optique est que c'est une societe dont le patron a cree Imatest car c'etait un passionne de photos. Dans ses interviews, il parle tres facilement des limites des tests sur mire facilement. Bref, on sent la personne motivee par le tests des optiques.

DxO est beaucoup plus ferme. Ce n'est pas une societe crees par des passionnes de photos. C'est une societe qui est nee d'une entreprise qui faisait de la detection de noyade en piscine. Elle a evidemment d'excellents arguments a faire valoir en traitement du signal dans l'embarque. Par contre, le test des optiques, il est evident qu'ils s'en fichent totalement. Leurs articles sur les comparaisons d'objectifs montrent souvent qu'ils n'y connaissent pas grand chose en photo.