Nouveau site de tests DxO

[René]

Un boitier ne se résume pas à cela c'est aussi une électronique une mécanique un viseur etc..
Regardez la différence de résultats entre les Sony et Nikon utilisant le même capteur.
Donc ces tests de capteur ont le mérite d'exister et merci à DXO de l'avoir fait mais cela ne présume pas de la valeur d'un boitier, ce n'est qu'un test parmi d'autres.
Les tests CI sur les Jpeg sont plus proche du réel car cela teste aussi le travail de l'électronique, tout le monde n'étant pas capable de traiter un raw dans  ses limites.

[muadib]

Totales absurdités, résultats en conséquences faux ( en partie ) pour notre art.

Voire des inversions totales. Je vais tout éplucher des principaux apn du marché, et je produirai qq exemples en fichier pour montrer l'absurdité de ces chiffres ( exacts ) mais sans aucun sens. Et j'ai de quoi étayer.

Le pompom total est à réserver à la colorimétrie, avec une appréciation factuelle sur des icc forcés, pour dire une couleur théorique ( 22 bits ou 23.5bits ... sic ... quand on démarre dans tous les apn sur profil sRGB en XYZ ). Mais je reviendrai dessus aussi.

A bientôt.

Qu'aucun photographe ne prenne ces chiffres bruts pour une quelquonce vérité sinon spécieuse, sauf celle de dire que la charte "truc" réagit en bien ou mal, sans rappport AUCUN avec la photographie. Hélas il faudrait des centaines de chartes sur un seul sujet pour cerner, ne serait ce qu'à 50% un jugement lisible en partie ( à sérier ). Ici on frole les 1% de conditionnement synergique à la question voulant être recouverte. Une utopie en qq sorte.

J'ai pas tout compris, mais j'attends avec impatience les fichiers qui vont montrer l'absurdité des chiffres.
Mais bon, l'intérêt d'une méthode scientifique c'est d'obtenir des résultats comparables, parce que la méthode d'analyse est reproductible. Ainsi lorsque Wilhem Research nous annonce 150 ans de conservation pour un couple papier/encre, on se doute bien que sa méthode de vieillissement accélérée n'a pas pris en compte tous les éléments qui vont intervenir dans la vie réelle pendant 150 ans, mais au moins, sur la base de ceux qu'il a su reproduire, les résultats entre les différents papiers sont comparables. De même, et même si on a réussi à définir un dispositif qui permette de tester différents boîtiers équipés de différents objectifs dans des conditions comparables, dans la mesure où les variables sont multiples (capteur/optique/logiciel de conversion embarqué Jpeg) et où elles ne peuvent pas être isolées, les résultats sont difficiles à rapprocher.
La procédure de DXO est indépendante des optiques. De ce fait on pourrait imaginer par exemple un capteur fabuleux sur un appareil qui ne délivrerait que des bouses parce que ne disposant comme objectifs que des culs de bouteille. Il faut en avoir conscience et considérer que ce test n'est qu'un des éléments qui permettent d'apprécier un appareil (avec l'ergonomie par exemple), mais tout l'intérêt de ce test, c'est justement que contrairement à tous les autres, il ne prend en compte ni l'objectif que l'on a mis devant l'appareil, ni le programme embarqué qui va convertir le raw en Jpeg dans l'appareil. Il permet de comparer des capteurs et uniquement des capteurs.
Le seul danger à terme, ce serait que les fabricants de capteur élaborent leurs capteurs en fonction des tests DXO et non de la vie réelle. Mais bon on est pas encore là, les tests viennent de sortir 

[Powerdoc]

Une mesure scientifique est impossible isolée, dans des données subjectives multiples.

Il y a deux concepts antagonistes, un dans le nombre, l'autre dans la qualité. Pour rapprocher les deux, il faudrait au moins multiplier la mesure ponctuelle, pour saisir la globalité en partie seulement ( les contours ) de l'autre face qualitative, et non plus quantifiable. Ce seul effort n'est pas présent dans ces simplications unicitaires, pour la partie quantifiable. Il aurait pu l'être, avec des armes autrement fourbies.

On est plus que loin du compte. Compte déja difficile à cerner seulement.

Au contraire, par la brutalité des résultats, et la taille des trous de la passoire ... on peut arriver à l'effet inverse.

C'est exactement ce qui se passe dans ces résultats. Les mm pieges , les mm gris pour le grain ( DP aussi ), les mm évalutions sans rappport de taille.

Totales absurdités, résultats en conséquences faux ( en partie ) pour notre art.

J'ai analysé ce matin un peu mieux les chartes de pas mal d'apn, on frise le ridicule. C'est ce que je disais, le scientisme binaire et insuffisant,  tente d'envahir le champs subjectif, avec des données qui sont sur un bout, un détail, et peuvent ignorer le sens. Avec quoi mesure t on ? demain une autre charte isolée, un résultat inverse. Inutile de dire que celui qui ne ménage pas sa luminance est ... puni par avance dans ce travail ponctuel.

Il faudra faire l'inventaire des contre productions de ce travail normatif et sans âme, faux en conclusion si souvent. Je m'y attelerai aussitot que du temps de disponible, cela tombe mal pour moi, mais je n'y manquerai pas, apres mes expos. Déjà des dizaines d'erreurs en conclusion que j'ai notées. Voire des inversions totales. Je vais tout éplucher des principaux apn du marché, et je produirai qq exemples en fichier pour montrer l'absurdité de ces chiffres ( exacts ) mais sans aucun sens. Et j'ai de quoi étayer.

Le pompom total est à réserver à la colorimétrie, avec une appréciation factuelle sur des icc forcés, pour dire une couleur théorique ( 22 bits ou 23.5bits ... sic ... quand on démarre dans tous les apn sur profil sRGB en XYZ ). Mais je reviendrai dessus aussi.

A bientôt.

Qu'aucun photographe ne prenne ces chiffres bruts pour une quelquonce vérité sinon spécieuse, sauf celle de dire que la charte "truc" réagit en bien ou mal, sans rappport AUCUN avec la photographie. Hélas il faudrait des centaines de chartes sur un seul sujet pour cerner, ne serait ce qu'à 50% un jugement lisible en partie ( à sérier ). Ici on frole les 1% de conditionnement synergique à la question voulant être recouverte. Une utopie en qq sorte.

Tout ce que tu dis est vrai, mais il en est de même pour les tests de CI. Peut être que ceux-ci sont plus pertinents, mais la même discussion pourrait s'appliquer également à ceux-ci, ou a toute autres mesures. Notons dans le cas de CI, que ces tests ont évolués (surtout les tests appréciant la qualité à haut iso) au fur et à mesure des critiques, et de la découverte de certains paradoxes, ou l'oeil contredisait les mesures (les constructeurs transformant leurs images en magnifiques aplats avaient de très bonnes notes, mais l'oeil n'était pas conquis).
Alors laissons le temps à Dxo d'évoluer et prenons ces tests pour ce qu'ils sont : des mesures de certains critères plus ou moins pertinents. Abondance de biens ne nuisant pas, chacun pourra se faire son opinion sans ameuter les foules ou déchainer les foudres.

[stingray]

 [at] Olivier-P :
Je suis partiellement d'accord avec toi, mais ces mesures ont quand même le mérite d'exister, d'avoir été faite avec le même protocole et d'être regrouper au même endroit ce qui est quand même intéressant.
Je suis par contre assez incapable d'en tirer des conclusions sur les "qualités photographiques" des appareils présentés et c'est pourquoi je ne suis pas vraiment d'accord avec la notation.
Quand je regarde les courbes que je suis capable d'analyser comme le bruit et la dynamique (je suis nul en colorimétrie), je vois par exemple des choses qui posent question :
- pourquoi les courbes SNR 100iso et 200iso des capteur aps-c Canon récents se croisent dans les BL ?
- pourquoi la dynamique du D90 "remonte" à 3200iso ?
- pourquoi la dynamique des canon baisse de beaucoup moins que 1IL par IL de sensibilité ?
- tiens mon vieux D5D à 1600iso est en fait aussi sensible qu'un D300 à 3200iso  

Bref, je trouve que c'est un outil intéressant car ça regroupe pas mal de chose, mais c'est bien sur à prendre avec des pincettes.

[peeping tom]

Moi, je suis content, je viens de changer de boitier et je passe de 45ème à 16ème... Je me sens mieux. (même si je ravale définitivement mon ambition d'être un jour 1er) 

[JMS]

Je pense que la discussion est impossible sur certains terrains comme...

"Ces testeurs fous, courbes en tête, n'ont jamais tiré de leur vie"

"on sombre dans l'ésotérisme de pacotille"

"DxO est vraiment ce qui nous est arrivé de pire depuis que l'informatique se mêle de photographie"

"totales absurdités, résultats en conséquences faux"

"site débile sans interet....toutes ces mesures sont faites par des gens qui sont pas foutu de faire la moindre photo potable..."

Le dernier intervenant a eu le privilège de voir la galerie des oeuvres du technicien du laboratoire, c'est un scoop !

Sur les observations d'Olivier P je me demande comment étaient faits les tests de films argentiques, du temps de Bernard Leblanc et du "Photographe". Si on ne prenait pas une Getrag Macbeth, les résultats changeaient peut être... Il faut se souvenir que Kodak n'était pas content de la norme ISO de granulométrie et qu'ils avaient fait la leur...rien n'empêchera un constructeur de capteur de faire pareil. De même si on photographie un tissus écossais avec un éclairage de 5500 K on n'aura peut-être pas les mêmes résultats en bruit que si on photographie ....Nessie...avec une lampe 75 watts à 2800 K !

Ceci serait donc plutôt une invitation à demander des mesures encore plus poussées, le bruit sur chaque pad de la Macbeth à 2800, 3200, 3400, 4800, 5400 K, etc...

...et ensuite à comparer certaines mesures avec tel ou tel besoin ou tel ou tel critère de chox d'appareil.

Permettez moi de citer une anecdote du début du numérique, il s'agissait de comparer avec un correspondant américain un D1 et un Kodak 760...la Rolls de l'époque, capteur aps h 1.3 de 6 Mpix...
Moi "Mais en hauts ISO, le Kodak..." (et pourtant le Nikon n'était pas flambard, mais meilleur quand même que la Superia 1600) Lui "Tu es fou, cela fait 30 ans qu'en studio je suis toujours à 64 ASA, ces numériques sont trop rapides !"

[Olivier-P]

A Doc et Stingray,

Ronan rajoute du sens, à n'importe quelle mesure, fut elle partielle ( elles le sont toutes ), et quand aux partialités, quand elles sont infimes dans un champs d'appli, on frole l'impossible. Et à force de froler on tombe. Donc non dangereux d'avoir un segment, sans 99% du reste manquant. Car ces 1% seront analysés comme totaux. Dans un ensemble non su, c'est totalement contre productif, au contraire.

Croiser en BL  ? pas vu encore ça. Des remontées en haut iso ? de toute façon chartes sur gris, ne cherchez pas d'erreur, elle est à la base. Incommentable.

[Olivier-P]

A Jms,

Oui "plus", mais rassure toi,  personne ne fera "plus". Quand on est déjà satisfait d'une partialité absconce parfois, aucune raison de remettre le couvert.

Les films ? ah mon dieu les guerres qu'il y avait. Avec une techno presque unique.

En numérique on est passé à des milliers de possiblités, presque infinies. On ne peut plus comparer. C'est vraiment ce champs libre, dans tant de formules internes, qui rend la simple charte spécieuse, quand elle était généraliste à raison sur le film.

[Olivier-P]

Je pense que la discussion est impossible sur certains terrains comme...
"totales absurdités, résultats en conséquences faux"

"

Hum la citation précise ( si cela était utile ? ) est :

Totales absurdités, résultats en conséquences faux ( en partie ) pour notre art.

[JMS]

"de toute façon chartes sur gris, ne cherchez pas d'erreur, elle est à la base. Incommentable."...

encore un style Ignace de Loyola, Olivier P !



Il m'est absolument impossible de discuter technique face à de tels arguments, Olivier, et il me semble que nous sommes dans un forum technique, donc le fait que le directeur scientifique de DxO ne sache pas se servir d'un Holga serait hors de propos puisque c'est l'argument souvent répété en faveur de l'Art (enfin, c'est moi qui rajoute la Holga, parce que je vais lui conseiller s'il veut traverser dans le futur le Salon de la Photo comme Lagerfeld, avec une escorte).

Néanmoins tu devrais aussi explorer la notation de Tonal range sur DxO Mark au lieu de penser que tout est gris dans les mesures ! Il y a là des pistes de réflexion en dehors de la norme ISO...

[jonaber]

Que tous ceux qui disent que les tests du site en question ne sont pas scientifiques nous donnent leurs critères pour définir des test scientifiques, et par la même merci de préciser si:
- les tests de CI sont scientifiques
- les tests de RP sont scientifiques
-les tests de DPreview sont scientifiques
etc....
Avez-vous entendu parler de protocole de test ? On peut certes le remettre en cause et prétendre qu'il est contestable et argumenter pour dire ce qu'il aurait fallu faire.
Et quand aux plus virulents contre les tes scientifiques qui nous parlent du rendu du moelleux du machinchose de leur appareil préférré ils n'ont pas peur du ridicule

[p.jammes]

Ce qui m'inquiète pour ma part, c'est la violence des réactions. On se croirait à un congrès du PS

[davon24]

  Ce site semble bousculer beaucoup d'egos..... Dommage que l'A700 ne soit pas encore testé!

Mais franchement, pour 98% des personnes sur ce forum, y a-t'il un seul mauvais reflex numérique (depuis 2006-2007) sur le marché? Sincèrement la qualité toutes marques confondues me subjugue!

Ce débat n'est-il pas provoqué par les différentes marques pour dire que "le mien lave + blanc que blanc"?

[Phoebe]

Ce qui m'inquiète pour ma part, c'est la violence des réactions. On se croirait à un congrès du PS

Ce qui m'inquiète pour ma part, c'est que CI ait 2 experts (Olivier et JMS) si opposés sur le sujet.
On se croirait à un congrès du PS

[nicolas-p]

Ce site semble bousculer beaucoup d'egos..... Dommage que l'A700 ne soit pas encore testé!

Mais franchement, pour 98% des personnes sur ce forum, y a-t'il un seul mauvais reflex numérique (depuis 2006-2007) sur le marché? Sincèrement la qualité toutes marques confondues me subjugue!

Ce débat n'est-il pas provoqué par les différentes marques pour dire que "le mien lave + blanc que blanc"?

oui c'est bien la l'essentiel: ils sont tous bons.
alors un peu plus ou un peu moins...

merci aux vrais scientifiques (jms...)pour leurs mesures (meme si elles sont criticables)

merci aux experts "auto proclamés ou autres" de nous arroser de leur science en nous proposant un protocole scientifique béton :

a vos plumes...

[Olivier-P]

"de toute façon chartes sur gris, ne cherchez pas d'erreur, elle est à la base. Incommentable."...

encore un style Ignace de Loyola, Olivier P !



Il m'est absolument impossible de discuter technique face à de tels arguments, Olivier, et il me semble que nous sommes dans un forum technique, donc le fait que le directeur scientifique de DxO ne sache pas se servir d'un Holga serait hors de propos puisque c'est l'argument souvent répété en faveur de l'Art (enfin, c'est moi qui rajoute la Holga, parce que je vais lui conseiller s'il veut traverser dans le futur le Salon de la Photo comme Lagerfeld, avec une escorte).

Néanmoins tu devrais aussi explorer la notation de Tonal range sur DxO Mark au lieu de penser que tout est gris dans les mesures ! Il y a là des pistes de réflexion en dehors de la norme ISO...

Non je parle uniquement de la charte des bruits analysés. 18% gris. Iso chépucombien. etc ...

C'est un choix partagé par d'autres personne que Dxo.

Mon humble avis est que ... je ne suis pas seul du tout à réfuter cette charte comme réprésentative à elle seule, sans compter qu'un apn avec une luminance éteinte passerait ce test avec une note de 19/20, et une photo Hamiltonienne. Tu dérègles l'apn, tu colles un gaussien de 3px, tu as 19/20.

Tous ces équilibres, donc bien subtils, de la photographie, n'ont strictement rien à voir avec une mesure isolée, partielle, des gris, sans y ajouter un jugument humain ( qui ne pourrait pas dire grand chose hélas, sauf que le gris est lavé ) pour pondérer.

La photographie ce n'est pas cela. Ni de prêt, ni de loin.

Le rédacteur en chef d'un grand journal de photo, était venu défendre le fait qu'on ne devait PAS analyser les apn sur zones de gris, que cela était limitatif au minimum. Devra t  il subir des foudres de la maison Dxo s'il répétait ses propos ?

La photographie ce peut être des dizaines d'informations sur un point, avant de commencer le début du début d'une conclusion. Ces scientisme nus sont déroutants, pour les novices, car ils les induisent en erreur en bonne partie, et pour l'ensemble du savoir aussi.

Tonal range et couleurs ... que veux tu que je te dise, il ne vaut mieux pas

Que le dir de Dxo se rassure, il a les moyens de se faire entendre et vendre, et 95% de ses produits sont excellents Mm si ces travaux ci sont jugés insatisfaisants par certains. La puissance commerciale c'est cela. Et cela passera sans problemes aucun. J'ai eu une menace de procès de "bien plus gros que moi" pour avoir jugé d'autres. Et très recemment. Si cela était necessaire, les moyens de faire taire ceux qui vont contre une grosse machine sont possibles.

En attendant le prochain baillon, je continue de penser et d'écrire.

[muadib]

Hum la citation précise ( si cela était utile ? ) est :

Totales absurdités, résultats en conséquences faux ( en partie ) pour notre art.

Hum, s'il y a bien un truc que je demande à un test technique sur un capteur, c'est bien de ne pas me parler d'art. L'art je pense que c'est de mon ressort (à tort ou à raison), et surtout que c'est sans relation avec une quelconque procédure de test ou les spécificités d'un matériel.

[cptcv]

Je poste deux observations de base déjà écrites en vain sur un fil Canon où la note du 50D a déchaîné les haines ! ...

Ah bon?! Je croyais que ce genre de choses étaient réservées au "K.K.Clan Oly" qui seuls sont des intégristes, fanatiques...

[Olivier-P]

Ce qui m'inquiète pour ma part, c'est que CI ait 2 experts (Olivier et JMS) si opposés sur le sujet.
On se croirait à un congrès du PS

Hé hé

Bon, sommes toutes, c'est TRES rare qu'on soit en désaccord.

"Charte de gris pour les bruits haut iso", un autre n'est pas d'accord non plus. Ronan Loaec qui critiquait ce mm genre travail en 18% gris, avec le site DP par exemple. Et peut être avec d'autres sites. C'est assez simpliste de prendre cela comme méthode. Etc ..

On peut être en désaccord, c'est la vie, à chacun d'amener des travaux pour persuader l'autre de son bien fondé.

[JMS]

"Ce qui m'inquiète pour ma part, c'est que CI ait 2 experts (Olivier et JMS) si opposés sur le sujet"...
...c'est pour cela que l'on parle de querelle d'experts ! Mais si le ton de la querelle est le même que celui d'un congrès à Reims, cela ne m'intéresse pas du tout d'y participer. Je vieillis, je n'ai plus l'ardeur polémique de mes jeunes années et j'ai autre chose à faire que de démontrer que les gens de DxO ne sont pas des fous furieux !

Enfin si on appelle à la rescousse un troisième expert (Labo CI himself) qui a une autre interprétation de la mesure de bruit (bruit sur tirage A3 avec une échelle selon les tonalités) je risque aussi d'être en désaccord: un 21 ou 24 Mpix devrait être noté en A2, pas en A3. Si on fait de l'A3 et pas plus grand on achète un 12 Mpix ! C'est vous l'aurez noté le point où je trouve que la note DxO est trop gentille avec les capteurs pleins de pixels !

[Verdi]

Ce qui m'inquiète pour ma part, c'est la violence des réactions. On se croirait à un congrès du PS

C'était prévisible. Ceux qui n'ont pas leur boitier dans le trio de tète récusent les résultats, meme si ceux-ci sont scientifique.
C'est humain comme réaction.
En quelque sorte, ils disent à DxO  "pourquoi n'avez-vous pas sorti ces résultats avant que j'achète mon boitier" !

[JMS]

Si tu as un D3 et un M8, avant d'en mettre un à la rivière, contactes moi, je peux proposer un prix très bas pour t'en débarasser avec élégance !

[vianet]

C'est le débat entre boitier généraliste et boitier spécialiste, entre polyvalence et monovalence. Forcément, il s'y mèle toute une foule d'arguments.

[Verdi]

Trop tard J.M.S., je viens de jeter le M8 au milieu du pont des arts.

De toutes façon, tu as vu tes mimines, impossible pour toi de manier la bague des diaf sans toucher à la mise au poin !

[voxpopuli]

C'était prévisible. Ceux qui n'ont pas leur boitier dans le trio de tète récusent les résultats, meme si ceux-ci sont scientifique.
C'est humain comme réaction.
En quelque sorte, ils disent à DxO  "pourquoi n'avez-vous pas sorti ces résultats avant que j'achète mon boitier" !

Ce qui compte c'est d'être au moins 1er sur un des critères. Après à chaque discussion on ramène le sujet sur le critère, et hop, ni vu ni connu, on peut se la péter grave.