Nouveau site de tests DxO

[hendrix]

 Bonne question chelminage (mais non de non, sur ce coup tes graphs sont un peu trop saturés  )

tu poses plusieurs questions fondamentales qui sont à l'origine de la "guerre" et qui affirment mes suppositions de départ...toutes ces mesures disent les même choses, et pourtant vous voyez tous des différences, mais moi pas ( huum je bombe le torse, ) !

je commence par le bruit, car c'est tellement flagrant!

  "1)D90 et 5DmkII ont même note en bruit numérique CI à 1600 iso mais des granulométries assez différentes ?"
"2) Le 1DsMkIII est assez faible en bruit numérique à 1600 iso (cf Olivier-P), par contre il est plutôt bon en granulométrie et excellent en note DXO, donc copie à étudier de plus près. Car pas très satisfaisant sans analyse plus approfondie?"
4) Pour le D90 et le 5DmkII les bruits numériques CI sont identiques, et les granulométries CI assez différentes ?
5) finalement il y a une assez bonne corrélation entre bruit numérique CI à 1600 iso et note DXO. Les classements sont semblables sauf ce fichu 1DsMkIII !"

ha, ben moi cela me choque pas du tout!

Et en plus je vais vous provoquer, ils disent la même chose pour le 1ds mK3, si mes souvenirs sont bon à la lecture de CI ( relire les pâtés de sable)...Il faut comprendre une fois pour toute que c'est bien le rapport signal sur bruit qui compte! Et avec moi le bruit c'est dans le plus grand sens du terme! Une valeur de bruit seul ou d'un signal seul, cela ne voudra jamais rien dire! C'est le rapport des deux qui comptes, et donc sur ce point Dx0 gagne un point incontestable au niveau rigueur...j'ai pas dit que le procédé de mesure l'était ( j'ai pas fini de lire)...mais aux moins, tenter de faire le rapport des deux, c'est déjà cela...ensuite c'est quoi le bruit, c'est quoi le signal, là je pense que olivier, intuitivement mais de manière maladroite, a bien compris la chose. Singray, me semble t'il, je me trompe peut être, histoire de titiller, ce limite trop à la définition électronique.

Ci a décidé de séparer les deux avec leurs graphes: un piqué et un autre bruit, il faut assembler un peu les deux pour comprendre...et pour cela il y a un truc graphique qui le permet chez ci: les petits patés de sable!!! je ne regarde souvent que cela car pour moi c'est bien plus parlant(désolé souvenir de jeunesse sur la plage )...

Et concernant le 1ds mark 3 est bien ils étaient fichtrement beau il me semble...et cela rejoint un peu dxo! chose logique, puisque le 1ds mark 3, pique de la mort qui tue, même olive le dit! et il a tellement d'infos, que malgré plus de bruit, le rapport de l'info sur le bruit n'est pas mauvais...bref...ensuite est ce qu'il y aurait quelque chose dans ce bruit qui gêne olivier, suivant des situation plus complexe....c'est plutôt cela la question...car il y a 36 paramètres ensuite pour obtenir une image "naturelle", malgré la présence du bruit...et pour répondre à cela il faut savoir de quel bruit et signal on parle! et en Optique croyez moi c'est pas simple!

[chelmimage]

Bien que j'en ai parlé, pour le moment, il faut exclure le 5D des débats parce que DXO ne l'a pas testé..
J'espère qu'ils vont le faire bientôt.
D'un autre coté, les anciennes mesures CI, n'appliquaient pas la même notation, sans granulométrie et perdent un peu d'intérêt..dans ce tableau comparatif.

[hendrix]

 Et je viens de lire cela sans avoir lu lien que je donne...il faut le faire tout de même, à croire que certains ne lisent pas les liens données par JMS:

http://www.dxomark.com/index.php/eng/Insights/More-pixels-offsets-noise!  

le titre est bien : Contrary to conventional wisdom, higher resolution actually compensates for noise

ben oui, si on parle de rapport résolution sur bruit, c'est pas pareil que de parler de bruit tout court...et lisez bien ce qu'ils disent ensuite:

"Consider, for example, the Canon EOS 350D, a model released in February 2005 and a very good camera for expert amateurs, and the Canon EOS 1Ds Mark III, a more recent (August 2007) professional DSLR camera, with the largest resolution to date (21Mpix). Both sensors have the same pixel pitch (6.4µm), and measurements of SNR on the RAW images under equivalent shooting conditions give similar results: 35.25dB for the 350D, 35.05dB for the 1Ds Mark III. Of course, at the same focal length the 1Ds Mark III can see either smaller details or have a wider field of view (the sensor is full frame 36x24mm while the EOS 350D is 22.2x14.8mm). Moreover, the measurement above corresponds to 1:1 viewing conditions on a screen. Except for image retouching or examining details, this is probably not the most useful way to view the image. A fit-to-screen viewing or a print on a given-size paper format is a more likely use case. Suppose now that the images have exactly the same field of view (by changing the lens focal length) and are printed on 30x20cm paper with the same 300dpi printer. Because of the very high resolution of the 1Ds Mark III, the printer will downsample the image and decrease the noise, giving a clear advantage (about 3dB) to the 1Ds Mark III. "

c'est simple...on continue?

[Bernard2]

Et concernant le 1ds mark 3 est bien ils étaient fichtrement beau il me semble...et cela rejoint un peu dxo! chose logique, puisque le 1ds mark 3, pique de la mort qui tue, même olive le dit! et il a tellement d'infos, que malgré plus de bruit, le rapport de l'info sur le bruit n'est pas mauvais...bref...ensuite est ce qu'il y aurait quelque chose dans ce bruit qui gêne olivier, suivant des situation plus complexe....c'est plutôt cela la question...car il y a 36 paramètres ensuite pour obtenir une image "naturelle", malgré la présence du bruit...et pour répondre à cela il faut savoir de quel bruit et signal on parle! et en Optique croyez moi c'est pas simple!

Cela pourrait venir simplement du fait que la résolution optique du capteur du 1DsMKIII étant nettement plus élevée il a besoin d'un filtre passe bas plus faible et donc d'une accentuation de compensation plus modérée aussi, ce qui limite la remontée du bruit.
Et peut expliquer en partie la possibilité de monter en résolution sans augmenter proportionnellement le bruit

[stingray]

Stingray, me semble t'il, je me trompe peut être, histoire de titiller, ce limite trop à la définition électronique.

Pas de problème, tu ne titille pas. C'est en effet une définition électronique, mais comment pourrait il en être autrement ?
Le plus simple serait de retourner le problème : quel serait la procédure de test de bruit d'un capteur qui vous satisferait ? à vos crayons 

[hendrix]

juste une parenthèse, la fameuse différence de rendu entre APS-C et full frame, est en partie répondu dans ce lien :
http://www.dxomark.com/index.php/eng/Insights/SNR-evolution-over-time/SNR-and-image-quality-evolution


Si le rapport entre l'info optique et le bruit grandi, on se rapproche de l'objet et donc de son rendu...et donc c'est mieux avec une Taille de format plus grande...

[hendrix]

 revenons à nos montons.  ils ont pensé à parler de signal rapport sur bruit. Il me semble avoir dit cela il y a longtemps, rappelez vous : j'avais dit que c'était un moyen pour feignant d'avoir une idée de quelque chose de compliqué  !...c'est malheureusement un des seul moyen quantifiable ( car c'est cela le but) pour caractériser un systèmes de boite noires complexes...et l'appareil photo c'est complexe. le rapport SNR et la FTM d'une optique associé au capteur décrit absolument tout?   non, mais cela donne un bonne idée

Cela permet surtout de tester plusieurs boitiers de résolution différentes et de manière assez simple à définissant un rapport signal sur bruit de référence. pas con le lien est là:

  http://www.dxomark.com/index.php/eng/Insights/More-pixels-offsets-noise!/Comparing-the-SNR-of-cameras-with-different-resolutions

et l'explication simple est ici:

http://www.dxomark.com/index.php/eng/Insights/More-pixels-offsets-noise!/Modeling-small-pixels

  leur conclusion là:
  http://www.dxomark.com/index.php/eng/Insights/More-pixels-offsets-noise!/Conclusion

  et bien voilà tout de même quelques chose de tout  à  fait juste...

[chelmimage]

Peut être que dans la différence de bruit apparent entre "print" et "screen" on néglige un phénomène:
Il me semble avoir lu que la capacité max du champ embrassé par l'oeil était d'environ 8 Mpix.
A la distance optimale pour embrasser ce champ l'oeil perçoit le bruit "print".
Maintenant si on lui présente à cette distance la version "screen" de l'image, soit 100%, l'oeil ne peut plus l'embrasser. L'observateur se recule et dans ce cas compte tenu de la distance qui a augmentée, l'observateur ne perçoit pas le bruit "screen" mais un bruit qui finalement se rapproche à nouveau du bruit "print".
On ne voit le bruit "screen" que si on est plus proche, mais dans ce cas on ne voit plus l'image entière d'un seul coup..
JMS devrait avoir un avis la dessus??

[hendrix]

 qu'est ce que le signal qu'est ce que le bruit, ainsi que les histoires de couleurs?  voici l'autre lien à lire, mais vraiment à lire, qui défini les choses...

http://www.dxomark.com/index.php/eng/Technologies/Measurement-definitions
comme on peut le voir c'est un peu compliqué en optique....mais croyez moi cela marche mieux que les lois de la finance  ...sinon on ne c'est toujours pas pourquoi la lumière existe, je vous rassure....

heuuu je sais pas mais il me semble rien voir de complètement faux la dedant...je vais relire encore et écrire des choses pour voir...

[chelmimage]

Et si vous avez un échantillon de photo du type "presque gris neutre", de luminance homogène, de votre appareil super pro , dont vous êtes curieux de connaître la valeur du bruit chromatique, envoyez ici un petit crop 200X200 max pour que la compression jpg même en qualité max n'écrase pas le bruit..Une petite dominante colorée ne perturbe pas trop l'estimation..On comparera avec DXO!!

[fred134]

Je viens de voir que le site DXO présente deux types de mesures :
1- Les mesures simplifiées, qui apparaissent quand on fait une comparaison d'APN.
2- Les mesures "enrichies", qui apparaissent quand on sélectionne 1 APN dans la "database".

1 : mesures "synthétiques" mais trompeuses (+1000 avec les remarques d'Olivier_P, la répétabilité c'est bien, l'adéquation avec la réalité que l'on veut mesurer c'est mieux)
2 : beaucoup plus de matière
   - onglet "full SNR" qui donne les valeurs de bruit pour toutes les valeurs de gris (cocher "logarithmic" pour que ça devienne intéressant); on peut donc comparer le bruit sur des gris à 1% par exemple.
   - onglet "color response", qui intéressera peut-être les spécialistes :-)
   - onglet "full CS" intéressant si on sélectionne un éclairage tungstène dans les hautes sensibilités et faible luminance. On a un graphe des erreurs de chrominance, qui doit donc être très proche du bruit. Je n'ai pas tout compris, mais les ellipses semblent indiquer le bruit de chroma (le max est sur la saturation des oranges, donc sur le canal bleu). Je laisse les spécialistes confirmer ou non.

A partir de ces onglets supplémentaires, les infos DXO recoupent beaucoup plus le "sens commun" :
- 1DIII nettement meilleur que 1DSIII en haute sensibilité (à 100% écran)
- D700 avec quasiment 2 diaphs de mieux que D300 (et 1 diaph que 5D)
- 20D très bon en raw (50D correct, mais mauvais sur la partie "chroma")
- ... je vous laisse regarder

Cordialement,

Frédéric

[hendrix]

 les précédent liens disent une chose très importante et qui aurrait du faire tilt à tous!!!! Puisque c'est compliqué ils ont séparé deux mesures pour donner une idée du bruit...lorsqu'il parle de "noise", il ne prennent pas en compte l'origine du tout le bruit!

ils le disent eux même:

Noise itself is characterized by several values, among which are Standard Deviation and Signal-to-Noise Ratio. Other measures are derived from these—i.e., Dynamic Range, Tonal Range, and Color Sensitivity. (Other aspects of interest include noise granulation and coloration, which will be discussed separately on this site.)


donc il faut lire les résultats du noise qui se calcule ici:
http://www.dxomark.com/index.php/eng/Technologies/Measurement-definitions/Noise

et qu'ils mesurent là:

http://www.dxomark.com/index.php/eng/Technologies/Testing-protocols/Noise-protocol
 

MAIS ATTENTION il faut lire aussi les résultats des couleurs pour avoir une vision complète. C'est écrit dans cette page:
http://www.dxomark.com/index.php/eng/Technologies/Measurement-definitions/Color-measurements

et la mesure est là:
http://www.dxomark.com/index.php/eng/Technologies/Testing-protocols/Color-Sensitivity-protocol ( pas trop complet)
Bref, encore une fois, c'est l'ensemble des mesures qu'il faut voir...cela complique bien le graphe de chelminage...c'est bien difficile n'est ce pas...donc le couleur range lui aussi décrit le niveau de bruit: Color sensitivity is an extension of tonal range that takes into account the color rendering involved in raw conversion: it basically indicates how many colors are distinguishable in an image, up to noise. 

c'est aussi les ellipses qui indique en gros  le bruit de chroma

encore une fois, tout le monde a un peu raison! Cela montre que c'est très compliqué de lire simplement leurs mesures!!!! Il faut y passer du temps les gars! Comment pouvais vous soit les cracher, soit les trouver bonne en trois clics!

[hendrix]

Je n'ai pas tout compris, mais les ellipses semblent indiquer le bruit de chroma (le max est sur la saturation des oranges, donc sur le canal bleu).

l"explication:
The noise on the three color channels is described by a three-dimensional covariance matrix, which is not easy to represent. In the full color sensitivity tab, we chose to illustrate the noise in the (a,b) plane of the CIE Lab color space. For different values of luminance and different ISO sensitivities, the noise at given colors is represented by an ellipse which shows the colors that are likely to be generated in the image instead of the real color (standing at the ellipse center). The orientation and the size of the ellipses show the coloration of noise and its amplitude.

ils le disent eux même, ce n'est pas facile de représenter la chose!

[fred134]

Nos posts se sont croisés :-)

Attention cependant sur la notion de "la résolution compense le bruit" : leur article suppose que le débruitage est fait pendant le dématriçage, et en fonction du format de sortie.

[hendrix]

     L'influence de l'optique?

    L'optique ne rajoute t'elle pas de bruit? l'optique n'augmente t'elle pas le signal? et dans quelle fréquence spatiale?

    La FTM permet un peu d'imaginer la chose, et donc l'influence...et donc on a tous intérêt de tester le rapport S/B justement, et non le piqué et le bruit séparément!!! Mais si on choisi cela, on le fait comme JMS avec 250 optiques  !!!! c'est une autre façon de voir...

   Vla pour ce soir...

   

   

[JMS]

"JMS devrait avoir un avis la dessus"...

et même plus qu'un, mais JMS est revenu fatigué de Montier (l'haltérophilie, n'est ce pas...) et il ne peut pas comme certains pondre 15 pages de suite pour commenter deux évidences:

1) DxO explique complétement sa procédure, mais en anglais, et je les ai déjà prévenus qu'il vaudrait mieux ne pas mettre que de l'anglais technique truffé d'équations ... patience, je vais faire un article sur Pictchallenge et en français !

2) comme pour le piqué, la taille retenue pour le bruit part de la norme Kodak consistant à dire que si on regarde un A1 à distance de la diagonale de son format on ne peut pas voir plus de détail - ni plus de bruit - que si on regarde un A4 à la diagonale de son format, parce que si le sujet s'éloigne du tirage il ne peut plus voir les détails...ni le bruit gênant !

Selon cette norme, il suffit de 6 à 8 Mpix -Kodak dit 6, DxO dit 8- pour couvrir n'importe quel format d'agrandissement.

Sauf que, tout le monde regarde les tirages de tout près...vérification facile ce week end à Montiers, personne ne se reculait d'un mètre cinquante pour les lapins de Remy, d'ailleurs il n'y avait pas la place !

D'où le fait que le client moderne demande d'être plus pinailleur sur les tests, et les notes "screen" correspondent à vision plus proche du fichier de base ! 

[hendrix]

""1 : mesures "synthétiques" mais trompeuses (+1000 avec les remarques d'Olivier_P, la répétabilité c'est bien, l'adéquation avec la réalité que l'on veut mesurer c'est mieux)
2 : beaucoup plus de matière""

je pense que tu as effectivement raison...pourquoi le 1 serait faux si on prend la peine de comprendre le 2...je pense que non....mais le commun des mortel ira voir le 1, et son classement...certains diront que 48,89 et franchement mieux que 48,69...d'autre vont trouver cela grotesque et ils auront bien raison!!!!

  Je pense que c'est là la principale erreur.... et moi cela m'énerve car il y a derrière du beau travail...

[vianet]

Le postulat de base effectivement, c'est de savoir à quelle distance d'observation on se place par rapport aux photos , appelons les des oeuvres d'art en exposition, et si 8 mps suffisent! On voit le même problème pour les écrans plats HD  dont les dimensions grandissent mais pas la taille des logements dans lesquels les écrans précités délivrent leurs images.
alors on regarde une oeuvre d'art le nez dessus ou avec un recul suffisant selon vous parce qu'effectivement, ça change la base de calcul et tout ce qui s'ensuit.

[JMS]

Pour revenir à Kodak et à son influence dans les normes (dans les années 1970 les normes ISO photos étaient écrites à Rochester !) une anecdote toujours présente sur les grains des films: il existait (il existe sans doute toujours) une norme sur la granularité des films argentiques mais les journaux publient des mesures selon qu'ils prennent les infos des films communiqués par Fuji ou Kodak (voir les essais dans "Le Photographe").
Pour les premiers on compte la taille du grain sur le film. Pour les seconds on prend un panel de gens qui regardent le tirage à distance normale d'observation et on change de grade de grain "plus fin" "moins fin" selon que la majorité du panel voit une différence.

Seulement comme cette terrible querelle a eu lieu avant le web presque personne ne s'en est aperçu.

[chelmimage]

Commentaires sur mes courbes, peut être un peu ésotériques pour certains !
Les graphiques comparent 3 types de données :
-La note de bruit numérique CI, apparemment c'est une note comprise entre 0 et 10 qui est faite de l'addition de 3 sous notes, mais on ignore la façon dont ces sous-notes sont calculées.
-La note de granulation visuelle ramenée à un tirage A3. Celle ci est établie pour la sensibilité de 1600 iso.  On ignore également comment elle est établie.
-des valeurs d'iso calculées par DXO.
J'ai pondéré les 2 dernières par des coefficients arbitraires et différents pour rester dans les limites d'une note comprise entre 0 et 10.

Mesures CI
J'ai donc placé cote à côte les valeurs de bruit CI 1600 iso et les valeurs de granulation visuelle. Comme ce sont des grandeurs qui n'ont pas la même dimension on ne peut pas comparer les valeurs absolues mais seulement leurs valeurs relatives c'est à dire l'ordre de classement des appareils..
Le résultat brut est parlant. Il n'y a pas de correspondance directe dans l'ordre du résultat du bruit numérique à 1600 iso et du grain en A3.
Mais, le grain numérique mesuré sur du A3 doit dépendre en fait du nb de Mpix du capteur. Donc, je fais la tentative de pondérer cette valeur de grain par le nb de Mpix du capteur. J'obtiens un nouveau classement et là, satisfaction, ce grain calculé qui doit correspondre au grain brut 100% me donne un classement des appareils identique à celui obtenu par le bruit numérique à 1600 iso sauf pour le A900. C'est extrêmement significatif parce que ça indique la forte  corrélation entre les 2 mesures. On aurait pu s'y attendre direz vous ! Mais le vérifier est mieux pour l'esprit.. 
Pour le A900 je ne sais pas ?  probablement une difficulté de mesure ou une variabilité dans les paramètres ?..
Mais globalement c'est plus que satisfaisant.

Mesures  DXO..
Les valeurs DXO sont exprimées en valeurs d'iso. Une fois de plus, ces unités sont sans rapport avec les précédentes de CI.. Mais si on rapproche les classements établis par CI sur l'impression A3 et DXO sur de l'impression A4 on voit qu'ils sont relativement similaires.
Même observation sur les classements CI grain brut et DXO screen. On peut seulement noter un  écart pour le K20D et le D60 mais ce sont des mesures de nature complètement différentes, dans des lieux et des opérateurs différents. Peut être qu 'en approfondissant on pourrait trouver une cause, qui pourrait déjà résider dans l'activation ou non du NR  et de so niveau! ; ; ;mais c'est déjà pas mal comme ça !

On peut conclure en disant que les mesures DXO et CI se confirment l'une l'autre et chose importante ces valeurs mesurées ont un impact visible sur le résultat....
Voici le graphique enrichi d'une valeur.. « grain brut »
D'autres questions?

[chelmimage]

Donc CI utilise DXO 

Tout ça pour ça. Eh oui! c'est même CI qui le dit!
j'aurais pu m'épargner mais je suis un peu comme St Thomas!

[dideos]

Les mesures de bruit de CI mesurent surtout le niveau de la reduction de bruit SW en jpeg  .......  et pas grand chose qui ait a voir avec le capteur.
Elles n'ont rien a voir avec les mesures de DXO non plus meme si certains resultats peuvent converger.

[chelmimage]

Les mesures de bruit de CI mesurent surtout le niveau de la reduction de bruit SW en jpeg  .......  et pas grand chose qui ait a voir avec le capteur.

Quand on réduit le bruit c'est qu'il y en avait avant et qu'il en reste après .
Et d'où vient ce bruit sinon en grande partie du capteur..
D'ailleurs DXO mesure le bruit sur un raw boîtier qui n'aurait rien à voir avec le capteur, c'est de la génération spontanée?Le jpg aussi?
Si tu as quelques instants pour me clarifier toutes ces notions...

[astrophoto]

Quand on réduit le bruit c'est qu'il y en avait avant et qu'il en reste après .
Et d'où vient ce bruit sinon en grande partie du capteur..
D'ailleurs DXO mesure le bruit sur un raw boîtier qui n'aurait rien à voir avec le capteur, c'est de la génération spontanée?Le jpg aussi?
Si tu as quelques instants pour me clarifier toutes ces notions...

je suis d'accord avec Didier, la mesure de bruit sur un jpeg est surtout représentative du lissage en jpeg et non des performances du capteur, les comparaisons sont donc bien plus difficiles sinon impossibles. Mais il faut que les raw ne subissent pas de lissage non plus, sinon ça fausse tout !

Sinon, d'où vient le bruit ? Du capteur et de l'électronique associée, bien sûr, mais on a atteint de telles performances que ce bruit ne peut se voir que dans les très basses lumières et/ou à haut iso. Le bruit qu'on voit sur les moyennes et hautes lumières, un ciel bleu granuleux par exemple, c'est du bruit de photons : la lumière est bruitée, les photons arrivent de manière désordonnée comme des gouttes de pluie sur le sol. C'est une limite physique et c'est pour ça que même un appareil "parfait", sans aucun bruit d'origine interne, donnerait quand même des images (plus ou moins) bruitées      Plus il y a de photons, plus il y a de bruit, mais heureusement le rapport signal/bruit s'améliore. C'est d'ailleurs le bruit élevé (en valeur absolue) dans les hautes lumières qui rend une quantification en 14 bits (ou même en 12 bits avec les appareils actuels) inutile pour les hautes lumières, la finesse de quantification étant noyée dans ce bruit de photons.

[chelmimage]

je suis d'accord avec Didier, la mesure de bruit sur un jpeg est surtout représentative du lissage en jpeg et non des performances du capteur, les comparaisons sont donc bien plus difficiles sinon impossibles.

Si le capteur n'a rien à voir expliquez nous pourquoi CI fait des mesures pour chaque appareil? Dans ce cas on ne testerait jamais d'appareil, on ne ferait pas de photo, et on ferait seulement tourner le logiciel de création du jpg sur un fichier raw témoin pour voir le lissage.
"Comparaison difficiles sinon impossibles entre jpg et raw issu d'un même appareil" ? permettez moi d'en douter, dans ce cas l'un des 2 n'existerait pas car faux !
Le mot "sinon" est de trop. C'est possible ou impossible, il faut se mouiller!