Nouveau site de tests DxO

Démarré par JMS, Novembre 17, 2008, 15:11:20

« précédent - suivant »

dideos

Le pb c'est qu'en jpeg on fait n'importe quoi. En fonction des parametrages, le traitement logiciel peut faire beaucoup beaucoup plus de différence que les sources de bruit imputables a l'electronique et au capteur.
Ca vous derange pas de voir des appareils qui ont moins de bruit a 3200 qu'a 1600 ?
Comment faire pour avoir les memes coefs de NR pour tous les appareils ? Et l'accentuation jpeg ? ca se paye cash sur le bruit.
Et la courbe jpeg ?? Ca vient a l'idee de personne que le bruit dépend de la pente de la courbe au point considéré ?
Je veux bien qu'on essaie de faire du reverse engineering pour faire des mesures qui veulent dire quelque chose en jpeg, mais ca devient une usine a gaz il faut retrouver les coefs de NR, d'accentuation, tenir compte de la pente. Sans oublier que ces joyeux petits bricolages dépendent du niveau.
Les mesures de bruit ca se fait en mode linéaire.

L'interet de faire des mesures en RAW c'est d'avoir un soft unique parametré de maniere identique et sur lequel on sait ce qu'on fait. Meme si les constructeurs bricolent +/- les RAW, c'a n'a rien a voir avec les variations qu'on peut obtenir avec le soft en jpeg.
L'interet des mesures CI sur le bruit c'est surtout de voir l'influence relative des parametrages sur un appareil donné. Accentuation+bruit. Mais faire des comparaisons sur des appareils différents, c'est mission impossible.  Les fameux patés de sable, c'est une tentative pour montrer l'influence relative de l'accentuation sur le bruit.... pour un niveau donné (passque les 2 dépendent du niveau d'une maniere différente).
Pfff
C'est la quadrature du cercle. Faut faire ca en RAW et pi c'est tout :)
- Admiral Benson !       - Really ? It's my name too

astrophoto

#251
Citation de: chelmimage le Novembre 25, 2008, 22:06:37
Si le capteur n'a rien à voir expliquez nous pourquoi CI fait des mesures pour chaque appareil? Dans ce cas on ne testerait jamais d'appareil, on ne ferait pas de photo, et on ferait seulement tourner le logiciel de création du jpg sur un fichier raw témoin pour voir le lissage.
"Comparaison difficiles sinon impossibles entre jpg et raw issu d'un même appareil" ? permettez moi d'en douter, dans ce cas l'un des 2 n'existerait pas car faux !
Le mot "sinon" est de trop. C'est possible ou impossible, il faut se mouiller!


je parlais des comparaisons entre appareils (marques différentes ou même marque) au niveau performances. Ce n'est pas parce que le jpeg de l'appareil A est moins bruité que celui de l'appareil B que le raw de l'appareil A est intrinsèquement moins bruité que celui de B. Les mesures de bruit sur du jpeg donnent donc une idée du résultat donné par l'appareil en jpeg, rien de moins...mais rien de plus   ;)
Comme je l'ai dit une fois, chercher à estimer la capacité/performance intrinsèque d'un appareil à partir du jpeg revient à essayer de juger la dentition d'un cheval en lui soulevant la queue. Regarder le raw, c'est comme lui faire ouvrir la bouche, et c'est quand même un peu plus fiable ;)  Après, tout dépend de ce qu'on cherche, si on ne travaille qu'en jpeg ok, mais il ne faut pas essayer de faire des déductions ou des comparaisons ensuite.

Didier on a tapé nos messages en même temps, je crois bien qu'on dit à peu près la même chose  ;)
Thierry Legault
astrophoto.fr

dideos

oui, pareil pour moi. Celui de Michel aussi je l'ai lu apres.
J'entends déja les boulets qui approchent  ;D   Oui, vous faites de l'astro, vous connaissez rien a la photo :)
Pire encore = vous etes des vilains "électroniciens"  :D :D
Je dis pas que CI fait des betises. Ils sont bien conscients de tout ca. Ils sont juste prisonniers de leur approche.... qui les oblige entre parentheses a faire des reajustements périodiques, pour s'y retrouver.
Suis sur qu'ils vont y venir, au RAW. Vous allez voir.
- Admiral Benson !       - Really ? It's my name too

chelmimage

Citation de: dideos le Novembre 25, 2008, 20:12:48
Les mesures de bruit de CI .. pas grand chose qui ait a voir avec le capteur.

Citation de: astrophoto le Novembre 25, 2008, 21:38:35
Sinon, d'où vient le bruit ? Du capteur ..
le bruit ne peut se voir que dans les très basses lumières et/ou à haut iso....

a)J'ai l'impression que vous êtes en opposition
b)Quant aux mesures dont il est question elles sont justement faites à haut iso!>>>>>Cf les conditions d'essai

Citation de: astrophoto le Novembre 25, 2008, 22:26:38
je parlais des comparaisons entre appareils (marques différentes ou même marque) au niveau performances. Ce n'est pas parce que le jpeg de l'appareil A est moins bruité que celui de l'appareil B que le raw de l'appareil A est intrinsèquement moins bruité que celui de B. Les mesures de bruit sur du jpeg donnent donc une idée du résultat donné par l'appareil en jpeg, rien de moins...mais rien de plus   ;)
C'est vrai et CI fait ces mesures avec le NR activé dans la plupart des cas, néanmoins je les crédite d'une certaine expérience pour appliquer un NR pas trop  accentué et semblable sur les divers appareils qu'ils testent..
Vous me parlez de capteurs, de raw de jpg. Moi dans cette évaluation, je considère l'appareil photo comme une boîte noire, comme la plupart des utilisateurs (encore que!).
Dideos le voit comme un appareil électronique et astrophoto comme un capteur de lumière des étoiles..
Là je démontre que lorsque CI et DXO appliquent des stimulis à l'entrée de l'appareil photo ( de la lumière!) bien qu'ils ne fassent pas les mêmes mesures, ils observent des résultats parallèles. Il y a 45 résultats de mesures, seuls 2 ou 3 ont un ordre de grandeur un peu inattendu, je l'ai écrit, et vous voudriez que ce soit seulement un hasard non significatif?
C'est d'une probabilité infime..
Très fort Dideos, je viens de lire ta réponse et c'est ce que je venais d'écrire après moult réflexion.....

vianet

c'est une évidence que toute l'information est dans le raw: ce sont les ingredients. après , on fait de la cuisine avec.
Au détail près que ton raw est un format propriétaire avec des métadonnées: pas évident de faire des comparaisons avec...
Déclenchite en rafale!

stingray

Citation de: chelmimage le Novembre 25, 2008, 23:04:12
Il y a 45 résultats de mesures, seuls 2 ou 3 ont un ordre de grandeur un peu inattendu, je l'ai écrit, et vous voudriez que ce soit seulement un hasard non significatif?
Il n'y a pas non plus les mesures "polémiques" comme celles du D3 et du 1DMkIII.
Il aurait aussi été intéressant d'avoir des mesures d'appareil à capteur identique (genre D40x, D60, D80, K10D, K200D, A100, A200) ou les mesures DxO sont très proches alors qu'il y a des différences bien plus marqués en jpg.
Et puis il n'y a pas de mesure de résolution dans le protocole DxO, ce qui tend à prouver qu'ils ont confiance dans le "non trafiquage excessif" des raw par les constructeurs  ;)

hendrix

"Sinon, d'où vient le bruit ? Du capteur ..
le bruit ne peut se voir que dans les très basses lumières et/ou à haut iso.... "

heuuuu...A mon tour d'être un peu sec! Alors pourquoi DX0 ce fait chier à proposer l'ellipsoide de la matrice de covariance du bruit dans les mesure full CS, sur des images COULEURS, pour un espace donné, et même en fonction de la luminance!
je me fais chier à lire depuis hier le site de dxo, je vous donne des liens à lire, mais puisque tout le monde crois que la science est inscrite dans les gênes et qu'elle tombe du ciel sans effort, personne n'a lu bien évidemment...

 Si vous souhaitez défendre Dx0 au moins soyez à leurs niveaux! Le bruit ne vient pas que du capteur...Dx0 le rappelle encore une fois dans ces liens! Et si vous ne l'avez pas encore remarqué comment mesurer les couleurs si on applique pas le dématriceage??? Les algorithmes de dématriceage c'est du filtrage et de l'interpolation, qui rajoutera du bruit que tu le veuilles ou non! il rajoute très souvent du bruit impulsionnelle aléatoire ou de type gaussien.

 Il est forcement pris en compte dans les mesures full CS, comment le nier!!
 
 Le bruit dont tu parles est traiter dans la partie noise...mais dans ce cas j'aurais préféré de mesures sous IRIS car on connais l'algo  ;D

 LA question est comment prendre en compte les mesures full CS avec les valeurs " noise" et pouvoir donner une note!!! L'interrogation est là...et elle est tout à fait légitime...

 

 






dideos

Citation de: chelmimage le Novembre 25, 2008, 23:04:12
a)J'ai l'impression que vous êtes en opposition
Moi je trouve qu'on dit la meme chose (j'aime bien l'allegorie du trou du c*l du cheval :))
- Admiral Benson !       - Really ? It's my name too

chelmimage

Citation de: stingray le Novembre 25, 2008, 23:25:03
Il n'y a pas non plus les mesures "polémiques" comme celles du D3 et du 1DMkIII.
Il aurait aussi été intéressant d'avoir des mesures d'appareil à capteur identique (genre D40x, D60, D80, K10D, K200D, A100, A200) ou les mesures DxO sont très proches alors qu'il y a des différences bien plus marqués en jpg.
Et puis il n'y a pas de mesure de résolution dans le protocole DxO, ce qui tend à prouver qu'ils ont confiance dans le "non trafiquage excessif" des raw par les constructeurs  ;)
Malheureusement, j'ai épuisé la totalité des appareils nouvelles mesures CI..Sinon je l'aurais fait!
Quand j'ai commencé ma reflexion, je n'avais aucune idée de ce que j'allais trouver et plus l'échantillon sera important et plus ce sera significatif donc j'attends le prochain CI avec impatience..ou le résultat du A200 chez DXO..

hendrix

#259
 Sinon chose étrange, toujours concernant les comparaisons...

On a les infos concernant la comparaison du "noise", de plusieurs capteurs ayant différents nombre de pixels...ok...super ;)
mais concernant le color depth...c'est finalement que la "color sensitivity"...je me trompe? je fait un copier coller : "The best image quality metric that correlates with color depth is color sensitivity. Color sensitivity indicates to what degree of subtlety color nuances can be distinguished from one another, often meaning a hit or a miss on a pantone palette. Maximum color sensitivity reports, in bits, the number of colors that the sensor is able to distinguish. The higher the color sensitivity, the more color nuances can be distinguished. As with dynamic range, color sensitivity is greatest when ISO speed is minimal, and falls rapidly with rising ISO settings. DxO Labs has focused on measuring only maximum color sensitivity. "

Pourtant d'après ce que je viens de dire, des comparaisons des mesures flull CS, est à mon avis extrêmement importante, et elle a un impacte fort pour le photographe. Et pourtant ce n'est ni intégré dans le color depth ou le noise ??

C'est important, amusez vous à comparer le fullCS du D3 et du 1ds mark3...le D3 semble "meilleur", si je comprend bien la chose...mais pourtant le color depth donne l'avantage au mark3...pourtant ce bruit doit être pris en compte dans le color depth!
C'est étonnant...
bref le choix des éléments important à comparer est discutable! L'effort scientifique est là...mais il me semble que pas mal de données ne sont pas comparées dans le module de comparaison simplifié...et l'origine est simple: comparer le fullCS pour,  plusieurs tailles de capteurs et de résolutions différentes, me semble pas facile !

voici ma petite conclusion pour ce soir...l'origine de vos disputes me semble ici.

Bonne nuit

cptcv

Je ne vois pas bien pourquoi ce fil se trouve déplacé dans l'espace DXO. Il ne parle pas du logiciel DXO mais d'un site de test (certes réalisé par DXO) mais qui est généraliste et peu intéresser tout le monde que l'on connaisse les logiciels DXO ou non. Il a donc parfaitement sa place dans la section reflex globale. De plus ce site ne traite aucunement d'un logiciel et par conséquent ce fil n'a aucune raison de se retrouver dans la section logiciels. Où est la logique?
D'ailleurs il aurait été posté à l'origine dans cette section je ne l'aurai pas lu ne venant jamais dans cet espace car je ne suis pas concerné par les logiciels DXO.

betamax

Citation de: cptcv le Novembre 26, 2008, 01:09:38
Je ne vois pas bien pourquoi ce fil se trouve déplacé dans l'espace DXO. Il ne parle pas du logiciel DXO mais d'un site de test (certes réalisé par DXO) mais qui est généraliste et peu intéresser tout le monde que l'on connaisse les logiciels DXO ou non. Il a donc parfaitement sa place dans la section reflex globale. De plus ce site ne traite aucunement d'un logiciel et par conséquent ce fil n'a aucune raison de se retrouver dans la section logiciels. Où est la logique?
D'ailleurs il aurait été posté à l'origine dans cette section je ne l'aurai pas lu ne venant jamais dans cet espace car je ne suis pas concerné par les logiciels DXO.

+1  :(

chelmimage

+1, avec vous, sur le déplacement..
Citation de: JMS le Novembre 17, 2008, 15:11:20
45 appareils sont comparés sur les critères de sensibilité, dynamique, bruit...à partir des fichiers RAW. Le tout donne une note globale sur 100...imaginée pour des scénarii de travail "courant".
C'était l'idée d'origine de JMS: nous informer sur une nouvelle source de données comparatives d'appareils, type Dpreview ou autre. et non mise en oeuvre du logiciel DXO par les utilisateurs. je pense que cette intention d'origine est dévoyée par cette manip.
D'autant plus que les dernieres interventions ne parlent pas que de DXO mais aussi de CI..
Le modérateur peut toujours se reprendre et faire la manip inverse...

hendrix

Citation de: hendrix le Novembre 25, 2008, 23:38:36
Et si vous ne l'avez pas encore remarqué comment mesurer les couleurs si on applique pas le dématriceage???


Petite précision, en écrivant vite j'ai fait une boulette...on peut avoir une idée de cela dans les mesures avant le dématriceage bien évidemment en regardant chaque canaux, mais je parlais bien sur des mesures full CS données dans le site! Mais bon je m'énerve un peu, car je pause quelques questions sans retour...

Concernant le déplacement il me semble injustifié...c'est une question de test de reflex numérique!

Pour chelminage: c'est pas étonnant tes résultats...pourquoi le S5 n'arriverai pas en tête de la dynamique chez Ci ou sur dX0, ainsi que le D3 au niveau bruit ou sensation de granulation en haut iso...un JPEG comporte les informations provenant du raw, il a dégradation certes, mais les caractéristiques principales ne disparaissent pas par enchantement...Ensuite pour comparer des choses qui se ressemblent,  les données brut de chaque canaux couleurs c'est effectivement mieux.

en tout cas j'attends  vos remarques sur les données fullCS....prenez votre temps, cela me semble pas simple

stingray

Citation de: hendrix le Novembre 26, 2008, 00:35:37
C'est important, amusez vous à comparer le fullCS du D3 et du 1ds mark3...le D3 semble "meilleur", si je comprend bien la chose...mais pourtant le color depth donne l'avantage au mark3...pourtant ce bruit doit être pris en compte dans le color depth!
C'est étonnant...
Je n'arrive pas au même conclusion que toi Hendrix.
Le D3 est devant le 1DsMkIII à la fois sur les mesures de fullCS et sur les courbes de "color sensitivity".

hendrix

#265
 non Stingray, on arrive aux mêmes conclusions...n'allez pas trop vite...si tu regardes effectivement les résultats pour chaque boitiers: le fullCS et le color sensitivity, on arrive aux mêmes conclusions que toi...le D3! Je te parle des résultats dans le module de comparaison entre le 1DSmark3 et le D3, il y a une valeur "color depth" qui d'après DX 0 dérive du "color sensitivity"... Alors pourquoi le 1Ds mark 3 arrive t'il en premier dans ce cas? Il manque une information!!


chelmimage


Citation de: hendrix le Novembre 26, 2008, 09:29:11
Pour chelminage: c'est pas étonnant tes résultats...
Merci de le remarquer, en effet c'est le contraire qui serait étonnant car l'utilisation d'un appareil photo n'aurait plus de sens s'il n'y avait pas filiation entre raw et jpg..

stingray

Citation de: hendrix le Novembre 26, 2008, 10:48:37
non Stingray, on arrive aux mêmes conclusions...n'allez pas trop vite...si tu regardes effectivement les résultats pour chaque boitiers: le fullCS et le color sensitivity, on arrive aux mêmes conclusions que toi...le D3! Je te parle des résultats dans le module de comparaison entre le 1DSmark3 et le D3, il y a une valeur "color depth" qui d'après DX 0 dérive du "color sensitivity"... Alors pourquoi le 1Ds mark 3 arrive t'il en premier dans ce cas? Il manque une information!!
Ah oui ça y est j'ai vu !!
Le color depth est la valeur maximal du color sensitivity, mais cette valeur max est obtenue à 100iso (en fait 73 iso) pour le 1DsMkIII et à 200 iso (162) pour le D3.
Donc le 1DsMkIII a un "color depth" plus élevé que le D3, mais pas à la même sensibilité.
Ca me conforte encore dans le fait que cette onglet "overview" est plus que trompeur et n'a pas la rigueur des mesures de DxO.


hendrix

Citation de: stingray le Novembre 26, 2008, 11:27:31
Ca me conforte encore dans le fait que cette onglet "overview" est plus que trompeur et n'a pas la rigueur des mesures de DxO.

Ben vla le problème qui semble irriter pas mal de monde...le désir de simplifier les résultats et parfois une mauvaise idée  ;D


dideos

- Admiral Benson !       - Really ? It's my name too

hendrix

j'ai trouvé mon week end...merci dideos

koala69

Je sais bien que ce sont des mesures "capteur" et qu'au final les traitements divers changeront le résultat final, mais proposer un 3200 ISO qui en fait 2300 "réels" c'est un peu limite non? ;D
Comme par hasard ce sont les capteurs les plus "démagos", donc récents, qui présentent les plus gros écarts à la baisse...
Si on considère le fait que beaucoup d'optiques sont mal à l'aise avec les résolutions des derniers capteurs APS-C, on pourrait penser que c'est vraiment durablement un format de capteur qui plafonne en perfs "globales"...bien sûr les cadences de rafales seront facilitées, les possesseurs de super-télés sont aux anges, etc...
On attend encore un super APS-C à 8 MP qui donne un VRAI 3200 ISO qualitatif, mais ça n'arrivera pas avant que le 24X36 soit très banalisé, plus lucratif de pousser les clients faire un format qui "marge" plus!
"Vous voulez vraiment de la sensiblité? Prenez donc un 24X36 si vous êtes sérieux, on écris 6400 sur nos APS mais c'est pour attraper le couillon!" :-\


Fanzizou

Citation de: JMS le Novembre 17, 2008, 16:41:22
Le D3 vainqueur...tout à fait, mais on a enfin la réponse technique sur les récup de hautes lumières du S5 avec une seule couche de photosites...la contrepartie c'est que la dynamique s'écroule aux mesures en hauts ISO, alors qu'elle reste gagnante à bas ISO.

J'ai vu cette courbe, elle confirme que le double capteur ne serait pas actif après 1000iso, ce qui ne se confirme pas quand on utilise ACR pour rattraper des hautes lumières, en pratique...

Donc je n'ai tj pas d'explications en ce qui me concerne ! Si tu peux nous éclairer davantage....

Je vois aussi que le D70 est mieux noté que le S5 en low-light-ISO, ce qui parait tout à fait étrange. Je me demande ce que regroupe cette notation low-light-ISO....

BPM92

Bonjour,
J'ai comparé ce qui n'est pas comparable : D90 - D700 - D3x
Le résultat est assez étonnant pour certaines courbes.
D3x et D90 sont similaires, à ISO identique.  ???