NEF 12 ou 14 bits ?

[Jean-Claude]

Assez incroyable, tout le monde est testeur  mais celà sert à quoi de faire des tests qui ne sont pas en mesure de montrer des différences puis de passer des heures à les chercher, ne pas en trouver, puis décréter qu'il n'y en a pas 

Le plus difficile et long est de mettre en place en protocole de test, de l'optimisme et de le valider, c'es t ce que nous faisons tous les jours, et il y a même pas mal de gens qui nous payent très cher pour celà 

[jeanbart]

Assez incroyable, tout le monde est testeur  mais celà sert à quoi de faire des tests qui ne sont pas en mesure de montrer des différences puis de passer des heures à les chercher, ne pas en trouver, puis décréter qu'il n'y en a pas 

Le plus difficile et long est de mettre en place en protocole de test, de l'optimisme et de le valider, c'es t ce que nous faisons tous les jours, et il y a même pas mal de gens qui nous payent très cher pour celà 

Un vrai testeur labellisé et certifié iso 9000 utilise une méthode rigoureuse puis imprime une image test au format A4 et valide son test en analysant sa photo au microscope.

[Ronan]

J'étais hors ligne ces derniers jours mais je vois que Thierry est intervenu sur ce que je voulais souligner: qu'une quantification sur un nombre de bits élevés n'a d'intérêt que pour les extrêmes BL (beaucoup d'utilisateurs ignorent ce qu'est le bruit photonique... je ne saurais trop leur conseiller la lecture de l'article qu'il avait consacré aux bruits (avec un S) dans un ancien CI).

Il a aussi rappelé fort à propos que les mesures DxO de dynamique s'effectuent entre le bruit (rapport S/B de 0dB comme je l'avais souligné) et la saturation. C'est une dynamique "capteur". Dans la vraie vie, il n'y a pas grand chose d'exploitable en dessous de 20dB de rapport S/B. En pratique, on peut considérer que la "vraie" dynamique exploitable, photographique, est inférieure de 2 IL à celle mesurée, soit 12 IL pour une mesure DxO Mark de 14 IL, à la louche.

Tout cela est bel est bon.
Mais il me semble déceler désormais un gros mélange entre dynamique et compression, et l'idée implicite que la dynamique étant conservée malgré la compression avec perte, eh bien, allons-y gaiement!
Je ne me risquerais pas pour ma part à utiliser la compression avec perte pour du boulot soigné, même si cette compression ne me faisais pas perdre sur la MESURE de la dynamique, c'est-à-dire la limite HL-BL.
Rien ne dit ce qui se passe dans l'intervalle, notamment sur les conséquences éventuelles de la suppression arbitraire de valeurs de codages intermédiaires. Le risque est de perdre sur la progressivité des dégradés: entre un TIFF et un Jpeg, il n'y a pas non plus de grande différence. Mais modifiez une ou deux fois un Jpeg présentant des dégradés subtils et regardez ce qui se passe... parfois!
Compte tenu de la capacité des cartes et des DD, je ne me pose même pas la question: c'est compression sans perte, point barre. En 14 bits pour les appareils récents (D600, D800, D7000 et ses cousins) pour le boulot "fin"... Après, chacun fait comme il veut.
En revanche, en reportage, on est rarement à 100ISO. Dès que l'on monte en sensibilité, le bruit en fait autant. En reportage, on peut donc sans aucun risque repasser en "Raw 12 bits compression sans perte".

PS: dans le test de Sylvatica, je vois des différences entre "Sans perte" et "Avec pertes" et je préfère "Sans perte" qui me paraît plus nuancé, les écarts (microcontraste?) entre certains détails étant exagérés dans la version "Avec pertes".

Bonne journée à tous.
Amitiés à Thierry (que je n'appellerai plus Christian, c'est juré!
Onc'Roro

[sylvatica]

Ronan,

Est-ce que tu peux nous dire où tu vois la différence entre les deux ? (compression sans perte/compression avec perte).

[sylvatica]

D'après ce que je vois, les différences sont si mineures que les "différences" entre les deux prises de vue me semblent avoir plus d'influence. Pour faire bien, il faudrait prendre une seule photo en 14 bit sans perte, puis trouver un moyen de générer le NEF 14 bit avec perte à partir de cette photo. Est-ce que quelqu'un connait un moyen pour faire cela ?

[B@R]

entre un TIFF et un Jpeg, il n'y a pas non plus de grande différence. Mais modifiez une ou deux fois un Jpeg présentant des dégradés subtils et regardez ce qui se passe... parfois!

Tu as raison ! Les multiples compressions successives d'un JPEG peuvent être extrêmement dévastatrices. C'est aussi ce qui arrive lorsqu'on fait des photocopies de photocopies.
Mais ce n'est absolument pas applicable au RAW dont les modifications sont enregistrées "à coté" de l'image, elle-même enregistrée "dans le marbre" !

Sylvatica a fait une très intéressante expérience.
Au vu des exemples fournis, je ne vois pas de différence déterminante entre -5 IL et +3IL quel que soit le mode d'enregistrement.
Cela laisse penser que même le 12 bits compressé (avec perte) est suffisant dans une écrasante majorité des cas.

[Phil_C]

D'après ce que je vois, les différences sont si mineures que les "différences" entre les deux prises de vue me semblent avoir plus d'influence. Pour faire bien, il faudrait prendre une seule photo en 14 bit sans perte, puis trouver un moyen de générer le NEF 14 bit avec perte à partir de cette photo. Est-ce que quelqu'un connait un moyen pour faire cela ?

Oui, avec NX. Va voir le lien que j'ai cité plus haut, la méthode est décrite, assez simple à reproduire.
La différence des deux fichiers (RAW et RAW compressé sans pertes) donnant 0 (Image noire) prouve qu'ils sont identiques, et la même différence avec un RAW compressé avec pertes donne une image non noire, prouvant la non identité des deux images. http://www.chassimages.com/forum/index.php/topic,72281.msg1201673.html#msg1201673

[sylvatica]

Rien ne dit ce qui se passe dans l'intervalle, notamment sur les conséquences éventuelles de la suppression arbitraire de valeurs de codages intermédiaires. Le risque est de perdre sur la progressivité des dégradés

Comme je l'ai déjà dit, en bidouillant un derawtiseur dont le code source est disponible (Dcraw), j'ai pu voir ou se faisaient les pertes de le compression avec perte.

En 14 bits, la compression avec perte limite le nombre de valeurs possibles, 2^14 = 16384 à 3073. Il y a donc une table de compression

0 -> 0
1 -> 1
...
449 -> 449
450 -> 451
...
3071 -> 16378
3072 -> 16383

Ce que l'on observe, c'est que jusqu`à 449, la compression avec perte ne perd rien. Comme log(449)/log(2) = 8.8, on peut dire que les "9 bits qui vont servir à coder les zones les plus sombres" ne sont pas touchées par la compression avec perte. C'est donc la raison pour laquelle j'ai de gros doutes sur le caractère "visible" de la compression avec perte, même après post-traitement ultra violent.

[astrophoto]

Ce que l'on observe, c'est que jusqu`à 449, la compression avec perte ne perd rien. Comme log(449)/log(2) = 8.8, on peut dire que les "9 bits qui vont servir à coder les zones les plus sombres" ne sont pas touchées par la compression avec perte. C'est donc la raison pour laquelle j'ai de gros doutes sur le caractère "visible" de la compression avec perte, même après post-traitement ultra violent.

Je suis d'accord. Autre manière de voir les choses, qui conduit aux mêmes conclusions : le niveau 450 correspond à un remplissage du photosite de 1200 électrons (45000/16384*450), donc un bruit de photons de 35 électrons (la racine carrée) qui lui-même correspond à une douzaine de niveaux (35/45000*16384), donc un trou d'un seul niveau (le 450) ne risque pas beaucoup de se voir, noyé qu'il est dans le bruit. Dans les HL, le même calcul conduit à un bruit de 210 électrons soit 77 niveaux, bien plus également que le trou de 5 niveaux entre 16378 et 16383.

L'algorithme de compression semble quand même très peu destructeur et conçu pour que la "perte" soit noyée dans le bruit, donc invisible en pratique. Bossent pas trop mal les ingés Nikon on dirait, je crois qu'on peut leur faire confiance 

[sylvatica]

Sur le site http://home.comcast.net/~NikonD70/NikonInfo/NEF_Compression.htm, on peut voir la courbe de compression avec perte du D70 (dont le RAW était échantillonné sur 12 bits et dont la compression avec perte utilisait 683 valeurs) ainsi que ce qu'ils appellent le "CIE Lightness". Ils ont évidemment calé la courbe de compression sur cette courbe. La partie linéaire de la courbe de compression (à gauche) correspond à la zone ou aucune compression n'est faite. Le fait d'échantillonner sur 14 bits va rendre la pente encore plus forte et surement permettre d'être au dessus de la rouge.

Comme le dit astrophoto, les ingénieurs Nikon savent ce qu'ils font.

----
Here is a plot of the Unencoded (in Analog to Digital Units or ADUs) versus Encoded values for the 683 value table (the other tables are very similar). The black line on this chart indicates the Nikon 683 value table. The red line indicates the values that correspond to CIE Lightness. Clearly the Nikon encoding makes the Encoded value very much like perceptual Lightness. In other words, since the human visual system doesn't distinguish bright values as well as darker values; there is no need to keep as much precision in the highlight data.

[sylvatica]

On raconte que Richard Feynman (Un très grand physicien américain) a donné une fois la température du centre du soleil lors de l'un de ses cours : 15 millions de degrés. Un étudiant lui aurait alors demandé si ce sont des Kelvin ou des degrés Celcius. Il parrait que Feynman a été perturbé un instant par la question, mais aurait vite retrouvé ses esprits et dit à l'étudiant "Sortez !".

A priori, les débats (compressé sans perte)/(compressés avec perte) sont du même niveau.

[kochka]

Et puis il ne risquait pas d'être contredit par quelqu'un qui serait allé sur place.

[B@R]

Et encore moins par quelqu'un qui en serait revenu...

[eengel]

On avait pourtant démontré que la compression sans perte était sans perte.
http://www.chassimages.com/forum/index.php/topic,72281.msg1201673.html#msg1201673

Je ne vois pas le rapport entre mon message et ta réponse. Nikon suggère juste que les logiciels non Nikon pourraient avoir des difficultés à ouvrir les versions compressées (sans pertes) des RAW alors que les NEF non compressée le seraient plus facilement.

La raison de cette réponse est probablement 'politique' comme l'à suggéré sylvatica, la méthode de compression n'est pas publique, documentée. Certains on du acheter une licence ou un agrément auprès de Nikon,  d'autre pas (e.g. DCRAW) et ont procédés à du retro engenering. Nikon à laissé faire, mais pour ne pas avoir à supporter les problèmes qui pourraient survenir, il ne veulent pas cautionner. D'ou la réponse.

PS: la compression sans pertes est sans pertes, nous sommes bien d'accord.

[Phil_C]

Je ne vois pas le rapport entre mon message et ta réponse.

Bonjour eengel,
C'était simplement a cause de ta citation "Les images qui ne sont pas compressées sont de meilleure qualité que celles ayant subi une compression", pour la cas de la compression sans perte, la qualité reste inchangée.
Avec pertes, la perte concerne les zones les plus claires, elle est réelle, mais pour la plupart, pas bien gênante (Sauf pour les astrophotographes  )

[sylvatica]

Avec pertes, la perte concerne les zones les plus claires, elle  est réelle, mais pour la plupart, pas bien gênante (Sauf pour les astrophotographes  )

C'est justement ce qui est loin d'être prouvé.

[sylvatica]

On va résumer ce qu'on a prouvé pour l'instant, sur un D800:
- La compression sans perte ne fait perdre aucune information dans l'image.
- L'utilisation de 12 bits au lieu de 14 bits fait perdre un peu d'information dans les basses lumières. Cette perte peut se voir lors de traitements violents sur le fichier RAW.

Il reste une question intéressante : la compression avec perte fait-elle perdre de l'information ? Il est évident que des données sont perdues. La question est de savoir si il est possible de voir cela sur du 100% écran, après un post-traitement très violent. Les tests réalisés hier montraient que les écarts étaient au mieux minimes, mais comme j'avais fait une série de photos en 14 bits compressés sans perte, puis une série de photos en 14 bits compressés avec perte, il était difficile de savoir si les légères différences étaient dus à la compression ou aux légères variations de l'expérience qu'il est impossible d'éliminer totalement.
Il est inutile d'espérer voir une différence entre les deux dans les basses lumières, tout simplement parce que les ingénieurs Nikon on choisit une courbe de compression qui ne change strictement rien ici. C'est uniquement dans les hautes lumières qu'on pourrait voir une légère différence. Mais des remarques d'astrophoto semblaient dire que l'information perdue dans les hautes lumières n'était que du "bruit de mesure", et donc invisible à l'oeil nu. Restait à confirmer cela par une expérience.

J'ai donc cherché à générer deux NEFs, un compressé sans perte, un autre compressé avec perte, à partir des même informations du capteur. Nikon semble tout faire pour rendre la tâche difficile, mais j'ai fini par trouver une faille. Voici donc la méthode à utiliser:
1- Prende une photo en 14 bit compressée sans perte: photo.NEF
2- Prende une photo "noire" en 14 bit non compressée sans perte: noir.NEF. Par exemple, on peut laisser le bouchon d'objectif, ferme l'oeilleton arrière, en manuel à 1/8000s et f22. La photo résultante devrait être assez noire pour notre expérience.
3- Générer une photo en 14 bits compressés sans perte. Pour cela, on fait un Overlay des photos photo.NEF et noir.NEF. On obtient photo-14-sans-perte.NEF
4- On règle ensuite le boitier sur compression avec perte. On refait l'Overlay des photos photo.NEF et noir.NEF. On obtient une photo photo-14-avec-perte.NEF
J'ai bien vérifié avec DCRAW que le second Overlay produit bien une photo compressée avec perte. De toute façon, un examen rapide du poids du fichier confirme cela. Il ne reste plus qu'à comparer photo-14-sans-perte.NEF et photo-14-avec-perte.NEF.

Comme j'ai la preuve que la compression avec perte ne change rien dans les basses lumières, je me suis concentré sur les hautes lumières. J'ai donc pris des photos de ma cible en faisant des surexpositions allant jusqu'à +5EV. J'ai ensuite récupéré cette surexposition dans Lightroom 4.4. Comme je suis joueur, je ne vous dirai pas quelle ligne correspond à la version compressée sans perte et quelle ligne correspond à la version compressée avec perte. Si vraiment vous préférez une ligne à une autre, vous pouvez me contacter par message personnel et je vous donnerai la réponse.

La série est disponible ici : https://www.dropbox.com/s/wly14eumzu9cog7/D800-14bit-compression.png . Comme avant, ne regardez pas le jpeg en dessous. Il est juste là pour signaler que ce post contient bien une image.

Pour faire court : Sur D800, en 14 bit, la compression avec perte n'a aucun impact visuel sur la photo, même après post-traitement violent.

[sylvatica]

Bossent pas trop mal les ingés Nikon on dirait, je crois qu'on peut leur faire confiance 

Le problème, comme toujours, est que le travail des ingénieurs n'est pas mis en valeur par les personnes qui écrivent les manuels. Depuis que je sais que les manuels d'utilisation de certains logiciels scientifiques (dont une seule licence coute plus cher que ma maison) sont écrits par les stagiaires, je ne suis pas surpris. Les juristes y sont peut-être aussi pour quelque chose.

Mais si Nikon avait le courage d'appeler un chat un chat et de virer toutes ces options de "non-compression" qui ne servent à rien, l'utilisateur se sentirait bien mieux.

[Verso92]

Mais si Nikon avait le courage d'appeler un chat un chat et de virer toutes ces options de "non-compression" qui ne servent à rien, l'utilisateur se sentirait bien mieux.

Ils l'ont fait sur certains boitiers (D7100, par exemple).
Mébon, quand on lit certaines réactions sur le forum, on comprend mieux pourquoi ils n'osent pas enlever certaines options...

[sylvatica]

Ils l'ont fait sur certains boitiers (D7100, par exemple).

C'est encore trop compliqué, même sur le D7100. A leur place, je n'offrirais aucune option sur tous les boitiers de la gamme. Le RAW serait du RAW 14 bit compressé avec perte, mais comme personne ne serait au courant, cela ne poserait pas de problème.

[Tonton-Bruno]

Pour cela, on fait un Overlay des photos photo.NEF et noir.NEF. On obtient photo-14-sans-perte.NEF

Je pense qu'il doit être possible de traduire le mot anglais "overlay" par le français "superposition", et que l'opération que tu réalises est celle baptisée "Surimpression" dans le manuel du D800, page 195.

Si c'est le cas, peux-tu nous dire quels sont les paramètres de surimpression utilisés, et surtout décrire pas en pas ta procédure, car j'avoue ne pas comprendre comment tu fais.

[astrophoto]

Il a aussi rappelé fort à propos que les mesures DxO de dynamique s'effectuent entre le bruit (rapport S/B de 0dB comme je l'avais souligné) et la saturation. C'est une dynamique "capteur". Dans la vraie vie, il n'y a pas grand chose d'exploitable en dessous de 20dB de rapport S/B. En pratique, on peut considérer que la "vraie" dynamique exploitable, photographique, est inférieure de 2 IL à celle mesurée, soit 12 IL pour une mesure DxO Mark de 14 IL, à la louche.

Oui, on n'insiste jamais assez là-dessus. Le calcul de dynamique Dxo est basé sur une hypothèse de 0 dB (signal = bruit), ce qui n'est pas un problème en soi tant qu'on s'y tient pour toutes les mesures afin qu'elles restent comparables. Si la convention était par exemple de 20 dB (signal = 10x bruit), ce qui est plus conforme à la pratique photo si on veut une image pas trop "pourrie", ça décalerait juste les courbes de dynamique vers le bas d'une valeur constante (-3,3 IL pour 20 dB) mais la forme des courbes resterait la même et la hiérarchie des appareils aussi. Bien sûr, avec cette convention le nombre de bits utiles diminue, ce qui rend les débats 14/12 bits un peu plus...futiles 

Amitiés à toi.

[sylvatica]

Je pense qu'il doit être possible de traduire le mot anglais "overlay" par le français "superposition", et que l'opération que tu réalises est celle baptisée "Surimpression" dans le manuel du D800, page 195.

Si c'est le cas, peux-tu nous dire quels sont les paramètres de surimpression utilisés, et surtout décrire pas en pas ta procédure, car j'avoue ne pas comprendre comment tu fais.

Salut Tonton,

En français, c'est le mode "Superposition des images" qui est décrit à la page 350. J'utilise le gain 1.0 pour les deux images. Mais le plus important est de bien choisir la compression RAW voulue avant d'effectuer cette opération.

Il semble aussi important de regénérer une image avec compression sans perte avec cette méthode pour être sur que la seule différence est bien la compression.

[Tonton-Bruno]

Salut Tonton,

En français, c'est le mode "Superposition des images" qui est décrit à la page 350. J'utilise le gain 1.0 pour les deux images. Mais le plus important est de bien choisir la compression RAW voulue avant d'effectuer cette opération.

Il semble aussi important de regénérer une image avec compression sans perte avec cette méthode pour être sur que la seule différence est bien la compression.

Merci !

Je comprends maintenant comment tu procèdes.

[sylvatica]

Au passage, si Nikon avait la décence d'arrêter de nous balader avec toutes ces options complètement inutiles, ils pourraient aussi trouver le temps d'implémenter la fonction essentielle pour faire la meilleure exposition à droite possible : un histogramme RAW.