NEF 12 ou 14 bits ?

[Verso92]

Le seul truc que je ne comprends pas, c'est pourquoi ils laissent la possibilité d'enregistrer le NEF sans compression. Je ne vois vraiment pas l'intérêt.

Sauf erreur de ma part, c'est une possibilité qui a -logiquement- disparu de pas mal de boitiers aujourd'hui...

[Orange]

Verso et Ronan faut creuser un peu : selon le type d 'applications un algo peut être réversible et avec pertes :  par ex  un RLE est un algo réversible qui pour faire trés simple va trés bien aller sur des fax ou des images simples tout ce qui est différent d'un seuil est  raméné à 0 ou 255 pour un fax par ex . Donc dans les demi teintes il y pertes définitives. Et pourtant il est parfaitement réversible puisqu'on retrouve bien le texte sans perte !!. Selon les auteurs Le terme "sans perte"  n'est donc à ne pas prendre au pied de la lettre en terme de nb de pixels et de bits mais en terme d'information et donc à mettre en face de l'application pour laquelle il est destiné.

Le texte en tant que signifié est une info parmi d'autre. Si le signifiant a vu ses teintes modifiées, c'est que la compression à causé une perte.
Il n'y a pas de degré de valeur dans les informations. Soit l'algo enregistre tout, soit il élague certaines informations.
Les mathématiques sont parfaitement neutre et heureusement.

[sylvatica]

Sauf erreur de ma part, c'est une possibilité qui a -logiquement- disparu de pas mal de boitiers aujourd'hui...

Avec le D800, il est toujours possible d'enregistrer en NEF non compressé.

Il y a peut-etre une raison "pratique" pour laquelle ils on gardé ce mode : c'est le seul où on connait à l'avance le poids des fichiers. C'est donc le seul pour lequel le compteur du nombre de vue restante et exact.

[sylvatica]

Et ?

Il y a peut-etre des personnes qui ont besoin de savoir exactement combien de photos il reste sur la carte.

[Verso92]

Avec le D800, il est toujours possible d'enregistrer en NEF non compressé.

Il y a peut-etre une raison "pratique" pour laquelle ils on gardé ce mode : c'est le seul où on connait à l'avance le poids des fichiers. C'est donc le seul pour lequel le compteur du nombre de vue restante et exact.

Il me semble que sur le D7100, cette option n'existe plus (à confirmer).
Sinon, hônnetement, c'est un bien maigre avantage que tu nous cites là...

[sylvatica]

Sinon, en ce qui concerne la compression avec perte des Nikon, il semble qu'ils passent de 12bit (ou 14bit) a un peu moins, par exemple 9 bit pour le D70. Il y a plusieur articles intéressants la-dessus :

- http://majid.info/blog/is-the-nikon-d70-nef-raw-format-truly-lossless/
- http://regex.info/blog/photo-tech/nef-compression

Sur le D70, pour passer des 12 bits aux 9 bits, ils utilisent une courbe qui est contenue dans le NEF. Nikon peut donc changer et adapter cette courbe à chaque photo. Ils peuvent donc choisir au mieux l'utilisation de leur 9 bits. Le principe est le même sur les appareils récents. Par contre, je ne sais pas combien ils perdent de "bits".

[sylvatica]

Sinon, hônnetement, c'est un bien maigre avantage que tu nous cites là...

C'est la raison pour laquelle j'avais mis des guillemets à "pratique". J'ai vraiment du mal à voir l'intérêt sinon.

[jeanbart]

Avec le D800, il est toujours possible d'enregistrer en NEF non compressé.

Il y a peut-etre une raison "pratique" pour laquelle ils on gardé ce mode : c'est le seul où on connait à l'avance le poids des fichiers. C'est donc le seul pour lequel le compteur du nombre de vue restante et exact.

A priori la principale raison de la conservation sur les boitiers pro de l'enregistrement en mode non compressé est d'éviter aux pros de stresser inutilement en pensant qu'avec le mode compressé sans perte il y a quand même des pertes.
Là ils peuvent comparer. 
C'est un peu comme le format Tiff du boitier, on le conserve par habitude mais sont ils nombreux les photographes qui s'en servent au quotidien ?

[sylvatica]

A priori la principale raison de la conservation sur les boitiers pro de l'enregistrement en mode non compressé est d'éviter aux pros de stresser inutilement en pensant qu'avec le mode compressé sans perte il y a quand même des pertes.
Là ils peuvent comparer. 

Si c'est effectivement la raison, c'est une erreur stratégique. Le mieux serait de ne rien dire et d'appliquer la compression sans perte sans même en parler.
Personne ne vient se plaindre que Word applique une compression sans perte lorsqu'il sauve ses fichiers, tout simplement parce que Word n'en parle pas.

C'est un peu comme le format Tiff du boitier, on le conserve par habitude mais sont ils nombreux les photographes qui s'en servent au quotidien ?

Pour le format Tiff, c'est le seul format non propriétaire qui permettrait d'avoir des fichiers en 16 bit. Mais comme le D800 sauve les Tiff en 8 bits, je ne vois vraiment pas l'intérêt.

[B@R]

Si c'est effectivement la raison, c'est une erreur stratégique. Le mieux serait de ne rien dire et d'appliquer la compression sans perte sans même en parler.
Personne ne vient se plaindre que Word applique une compression sans perte lorsqu'il sauve ses fichiers, tout simplement parce que Word n'en parle pas.

Word ne peut pas se permettre la compression avec perte, car chaque information est primordiale.
L'image et le son, d'origine analogique, sont liés à nos sens et permettent de supprimer certaines informations sans conséquences "trop" visibles... ou audibles.

[Glouglou]

J'EN AI RIEN A FOUTRE DE VOTRE HISTOIRE DE COMPRESSION: LAISSEZ MON SUJET SUR LES 12 OU 14 BITS TRANQUILLE ET ALLEZ VOUS BATTRE AILLEURS 

[Verso92]

C'est un peu comme le format Tiff du boitier, on le conserve par habitude mais sont ils nombreux les photographes qui s'en servent au quotidien ?

Je m'en suis servi une fois, bien involontairement : j'avais poussé un cran au-dessus de Jpeg (je croyais donc être en RAW). Les photos avaient été prises lors d'un spectacle. Je te dis pas le boulot pour rattraper le coup...
(si encore le TIFF était "16 bits", ou au moins 14 ou 12...)

[sylvatica]

J'EN AI RIEN A FOUTRE DE VOTRE HISTOIRE DE COMPRESSION: LAISSEZ MON SUJET SUR LES 12 OU 14 BITS TRANQUILLE ET ALLEZ VOUS BATTRE AILLEURS 

La compression avec perte diminue la quantification et descend de 12 (ou 14) bits à une valeur plus basse (9 bit sur le D70). C'est donc lié et j'ai cru, surement par naiveté, que cela pourrait être intéressant. Navré d'avoir polué ton fil.

[B@R]

Il y a quelques années j'avais lu je ne sais ou que passer de 12 à 14 bits ne servait en pratique à rien ou presque.

Ayant moi même constaté la chose avec mon D300 et LR2 à l'époque j'ai toujours travaillé avec des NEF 12 bits.

Avec les progrès du matériel et des logiciels de développement des NEF que faut-il en penser aujourd'hui?

J'EN AI RIEN A FOUTRE DE VOTRE HISTOIRE DE COMPRESSION: LAISSEZ MON SUJET SUR LES 12 OU 14 BITS TRANQUILLE ET ALLEZ VOUS BATTRE AILLEURS 

Tu as raison, mais un peu seulement !

En effet, la compression (celle avec pertes) n'est pas sans conséquences sur la qualité de l'image.
Il serait peut-être intéressant de comparer un NEF 12 bits non compressé avec un NEF 14 bits compressé avec pertes.

Pas la peine de se battre ou de hurler...

[jeanbart]

J'EN AI RIEN A FOUTRE DE VOTRE HISTOIRE DE COMPRESSION: LAISSEZ MON SUJET SUR LES 12 OU 14 BITS TRANQUILLE ET ALLEZ VOUS BATTRE AILLEURS 

Pour ma part j'utilise le raw 12 bits sur tous mes boitiers.
Eventuellement j'ajouterai que j'utilise le mode compressé sans perte.  

[Verso92]

Tu as raison, mais un peu seulement !

En effet, la compression (celle avec pertes) n'est pas sans conséquences sur la qualité de l'image.
Il serait peut-être intéressant de comparer un NEF 12 bits non compressé avec un NEF 14 bits compressé avec pertes.

Pas la peine de se battre ou de hurler...

Choisir une compression ou un nombre de bits, c'est un peu la même chose, et quelquefois, même, les deux sont liés.
- Qualité max sans compromis, même si le gain est peu ou pas visible dans la vraie vie : 14 bits + compressé "sans perte".

- Besoin d'économiser la place mémoire, d'optimiser la cadence rafale (buffer), etc : 12 bits + compression "avec pertes".

[B@R]

Oui Verso.
Tu évoques les deux solutions extrêmes.
Je citais les deux médianes.

[Glouglou]

La compression avec perte diminue la quantification et descend de 12 (ou 14) bits à une valeur plus basse (9 bit sur le D70). C'est donc lié et j'ai cru, surement par naiveté, que cela pourrait être intéressant. Navré d'avoir polué ton fil.

Ah? Voilà une vrai info presque pas hors sujet.

[sylvatica]

Alors, je me permet de livrer la suite de les tests. Sur D300 et D3:
- Compressé sans perte 12 bits : 12 bits
- Compressé sans perte 14 bits : 14 bits
- Compressé avec perte 12 bits : 9.4 bits
- Compressé avec perte 14 bits : 11.4 bits
Comme la courbe qui donne la compression avec perte est dans le NEF, elle peut très bien s'adapter à l'image (par exemple pour placer les bits dans les zones sombres si elle le souhaite). Il reste à vérifier qu'ils utilisent cette possibilité.

Je regarderai ce soir les résultats avec un D800.

[sylvatica]

J'ai bidouillé un peu dcraw pour obtenir les courbes d'échantillonnage des NEFs produits par le D800. A noter que les courbes d'échantillonnage de la compression avec perte ne dépendent pas de la photo prise comme je le pensais.

On trouve donc (Les tailles en Mo sont bien sur données à titre indicatives et dépendent de la photo) :
- NEF compressé sans perte 14 bits (41Mo) : 14 bits répartis "uniformément" entre le noir et le blanc
- NEF compressé sans perte 12 bits (33,8Mo) : 12 bits répartis "uniformément" entre le noir et le blanc
- NEF compressé avec perte 14 bits (31,6Mo) : 11.6 bits répartis "intelligemment" entre le noir et le blanc
- NEF compressé avec perte 12 bits (26,7Mo) : 9.6 bits répartis "intelligemment" entre le noir et le blanc

J'ai mis en attachement les graphes générés par mon programme. En abscisse, il y a la luminosité, qui va du noir (0), au blanc (1). En ordonnée, il y a la précision de la quantification. La courbe bleue correspond au NEF compressé sans perte 14 bits. La courbe jaune correspond au NEF compressé sans perte 12 bits. La courbe violette correspond au NEF compressé avec perte 14 bits. La courbe verte correspond au NEF compressé avec perte 12 bits.

Ce qui ressort de ces courbes, c'est qu'en terme de qualité
NEF avec perte 12 bits <= NEF sans perte 12 bits <= NEF sans perte 14 bits
NEF avec perte 12 bits <= NEF avec perte 14 bits <= NEF sans perte 14 bits

Quant à savoir ce qui est le mieux entre le NEF avec perte 14 bits et le NEF sans perte 12 bits, cela dépend : Pour aller chercher du détail dans les ombres, il vaut mieux du 14 bits avec perte. Pour aller chercher du détail dans les hautes lumières, il vaut mieux du 12 bits.

[sylvatica]

Enfin, tout cela ne répond pas à la question essentielle : est-ce que cela se voit sur les photos ? 

[astrophoto]

J'ai mis en attachement les graphes générés par mon programme. En abscisse, il y a la luminosité, qui va du noir (0), au blanc (1). En ordonnée, il y a la précision de la quantification. La courbe bleue correspond au NEF compressé sans perte 14 bits. La courbe jaune correspond au NEF compressé sans perte 12 bits. La courbe violette correspond au NEF compressé avec perte 14 bits. La courbe verte correspond au NEF compressé avec perte 12 bits.

Ce qui ressort de ces courbes, c'est qu'en terme de qualité
NEF avec perte 12 bits <= NEF sans perte 12 bits <= NEF sans perte 14 bits
NEF avec perte 12 bits <= NEF avec perte 14 bits <= NEF sans perte 14 bits

Quant à savoir ce qui est le mieux entre le NEF avec perte 14 bits et le NEF sans perte 12 bits, cela dépend : Pour aller chercher du détail dans les ombres, il vaut mieux du 14 bits avec perte. Pour aller chercher du détail dans les hautes lumières, il vaut mieux du 12 bits.

Ces mesures sont intéressantes mais comme je le dis régulièrement, on ne peut tirer aucune conclusion car il manque un paramètre essentiel : le bruit.

Ca faisait longtemps que je voulais faire cette courbe, ça m'en donne l'occasion.

Avec les mesures type Dxo, on parle continuellement de dynamique capteur. Parlons un peu de dynamique image. Le graphique ci-dessous montre la dynamique réelle d'une image (ou d'une partie d'une image) en fonction du niveau de ses BL (0 c'est le noir et 1 la saturation). Il prend en compte non seulement le bruit de lecture (celui qui intervient dans la dynamique mesurée par Dxo) mais aussi le bruit de photons.

Partant du principe que la diminution du nombre de bits peut occasionner une diminution de la dynamique (par effet d'arrondi sur le dernier bit utilisé, l'erreur qui en résulte pouvant être considérée comme un bruit dont il faut tenir compte dans les calculs de dynamique), j'ai tracé les courbes pour 14, 12 et 11 bits pour un D800.



On voit très bien que s'il n'y pas de BL, on ne dépasse pas les 10 IL de dynamique réelle et les courbes sont identiques (je vous laisse conclure sur l'intérêt du 14 par rapport au 12 pour ce qui est des HL  ), et qu'il faut aller creuser dans les BL pour trouver un (léger) intérêt théorique au 14, vu le peu d'écart entre les courbes. En comparant avec la courbe donnée par sylvatica, le 14 compressé paraît tout à fait suffisant (elle est toujours au-dessus de la mienne).

Trois remarques :
- ce graphique s'applique au D800, qui est le Nikon ayant la meilleure dynamique. Sur d'autres boitiers, notamment APS-C, les courbes sont encore plus resserrées et l'intérêt du 14 encore plus infime
- tout ça n'est valable qu'à 100 iso, à 200 iso on perd entre 1/2 et 1 IL, ce qui là aussi rend l'écart entre les courbes encore plus réduit
- j'ai supposé que le convertisseur est de bonne qualité et que le dernier bit n'est pas "pourri" (auquel cas il faudrait tout décaler d'autant, mais ça ne change pas l'allure des courbes et leur écart)

[sylvatica]

Bonjour Thierry,

Je n'ai pas tout compris ce que tu dis. J'ai donc quelques questions:
- Qu'appelles-tu "Dynamique image" ? Est-ce que tu as un lien vers un site qui explique cela.
- Que signifie "BL" ?
- D'ou viennent les courbes que tu as postées ? (donnée théorique, expérimentale).

Je n'ai pas été très explicite sur ce que sont les courbes que j'ai tracées. Si tu veux savoir quelles sont les valeurs "autorisées" dans les fichiers NEFs, voici les tables que j'ai extrait avec DCRAW.

https://www.dropbox.com/s/q4bjopxdn9yhw24/D800-compression.zip

Tu remarqueras que le fichier 14_bits_uncompressed.txt, toutes les valeurs entre 0 et 2^14 - 1 sont autorisées. Dans le fichier 14_bits_compressed.txt (c'est la compression avec pertes bien sur), il n'y en a plus que 3073 (c'est pourquoi j'ai parlé de 11.6 bits car log(3073)/log(2) = 11.6). Cependant, toute les valeurs entre 0 et 449 sont autorisées et 450 est le premier "trou" engendré par la compressions avec perte sur le fichier 14 bits.

[Botticelli]

BL = basses lumières...

[astrophoto]

Je n'ai pas tout compris ce que tu dis. J'ai donc quelques questions:
- Qu'appelles-tu "Dynamique image" ? Est-ce que tu as un lien vers un site qui explique cela.
- Que signifie "BL" ?
- D'ou viennent les courbes que tu as postées ? (donnée théorique, expérimentale).

Mes courbes sont issues de calculs (très simples : additions et racines carrées) effectués à partir de mesures réelles réalisées par Dxo pour établir leurs courbes. Don c'est expérimental.

Qu'est-ce que la dynamique au sens usuel (Dxo) ? Le rapport entre la saturation (très hautes lumières à la limite du cramage) et le bruit de lecture (le bruit le plus faible possible, celui qu'on a sans lumière). C'est une des caractéristiques propres du capteur.

Par extension, on peut définir la dynamique réelle d'une photo (ou d'une portion de photo) par le rapport entre les HL et le niveau de bruit minimum, sachant que ce dernier dépend du niveau des BL.

Par exemple, le capteur du D800 a une capacité de 45000 électrons, d'où un bruit de photons dans les HL de quelque 200 électrons (la racine carrée). Avec ce chiffre on voit tout de suite que dans les HL la précision de quantification en 14 bits, qui est de 2,7 électrons sur le dernier bit, est complètement noyée dans le bruit. Même à 12 bits (11 électrons) on est encore totalement noyé dans le bruit. Il faut arriver à 8 bits (175 électrons sur le dernier bit) pour commencer à affecter les HL de l'image. Dit autrement : dans les HL la dynamique est de 8 IL environ.

Par contre, dans les BL le bruit est plus bas, par exemple à un niveau de 100 électrons (éclairement extrêmement bas) on a un bruit de photons de 10 électrons, et là on voit bien que nos 8 bits ne sont plus du tout suffisants, il en faut une douzaine. Plus les BL sont basses, plus la dynamique réelle est grande et plus il faut de bits. A la limite, pour des BL complètement noires, on retrouve la dynamique Dxo (d'ailleurs l'extrémité de ma courbe à gauche donne la même dynamique que Dxo).

C'est ce que je dis souvent : les derniers bits ne servent que pour gratter dans les BL, et passé un certain nombre de bits (qui dépend des caractéristiques du capteur) il n'y a plus rien à gagner (que la satisfaction intellectuelle d'avoir un appareil avec tout plein de bits).