DNG - méthode de compression

Franck_B · Février 15, 2014, 12:19:52

Bonjour à tous,

je débute en Leica avec le M 240.
Je me pose des questions...
En voici une sur la compression DNG.

Deux modes de DNG existent, l'un non compressé l'autre compressé.
Dans le manuel, il est indiqué que la compression est non destructive et plus rapide...

Connaissez vous la méthode de compression du DNG ?
Est-ce une caractéristique native du DNG de supporter une compression des données (un zip) ?

Quelle méthode utilisée ?

Merci par avance

Franck

Benaparis · Février 15, 2014, 14:28:05

Je ne connais pas la méthode de compression du DNG chez Leica, ce que je sais c'est que de toute evidence passer par le DNG compressé n'a que des avantages par rapport au DNG non compressé sans compter qu'effectivement après comparaisons je n'ai pas noté la moindre dégradation de qualité.

One way · Février 15, 2014, 14:34:15

Je ne suis pas équpé en Leica mais j'utilise le format DNG.
Voici un petit résumé de ce format en espérant etre compréhensible:
Le format de fichier DNG tire son nom de l'idée d'un négatif numérique. Il s'agit d'un format de fichier approprié pour le stockage de l'information numérique Camera Raw. Il a été développé par Adobe comme une structure de fichier normalisé pour les différents types d'informations qui vivent à l'intérieur d'un fichier image.
En plus d'uniformiser la structure des informations de base, DNG assure le stockage d'autres types de données qui sont utiles dans l'édition d'image paramétrique. Cela inclut les instructions de traitement, les métadonnées d'image, des outils de vérification, les profils de couleur et plus encore.

Alors que certaines caméras ont adopté le format DNG comme format in-camera raw, il est également possible de convertir des fichiers au format DNG à un stade ultérieur dans le workflow. Une grande partie de la discussion sur cette page présentera les caractéristiques et les flux de travail associés à un DNG converti à partir d'un fichier RAW propriétaire.
DNG fournit un outil de workflow très robuste et utile pour les logiciels d'imagerie moderne, en particulier pour l'imagerie de fichiers d'appareils photo numériques brutes.

Trois types de fichiers DNG :
Il ya, en gros, trois types de fichiers DNG, à huis clos, converti DNG, cru et transformé DNG linéaire.

Certains fabricants d'appareils photo ont adopté le format DNG comme format propre caméra cru. Lorsque vous prenez un fichier brut avec un Leica M9, il sera DNG. Le K5 Pentax offre la possibilité de prise de vue en raw DNG ou PEF premières.

DNG converties brut - Lorsque vous faites une DNG à partir d'un fichier brut, vous avez généralement la possibilité d'enregistrer les données d'image brutes d'origine tel quel, dans toute sa crudité. Ces fichiers ont toutes les informations d'image que la caméra a écrit dans le fichier brut d'origine. Il ya un capteur de la caméra qui n'est pas pris en charge comme DNG converties brut, et c'est le capteur Foveon utilisé dans les caméras Sigma. Il s'agit d'un type fondamentalement différent des données brutes que appareils photo reflex autre utilisation. Pour enregistrer un fichier raw Foveon comme DNG, le fichier doit être enregistré en tant que DNG linéaire.

Converti DNG linéaire - Il est également possible d'enregistrer un DNG avec certains des traités sur la crudité du fichier. C'est ce qu'on appelle un DNG linéaire. Ceux-ci peuvent être utiles pour une meilleure compatibilité. Il est également possible de convertir un fichier JPEG ou TIFF au format DNG, et qui va produire un fichier DNG linéaire. DXO par exemple exporte en DNG linèaire.

Première comparaison au format DNG
Afin de comprendre DNG, il est utile de le comparer à un fichier Camera Raw. Il ya quelques similitudes, et un certain nombre de différences importantes. Les articles ci-dessous comparer et contraster une première propriété et un DNG converti, cru.
Similitudes

Voici les moyens que les fichiers Camera Raw et DNG se ressemblent.
TIFF / EP format - Les fichiers Camera Raw sont généralement un peu de saveur du format TIFF / EP, qui est un type de fichier TIFF qui est spécifiquement conçu pour "photographie électronique." Ainsi, la structure de fichiers de base est le même.
Peut stocker une image brute - Les deux premières DNG et peut stocker les données d'image brutes que votre appareil photo produit.
Peut stocker un aperçu JPEG - RAW et DNG peut stocker une version en couleur JPEG de votre fichier brut. Cela rend l'image facile de prévisualisation. C'est ce que vous voyez à l'arrière de votre appareil lorsque vous photographiez brut.

Peut stocker les métadonnées - Raw et DNG peuvent chacun stocker les métadonnées. Cela inclut les caméras d'information (EXIF) des données des appareils photo numériques utilisent pour décrire l'image. Dans les deux cas, cela peut inclure des informations confidentielles que le fabricant de l'appareil choisit à chiffrer.
Différences

Il existe des différences très importantes entre Raw et DNG, cependant.
DNG est une spécification publiée - Alors que les deux premières et DNG sont semblables dans leur structure, ne DNG est une spécification de fichier bien documentées et publiées. Cette structure permet DNG ouvertement documentés pour être manipulé par un logiciel tiers en toute sécurité. La plupart des fichiers Raw propriétaires sont en situation irrégulière, ce qui signifie que tout logiciel qui modifie un fichier peut casser quelque chose sans le savoir.
La spécification DNG a des versions - Comme la technologie d'imagerie progresse, de nouvelles fonctions logicielles peuvent devenir incompatibles avec les anciens logiciels. DNG a prévu cela, et utilise des balises de compatibilité de version pour les aider à gérer le processus.

DNG peut stocker les métadonnées presque illimitée - Il est possible de stocker n'importe quel type de métadonnées dans un fichier DNG, et de stocker autant de lui que vous le souhaitez. Cela rend plus facile de marquer vos images pour le sujet ainsi que des renseignements sur la propriété et de licence, ainsi que d'autres informations utiles.
DNG permet la fixation des instructions de traitement - DNG a une capacité de stockage de métadonnées très robuste. Cela signifie que les paramètres que vous utilisez pour rendre vos images peuvent être incorporées dans le fichier DNG pour plus de sécurité et de portabilité. Vous pouvez même enregistrer plusieurs groupes de paramètres ou des paramètres de plus d'un programme.

DNG anticipe les besoins d'imagerie - La spécification DNG a une très solide "tag" structure qui permet le stockage ordonné de toutes sortes de données de traitement d'image. Ces balises anticiper les nouveaux développements en traitement d'images, souvent bien avant que n'importe quel logiciel a réellement besoin de faire usage d'entre eux.
DNG permet de profils intégrés - Tous les fichiers bruts doivent être décodés en utilisant une sorte de profil de couleur pour transformer les données brutes en couleur standard. La spécification DNG nécessite qu'au moins un profil de couleur sera incorporée dans le fichier. Cela permettra le fichier à décoder longtemps dans l'avenir. En plus des profils Adobe Standard, DNG permet de stocker des profils d'appareils photo et de profils de fabricants tiers.

DNG permet versions rendues à être incorporé - Bien fichiers Raw propriétaires avez un JPEG intégré pour la prévisualisation, ce fichier n'est généralement pas modifiable tant que le fichier est modifié. Cela signifie que l'aperçu affiche la version originale, et non la version après qu'il a été optimisée. Parce que la structure DNG est ouvertement documentés, il est facilement possible d'intégrer une version optimisée du fichier. Le cahier des charges prévoit même des versions multiples d'être embarqués.

DNG est un outil de vérification intégrée - Ceci est particulièrement important pour archivage à long terme. Il ya une somme de contrôle incluse dans le fichier DNG qui peut être utilisée pour dire si l'image brute a été endommagé de quelque façon. Ce peut être un moyen facile automatisé pour vérifier l'état de santé d'une collection très grande image automatiquement.

VOILA VOILA. Alors Heureux

Moi j'utilise le DNG avec tous mes boitiers, toutes marques avec bonheur depuis des années. Ce format n'est pas trop utilisé car la plupart des photographes ne comprennent rien et ne savent pas faire la différence entre un TIFF de base et un DNG linéaire.

tenmangu81 · Février 15, 2014, 19:09:10

Le DNG compressé de Leica a fait l'objet de nombreuses discussions sur ce forum, en son temps. Il semble qu'il existe un algorithme de compression presque pas destructif où on passe par une étape en 8 bits. Mais à l'issue des discussions sur le fil (que je n'ai pas vraiment le temps de retrouver), j'avais décidé, après de multiples avis de meilleurs experts que moi en la matière, et compte tenu du fait que la place n'est plus un problème aujourd'hui, de ne pas compresser mes DNG Leica. Qui peut le plus peut le moins

lilou19 · Février 15, 2014, 19:25:35

Citation de: tenmangu81 le Février 15, 2014, 19:09:10
Le DNG compressé de Leica a fait l'objet de nombreuses discussions sur ce forum, en son temps. Il semble qu'il existe un algorithme de compression presque pas destructif où on passe par une étape en 8 bits. Mais à l'issue des discussions sur le fil (que je n'ai pas vraiment le temps de retrouver), j'avais décidé, après de multiples avis de meilleurs experts que moi en la matière, et compte tenu du fait que la place n'est plus un problème aujourd'hui, de ne pas compresser mes DNG Leica. Qui peut le plus peut le moins

Merci tenmangu81

La page de one way sur le DNG est certainement très intéressante mais après l'avoir lue, je ne savais plus quelle était la question posée par Franck B.
J'ai maintenant la réponse à la question que je me posais également.

Franck_B · Février 16, 2014, 20:23:03

merci à tous pour vos réponses...
oui, le mieux de toute façon est de ne pas compresser ; surtout si la compression fait passer le DNG par du 8bits !
FB

Verso92 · Février 16, 2014, 23:13:09

Citation de: Franck_B le Février 15, 2014, 12:19:52
Deux modes de DNG existent, l'un non compressé l'autre compressé.
Dans le manuel, il est indiqué que la compression est non destructive et plus rapide...

Si la destruction est non destructrice, cela veut dire... qu'elle est non destructrice (désolé pour l'explication de texte).
Je ne connais pas le DNG, mais je sais que la compression sans perte des NEF (fichier RAW Nikon) est sans perte. J'imagine qu'il en est de même pour le DNG ?

fiatlux · Février 17, 2014, 11:40:53

Citation de: Verso92 le Février 16, 2014, 23:13:09
Si la destruction est non destructrice, cela veut dire... qu'elle est non destructrice (désolé pour l'explication de texte).
Je ne connais pas le DNG, mais je sais que la compression sans perte des NEF (fichier RAW Nikon) est sans perte. J'imagine qu'il en est de même pour le DNG ?

Tout comme la compression "sans perte" des NEF n'a pas toujours été sans perte, celle des DNG ne semble pas non plus entièrement sans perte sur les Leica: ce n'est pas la faute à la compression elle-même (qui fait appel à un codage Huffman) mais bien au ré-encodage des valeurs sur 8 bits non-linéaires avant compression. Nikon avait appliqué une recette similaire sur le D70 (http://majid.info/blog/is-the-nikon-d70-nef-raw-format-truly-lossless/).

D'un point de vue pratique, il n'est pas évident d'identifier un quelconque impact du codage non-linéaire sur 8bits.

Benaparis · Février 17, 2014, 13:25:59

Citation de: fiatlux le Février 17, 2014, 11:40:53
D'un point de vue pratique, il n'est pas évident d'identifier un quelconque impact du codage non-linéaire sur 8bits.

C'est bien là l'essentiel il me semble. Comme je le disais plus haut je n'ai jamais pu observer la moindre différence entre une version compressée et non compressée.

Pascal Méheut · Février 17, 2014, 16:22:03

Citation de: Benaparis le Février 17, 2014, 13:25:59
C'est bien là l'essentiel il me semble. Comme je le disais plus haut je n'ai jamais pu observer la moindre différence entre une version compressée et non compressée.

Pareil y compris en faisant de la soustraction d'image en Photoshop. Bref, j'ai tjs activé la compression sur les M et personne n'a jamais vomi devant un de mes tirages

En tout cas, pas à cause de ça.

Verso92 · Février 17, 2014, 20:09:39

Citation de: fiatlux le Février 17, 2014, 11:40:53
Tout comme la compression "sans perte" des NEF n'a pas toujours été sans perte [...]

Histoire d'être clair, la compression sans perte des NEF a toujours été sans perte...
(de mémoire, elle a été introduite à l'époque du D3...)

D'ailleurs, Nikon a supprimé l'option "non compressé" de certains de ces boitiers récents pour ne plus proposer, logiquement, que le choix entre "compressé sans perte" et "compressé" (avec pertes)...

Lorca · Février 17, 2014, 20:31:54

Citation de: fiatlux le Février 17, 2014, 11:40:53
Tout comme la compression "sans perte" des NEF n'a pas toujours été sans perte, celle des DNG ne semble pas non plus entièrement sans perte sur les Leica: ce n'est pas la faute à la compression elle-même (qui fait appel à un codage Huffman) mais bien au ré-encodage des valeurs sur 8 bits non-linéaires avant compression. Nikon avait appliqué une recette similaire sur le D70 (http://majid.info/blog/is-the-nikon-d70-nef-raw-format-truly-lossless/).

D'un point de vue pratique, il n'est pas évident d'identifier un quelconque impact du codage non-linéaire sur 8bits.

D'où sors-tu que la "compression sans perte" occasionne des pertes ?
Pour ton info, le D70 n'avait pas l'option "compression sans perte".

tenmangu81 · Février 17, 2014, 20:44:18

Citation de: Pascal Méheut le Février 17, 2014, 16:22:03
Pareil y compris en faisant de la soustraction d'image en Photoshop. Bref, j'ai tjs activé la compression sur les M et personne n'a jamais vomi devant un de mes tirages En tout cas, pas à cause de ça.

Bon, alors voilà qu'un doute horrible s'instille dans mon esprit..... Dois-je continuer à travailler en DNG non compressé ? Bon, je ne suis pas pro et ne fais pas des centaines de clichés par jour, mais plutôt quelques unités dans les bons jours.

Verso92 · Février 17, 2014, 20:50:12

Citation de: Lorca le Février 17, 2014, 20:31:54
D'où sors-tu que la "compression sans perte" occasionne des pertes ?
Pour ton info, le D70 n'avait pas l'option "compression sans perte".

C'est le mal des forums et d'internet en général : comme tu le fais remarquer à juste titre, le D70 n'a jamais proposé l'option "compression sans perte"...
A force de lire autant de contre-vérités à droite à gauche, on finit par y perdre son latin !

Pascal Méheut · Février 17, 2014, 21:43:09

Citation de: tenmangu81 le Février 17, 2014, 20:44:18
Bon, alors voilà qu'un doute horrible s'instille dans mon esprit..... Dois-je continuer à travailler en DNG non compressé ? Bon, je ne suis pas pro et ne fais pas des centaines de clichés par jour, mais plutôt quelques unités dans les bons jours.

Hypothèse 1 : il y a une différence sensible mais malgré cela, on a du mal à trouver sur le Net une illustration qui la rende évidente
Hypothèse 2 : les types de chez Leica sont des fous maniaques et s'ils proposent la dite compression, c'est parce qu'on ne voit pas de différence. Et parmi leurs clients, il y a aussi des fous maniaques qui ont comparé, cherché et n'ont rien trouvé

Quelle hypothèse est la plus probable ?

tenmangu81 · Février 17, 2014, 23:28:40

Pourtant Pascal, je me souviens de l'une de tes interventions à ce sujet:
http://www.chassimages.com/forum/index.php/topic,81042.0.html
où tu disais que par acquis de conscience, tu travaillais en non compressé.
Mais bon, la différence doit se trouver dans des pouillèmes, et pour ce qui me concerne, ne doit pas avoir de conséquence sur ce que je tire de mon M9.

tenmangu81 · Février 17, 2014, 23:34:33

Et il y avait aussi ça qui allait dans le même sens:
http://www.chassimages.com/forum/index.php/topic,146855.0.html
A savoir que c'est quasiment la même dynamique.

omair · Février 18, 2014, 00:49:19

Citation de: Pascal Méheut le Février 17, 2014, 21:43:09
Hypothèse 1 : il y a une différence sensible mais malgré cela, on a du mal à trouver sur le Net une illustration qui la rende évidente
Hypothèse 2 : les types de chez Leica sont des fous maniaques et s'ils proposent la dite compression, c'est parce qu'on ne voit pas de différence. Et parmi leurs clients, il y a aussi des fous maniaques qui ont comparé, cherché et n'ont rien trouvé

Quelle hypothèse est la plus probable ?

Hypothèse 2, pour mon compte.
Pas vu de différences en triturant les Raw, sur mon M9p en tout cas..

Pascal Méheut · Février 18, 2014, 05:38:10

Citation de: tenmangu81 le Février 17, 2014, 23:28:40
où tu disais que par acquis de conscience, tu travaillais en non compressé.

C'est un peu comme si tu disais que j'ai sorti "la France ne peut pas accueillir toute la misère du monde" en oubliant que j'ai ajouté derrière "mais elle doit en prendre sa juste part"

Ca serait malhonnète et ca te rabaisserait au rang du journaliste de base $:-\$

Non, je blague. Dans le poste que tu cites, je développais exactement les mêmes arguments qu'ici et je disais que je bossais en non compressé "même si ca n'est pas totalement rationnel".

fiatlux · Février 18, 2014, 13:08:06

Citation de: Lorca le Février 17, 2014, 20:31:54
D'où sors-tu que la "compression sans perte" occasionne des pertes ?
Pour ton info, le D70 n'avait pas l'option "compression sans perte".

C'est vrai, l'option n'était pas explicitement qualifiée de "sans perte" mais, à l'époque, Nikon n'avait pas été clair du tout dans sa communication, en parlant du "virtually lossless" ou "visually lossless", d'où les débats sur les forums.

Je voulais simplement expliquer la nature des "pertes" encourues avec les fichiers Leica DNG compressés et expliquer que ces solutions étaient également utilisées par Nikon par exemple.

Verso92 · Février 18, 2014, 19:56:48

Citation de: fiatlux le Février 18, 2014, 13:08:06
C'est vrai, l'option n'était pas explicitement qualifiée de "sans perte" mais, à l'époque, Nikon n'avait pas été clair du tout dans sa communication, en parlant du "virtually lossless" ou "visually lossless", d'où les débats sur les forums.

Je voulais simplement expliquer la nature des "pertes" encourues avec les fichiers Leica DNG compressés et expliquer que ces solutions étaient également utilisées par Nikon par exemple.

Voilà très précisément comment Nikon qualifie les trois modes de compression du RAW sur le D700 :

tenmangu81 · Février 18, 2014, 20:21:41

Citation de: Pascal Méheut le Février 18, 2014, 05:38:10
Dans le poste que tu cites, je développais exactement les mêmes arguments qu'ici et je disais que je bossais en non compressé "même si ca n'est pas totalement rationnel".

C'est exactement ma démarche : je ne sais pas pourquoi je n'utilise plus le DNG compressé, mais je me dis qu'on ne sait jamais... Le pari de Pascal (

), quoi !! Après tout, le Go ne coûte pas très cher aujourd'hui, alors pourquoi s'en priver ?

Benaparis · Février 18, 2014, 20:42:57

Citation de: tenmangu81 le Février 18, 2014, 20:21:41
C'est exactement ma démarche : je ne sais pas pourquoi je n'utilise plus le DNG compressé, mais je me dis qu'on ne sait jamais... Le pari de Pascal ( ), quoi !! Après tout, le Go ne coûte pas très cher aujourd'hui, alors pourquoi s'en priver ?

A l'inverse, pourquoi utiliser inutilement 2 fois plus d'espace quand on sait qu'au final on ne perdra rien en qualité d'image (sauf à être un peu paranoïaque)?

Pascal Méheut · Février 18, 2014, 20:53:23

Conclusion : c'est une question de préférence personnelle

Verso92 · Février 18, 2014, 21:18:48

Citation de: Benaparis le Février 18, 2014, 20:42:57
A l'inverse, pourquoi utiliser inutilement 2 fois plus d'espace quand on sait qu'au final on ne perdra rien en qualité d'image (sauf à être un peu paranoïaque)?

Si la compression est "sans perte", il n'y a que des bénéfices :
- qualité rigoureusement identique au bit près (j'ai même poussé le vice jusqu'à vérifier avec un éditeur hexa-décimal avec le D700),
- poids moindre du fichier,
- meilleure réactivité de l'appareil (la compression se faisant en RAM, le temps nécessaire à cette opération est petit devant le temps d'écriture supplémentaire dans la carte mémoire).
Si elle est "avec pertes", à chacun d'estimer le ratio poids vs qualité, tout en sachant que la "perte" éventuelle sera faible, de toute façon...