Bruit numérique : formes et traitement

[jdc]

Dans le dernier « Chasseur d'images », Thierry Legault présente un excellent article sur le bruit numérique. A noter que le contenu de cet article est de la même teneur  que les pages web (2008) du site de Emil Martinechttp://theory.uchicago.edu/~ejm/pix/20d/tests/noise/
En résumant on peut distinguer le bruit de photon, le bruit de lecture, le bruit thermique et le bruit de « lignes ».
Mon propos n'est pas de déterminer comment réduire le bruit à la source, soit par le capteur, soit à la prise de vue, mais comment le réduire de façon acceptable par traitement, et c'est dans ce mot « acceptable » qui traduit un compromis qu'est toute la difficulté de ce traitement. De plus je ne traiterais que l'aspect « raw » qui permet, et de loin, le traitement le plus complet.

De façon concrète le bruit se traduit pour le développeur sous plusieurs formes :
•   haute fréquence sous forme de pixels isolés soit noir et blanc (ou utilise le terme « poivre et sel »), soit colorés ; le terme de bruit d'impulsion est aussi utilisé.
•   basse fréquence se traduisant par des amas colorés ou grisâtres (Emil Martinec utilise le terme de « blotches » [couperose]).
•   bruit de lignes ou « pattern » ou « banding ».

Ces bruits peuvent être traités de plusieurs manières :
1.   avant interpolation
2.   pendant l'interpolation
3.   après l'interpolation, mais avant la conversion RGB et le gamma
4.   en mode rgb , en mode Lab, etc.
5.   après conversion RGB et gamma (les produits tels Photoshop (sans ACR) ou Noise Ninja qui utilisent les fichiers TIF et JPG ne traitent que ce type)

Plusieurs algorithmes de principe peuvent être utilisés:
1.   median seul
2.   median et/ou moyenne et écart-type ou variance
3.   filtre de Wiener
4.   hybrid median filter
5.   écart à la moyenne
6.   wavelet (DWT)
7.   "Short Discrete Cosine Transform" -TCD en français
8.   etc.
9.   avec et sans « edge sensitive »

Et plusieurs algorithmes globaux : pyramide directionnelle, adaptation du seuil aux niveaux de luminance et chromaticité, etc.
Un des premiers paramètres souvent négligé est l'interpolation qui peut à elle seule sans aucun autre traitement réduire considérablement le bruit. Luis Sanz a développé une interpolation « JDD » qui va dans ce sens.
Avec Emil Martinec, Manuel Llorens , Luis Sanz et l’apport de Paul Lee nous avons développé plusieurs algorithmes pour traiter le bruit numérique. Ils utilisent une combinaison de plusieurs processus.

Qualités attendues du débruitage :
•   réduction des « blotches » et amas grisâtres
•   suppression du « poivre et sel »
•   suppression ou réduction du bruit coloré haute fréquence
•   réduction des amas colorés
•   respect de la colorimétrie et quasi absence de désaturation
•   maintien des détails
•   préservation de la texture  aussi bien dans les tons ternes et gris que dans les zones colorées (les nuances de  rouges sont difficiles à traiter)
•   pas d’ajouts d’artefacts de couleurs ajoutés
•   réduction du « banding »
•   etc.
•   et tout cela avec des temps de traitement acceptables.

Le lecteur intéressé pourra consulter la page de  mon site dédiée en partie au traitement du bruit
http://jacques.desmis.perso.neuf.fr/geraud/manuel.html

Afin de comparer objectivement les traitements, même si ces images ne traduisent pas la réalité nous nous servons des images de « image ressource » notamment celle du D700 à 25600IS0 http://75.126.132.154/PRODS/D700/FULLRES/D700hSLI25600.NEF[/url]
Il est aussi possible de choisir celle de D3x à 6400ISO ou d’autres encore (5D, …). Parmi les « avantages » de ces images on peut citer leurs versions à bas ISO (100 ou 200) qui permettent de voir le « cap » (image origine quasiment sans bruit)

[jdc]

Les logiciels modernes  NX2, C1, DxO.. et récemment LR3beta2 ont fait de gros progrès, néanmoins on ne peut leur décerner « excellent », par exemple LR3  dans le traitement du bruit chromatique altère trop  la texture, de même pour le bruit de luminance, de plus le traitement du « banding » me semble insuffisant (peut être que je ne maîtrise pas assez le produit ?).

Si des lecteurs sont intéressés par le traitement du bruit que nous avons élaboré  ils peuvent le tester  en chargeant la version en ligne de commande sous Windows. A ce jour le produit est uniquement en ligne de commande, la(es) version(s) avec interface graphique sont évoquées. A noter qu’il est indispensable de différencier les processus de traitement et l’interface graphique, les premiers assurent les performances en termes de rendus d’images, les seconds facilitent l’utilisation. En théorie il serait tout à fait possible techniquement d’insérer nos algorithmes dans les logiciels du commerce… http://jacques.desmis.perso.neuf.fr/geraud/photo_calcul.php#dcr

Bien sûr il est possible de faire des comparatifs à partir de ces images (ou d’autres images) avec les logiciels du commerce (NX2, C1, Dx0, LR3,…) et les algorithmes que nous avons élaborés. Si quelqu’un souhaite en prendre l’initiative ?

[Nikojorj]

Beau boulot, même si j'avoue ne pas avoir tout lu de ton site...

Bon, juste une petite remarque de goûts :

•   haute fréquence sous forme de pixels isolés soit noir et blanc (ou utilise le terme « poivre et sel »), soit colorés ; le terme de bruit d'impulsion est aussi utilisé.
•   basse fréquence se traduisant par des amas colorés ou grisâtres (Emil Martinec utilise le terme de « blotches » [couperose]).
•   bruit de lignes ou « pattern » ou « banding ».

A mon goût perso, le "poivre et sel" (bruit de luminance HF) est bien moins gênant que les autres : le banding peut réellement ruiner une image, et les blotches la dévaluent fortement.

Les logiciels modernes  NX2, C1, DxO.. et récemment LR3beta2 ont fait de gros progrès, néanmoins on ne peut leur décerner « excellent », par exemple LR3  dans le traitement du bruit chromatique altère trop  la texture, de même pour le bruit de luminance, de plus le traitement du « banding » me semble insuffisant (peut être que je ne maîtrise pas assez le produit ?).

Je n'ai pas encore bossé avec LR3b2, mais je trouve la perte de textures beaucoup moins problématique qu'avec un débruiteur classique genre NoiseNinja ; par contre oui le banding n'est pas franchement résolu (j'ai eu l'impression que les blotches, par contre, étaient déjà mieux maitrisés mais il faut que je vérifie).

[senbei]

Les logiciels modernes  NX2, C1, DxO.. et récemment LR3beta2 ont fait de gros progrès, néanmoins on ne peut leur décerner « excellent », par exemple LR3  dans le traitement du bruit chromatique altère trop la texture, de même pour le bruit de luminance.

Exact, comme tu le montres sur le rendu des rouges foncés, il y a encore un petit effort à faire. Mais c'est quand même assez impressionnant le compromis détails/bruit qu'on peut retaper avec cette version. 

(je sent que j'utiliserai les positions "H" de mon D700 avec nettement moins d'appréhension grâce à ça  )


clic pour fullres

[cagire]

Je pense quand même que pour évaluer les progrès des traitements réalisés il est préférable de le faire sur des fichiers pris avec des lumières basses et sur des temps de pose relativement long (F2.8, 1/30sc par exemple).

Pour info : pouvez-vous préciser l'expo des fichiers pris sur Image Ressource ?

[jdc]

 [at] Cagire
Sur le principe entièrement d'accord, mais je me cite "même si ces images ne traduisent pas la réalité", elles permettent une comparaison entre processus. Temps de pose de l'image D700 25600ISO :  1/4000; F8; objectif 70 mm.

Ces images nous ont permis Emil, Manuel, Luis et moi même de progresser en comparant les résultats de nos algorithmes.

Dans la version en ligne de commande vous trouverez 3 processus globaux, celui de Emil, de Manuel et le mien, mais chacun prend en compte une partie des autres.. C'est le fruit d'une coopération et non d'une lutte.

Je ne suis pas en train d'évaluer LR3... qui est de mon point de vue un très bon produit (mais pas excellent...). Au niveau du traitement du bruit j'avais mis 3 bémols : a) la perte de texture dans les rouges (confirmée); b) le "banding" (confirmé) ; c) la perte de détails (texture) un peu trop prononcée pour le bruit de luminance... à confirmer.. je peux joindre des crops...

Mon propos est de sensibiliser sur le traitement du bruit et montrer (?) ce à quoi nous sommes arrivés.

Cordialement

[cagire]

JDC, je comprends ta démarche. Pour l'instant je n'ai pas eu le temps d'aller visiter ton site. Je viens de télécharger le NEF. Dans ma campagne l'adsl est lymphatique et cela m'a pris 1 heure, c'est pour dire.
Dès que j'en aurais le temps je procèderai à un développement avec Dxo, Nx2 et LR3 beta2, histoire de voir. Je relativiserai tout de même tant à de telles expo le bruit n'est pas des plus difficiles à traiter.
Merci pour tes essais, ainsi qu'à tes amis, et de l'attention portée à nous les faire partager.
Amicalement

[luistappa]

JDC, j'ai testé sur un RAW fait à 6400iso en condition live avec mon D300 votre setup Hight iso et je trouve le résultat excellent, au minimum du niveau de ce que j'arrivais à avoir avec Capture NX2 avec lequel j'avais eut les meilleurs résultats. Faudrait voir en jouant plus sur les vos paramètres si on peut faire mieux.

Vous avez fait un excellent travail en tous cas!

Bon la version ligne de commande me ramène en 1989 quand je faisais de la 3D sans interface graphique, tout en ligne de commande , avec POVRAY 
C'est certain qu'un minimum d'interface est nécessaire au moins pour pouvoir enregistrer et charger des setup. La qualité de votre travail fait sur le traitement du bruit le mérite.

Petit problème, avec le profil ICC cependant, il n'a pas l'air d'aimer mon sRGB et me sort des image relativement désaturées. En fait mon profil sRGB Nikon est modifié dans votre fichier final en ProPhoto D50.

[jdc]

 [at] luistappa

Dans ma version de Dcraw, il y a 3 manières (en simplifiant) de gérer la colorimétrie:

1) en faisant la conversion RGB et le gamma par calcul  (cad sans utilisation de profils ICC). Tu as à ta disposition 8 espaces (sRGB, Adobe, Prophoto, Widegamut, CIE, BruceRGB, DonRGB, BetaRGB..) et plusieurs gamma (LUT ou non) : sRGB, BT709, ou tous couples de valeurs entrées par l'utilisateur

2) en se servant de l'attribution et la conversion de profil utilisant LCMS1.18, prévue à l'origine par David Coffin   -p input.icc -o output.icc. Si tu entres des profils de type sRGBNikon le résultat est plus que décevant, car ces profils ne sont pas adaptés...

3) en se servant de l'attribution et la conversion de profil utilisant LCMS1.18, modifiée par moi même. Dans ce cas je fais travailler le programme comme des fichiers "input" externes, et il est nécessaire  : a) d'avoir déjà fait la conversion RGB, b) d'attribuer un gamma, c) d'avoir un profil "input" élaboré dans l'espace de conversion utilisé en a)  :   -L input.icc -X ouput.icc 1   (1=intention colorimétrie relative)

[jdc]

Devant le peu d'interventions sur le thème que j'ai ouvert... (est-ce que les aspect théoriques et pratiques sur le bruit - et les résultats - n'intéressent personne ?? L'article de Thierry Legault dans le dernier CI me semble très intéressant...), je prends l'initiative d'un comparatif :

1) d'un côté, Lightroom 3 beta 2, que son développeur Adobe présente comme "l'état de l'art" et qui semble jugé excellent sur ce forum

2) de l'autre, le logiciel que j'ai développé sur la base de Dcraw (D.Coffin), avec pour le bruit la coopération avec Emil Martinec et Luis Sanz.

Comme je l'ai déjà évoqué ce 2ème produit est en ligne de commande (certains..une majorité trouveront cela rédhibitoire, néanmoins c'est le processus qui permet de tester les algorithmes). Ce que nous recherchons à ce stade, c'est le meilleur résultat en termes de qualité, l'interface graphique certes importante nécessite d'autres compétences et sera mise au point ultérieurement).

Le comparatif s'appuie sur des images de "image ressources", la première de D3x à 6400 ISO (il y a un fil sur le sujet dans la rubrique Nikon, où il est annoncé "Nikon D3x vraiment 'mauvais' en haut ISO ? (au delà de 1600 ISO)" et la seconde, cas extrême de D700 à 25600 ISO (sur ce site il y a aussi des images de 5DII, 7D, A900, etc. et évidemment le comparatif peut aussi porter sur ces fichiers).

Je donne le lien http://jacques.desmis.perso.neuf.fr/geraud/LR3_noise.html du comparatif, car il m'est quasi impossible de poster des crops d'images qui sont d'un volume trop important.

Je laisse à chacun :
* le soin d'évaluer les qualités et les manques des 2 produits
* d'améliorer si nécessaire le traitement avec LR3 que je ne maîtrise pas
* de poster des essais avec d'autres produits (NX2, Bibble5, C1, DxO...)
* de poster des essais avec d'autres images (en donnant le lien vers le raw original)

et de faire part de son point de  vue.

 

[senbei]

C'est un travail très intéressant que tu nous montres. Félicitation pour les efforts déployés.
Tes résultats sont assez spectaculaires pour une petite équipe libre, quand on connait l'état de ces images sans aucun filtrage.

Voilà les raw en question un peu peaufinés sous LR3b2 :
D700 25600 iso
D3x 6400 iso

 

[hyago]

Salut jdc,

je pense que votre boulot est magnifique, et je vais de ce pas essayer de m'en servir. Ayant programmé sous DOS, Linux et Windows, je ne vois pas de problème a tester ton soft en mode commande... Je ne pense pas que ce soit un problème insurmontable pour personne. Il est vrai qu'une fois peaufinés les algos, il convient de mettre un interface graphique, mais c'est le moindre des soucis, si vraiment vous avez atteint un si bon degré de traitement du bruit.

Je n'éprouve aucun problème a 6400 ISO sous D700, par contre j'ai quelques PDV prises a 3200 ISO sur D90, dans des conditions minables de lumière, et on y perçoit un bruit superlatif, au point de devoir tout passer en N&B, donc je vais de ce pas tester ton truc avec ces images de D90.

Je suis piètre photographe et ex-programmeur analyste de grosses BD relationnelles, donc jamais travaillé (sinon comme usager) avec des logiciels de traitement d'images. Là je me sens perdu, donc malgré mes connaisances ionformatiques, je deviens un simple usager lambda. En conséquence je ne suis en mesure de donner un avis que sur les résultats concrêts. Je ne manquerai pas de le faire, car j'ai des PdV assez intéressantes mas faites au 18-105mm VR a 105mm, donc 5,6f et D90, sans lumière, et là le pauvre boitier n'est plus à la hauteur...  J'espère que les résultats vont être a la hauteur car tes explications sont très bien étayées. 

Merci de ce boulot. 

[jdc]

 [at] senbei
Merci pour tes commentaires et le travail que tu as fait sur les 2 images. J'ai examiné celle à 6400 ISO et après correction (légère) de l'exposition et du contraste pour les rendre comparables à ceux que j'ai choisis, j'ajouterais tes réglages à mon comparatif.

Quitte à se répéter dans le traitement du bruit tout est compromis. Les réglages que tu as choisis, qui sont plus habituels que les miens (je suis un béotien avec LR3), lissent un peu plus l'image, celle-ci est plus "propre"  mais présente un peu plus de pertes de textures. Bien sûr je peux aussi changer mes réglages...

 [at] hyago
Cela fait plaisir de voir quelqu'un qui n'a pas de problèmes pour tester un logiciel en ligne de commande. N'hésites pas à faire des remarques aussi bien sur la compréhension du traitement, que sur les résultats.

Merci à vous deux.

 

[senbei]

Merci pour tes commentaires et le travail que tu as fait sur les 2 images. J'ai examiné celle à 6400 ISO et après correction (légère) de l'exposition et du contraste pour les rendre comparables à ceux que j'ai choisis, j'ajouterais tes réglages à mon comparatif.

Si tu refais un export LR3b2 pour mettre à jour ton comparo, je te conseille en premier lieu de changer le profil dans le panneau "étalonnage de l'appareil photo". En effet, le rendu des rouges notamment, est bien plus convaincant en affectant un profil spécialement développé pour les boitiers Nikon (utilise "camera standard v2" ou "camera neutral v2" à la place du "Adobe standard" par défaut). Ces profils sont même censés atténuer le bruit de banding.

Ensuite, le lissage du bruit de luminance peut être poussé avec parcimonie (c-à-dire moins que ce que j'ai fait) sans réellement nuire aux textures.
Sinon sur ta version du D700 [at] 25kiso je n'aime pas trop l'aspect de flou (on dirait un tremblement) sur les zones unies. Mais j'imagine combien il doit être difficile de concevoir un filtrage réellement efficace sur de telles images.

[jdc]

 [at] senbei

Merci pour tes conseils. Je ne vais pas changer mes images de D3x sur mon comparatif, mais j'ai déjà ajouté les tiennes (je tiendrais compte de ces réglages pour de futurs comparatifs). Ces 2 réglages en fait deviennent pédagogiques et montrent l'incidence de réglages différents

L'impression de flou (tremblement) est un traitement pour réduire ou supprimer le "banding", il s'appuie sur "Short Discrete Cosine Transform". Dans l'exemple il est mis au maximum (c'est un peu trop à mon goût aussi)  et se paramètre en ligne de commande par -9 LE a  (avec 'a' compris entre 0 et 0.02)...Sur mon tutoriel, il y a le même exemple sans utiliser cette commande... Pour l'image de D3x à 6400 ISO qui elle aussi présente un peu de "banding", cette commande est réglée sur -9 LE 0.005

 

[cagire]

Bonjour,
En espérant être resté dans l'esprit de ce fil et ne pas être hors sujet, je poste dans ce zip un fichier du D700 à 12.800 ISO, accompagné d'un fichier servant de référence pris à 200 ISO, plus le développement du 12.800 dans LR3 beta2 réalisé de la façon la plus basique qui soit : avec les réglages par défaut, profil camera standard et correction de luminance à 20 (c'est un compte rond). Considérant, comme le précise Senbei que le dosage de la correction de la luminance reste à l'appréciation de chacun, cela pourra permettre d'apprécier toutefois l'excellence de cette version beta de LR.
Je serais curieux de voir ce que donneraient d'autres logiciels dans une approche à peu près similaire (bruit/détails). Pour ma part, j'ai essayé avec NX2 et je ne suis pas parvenu au respect de la chromie : la désaturation des teintes brunes est trop forte.

http://dl.free.fr/cOKszO8My

[jdc]

Bonjour et merci Cagire.

Les images que tu proposes de tester - une nature morte -, ont le grand mérite d'être de vraies images et non une image apprêtée comme celles de "image ressources".

Tu as très bien compris l'esprit du fil, et joindre l'image à 200 ISO permet de voir le "cap".

J'ai traitée l'image à 12800 ISO, sans me poser de questions, sans même faire un premier "test". J'ai mis les mêmes réglages que pour le D3x 6400 ISO (notamment aucune accentuation). Le temps de traitement total (ouverture, traitement, écriture du TIF...) a pris 30 secondes.

J'ai ajouté ces images sur mon site en "plein format", c'est à dire sans réduire la taille en pixels des images soit environ 4280*2800, 3 fichiers que j'ai comprimé en JPG pour que la taille soit acceptable sur mon site.http://jacques.desmis.perso.neuf.fr/geraud/LR3_noise.html 

Première image: D700 à 200 ISO
Deuxième image : D700 à 12800 ISO traitée avec LR3b2 par Cagire
Troisième image : D700 à 12800 ISO traitée avec Dcraw_99 par mes soins.Je pense que je dois pouvoir faire (un petit peu) mieux.

Cordialement
 

[cagire]

Jdc, suite à ton comparatif des 2 fichiers développés avec ton logiciel qui permet d'avoir une référence sur le respect de la chromie, je me suis dit qu'il serait peut-être intéressant d'avoir le fichier à 200ISO également développé avec LR3 avec la même correction de base que celle du 12.800 ISO (mais correction de bruit désactivée bien sûr dans ce cas).
Pour info, avec NX2 j'obtiens un résultat en chromie identique avec toutefois une correction de bruit toujours active même lorsque celle-ci est désactivée. Certes les conséquences sont insignifiantes pour le D700 mais je le souligne pour ceux qui traitent des fichiers à petits photosites, bruités même à leur sensibilté de base et donc les conséquences dans ce cas deviennent un peu perceptibles. Avec LR3, il n'y a aucune correction de bruit lorsque celle-ci est désactivée (comme avec C1 ou la nouvelle version de Dxo).

http://dl.free.fr/q8MTq4TlF

PS (rappel) : N'étant pas très fan de la suppression totale du bruit de luminance, j'ai tendance toujours à faire moderato ! 

[jdc]

 [at] Cagire

Effectivement si on veut une comparaison objective, il est nécessaire que le "cap" soit élaboré avec le même produit de base qui servira au traitement du bruit afin d'éviter les écarts de colorimétrie, mais aussi de gamma, d'exposition, etc.

J'ai remplacé sur mon site "3 images", par "4 images" en incluant celle à 200 ISO que tu as traitée avec LR3. On a donc maintenant pour le test "Cagire" :
1) image à 200 ISO traitée avec LR3b2 par Cagire
2) image à 12800 ISO traitée avec LR3b2 par Cagire
3) image à 200 ISO traitée avec Dcraw_99 par jdc
4) image à 12800 ISO traitée avec Dcraw_99 par jdc.

Au sujet de ta remarque sur le bruit de luminance, que j'apprécie globalement, c'est une affaire de goût et il ne faut pas tirer trop loin.

Néanmoins, et je (re)fais une parenthèse sur le traitement que nous avons mis au point. En fait on ne parle pas spécifiquement de bruit de luminance et de chrominance, mais:
* de bruit d'impulsion, ou haute fréquence, qui se présente sous forme de "poivre et sel" (petits points blancs et noirs disgracieux) et de minuscule points de couleurs : de mon point de vue il faut supprimer...Nos algorithmes sont quasiment sans conséquences sur la texture et les détails

* de bruit de lignes, ou de bandes, spécifiques aux capteurs CMOS - il semble que les Nikon y soient sensible (?). Il est visible surtout dans les ombres.. A chacun de juger ce qu'il faut mettre. Cet algorithme s'il est utilisé avec de fortes valeurs dégrade l'image.

* de bruit basse fréquence :
    ** : sur la chrominance, il se caractérise par des amas colorés ("blotches") plus ou moins gros (2 à 10 pixels...). Nos algorithmes ne touchent que peu à la texture et à la saturation, ils ont une action différenciée en fonction de la luminance environnante, de la chromaticité et aussi de la teinte. Néanmoins en interne, une correction (faible) de saturation est assurée

    ** : sur la luminance, qui présente 2 caractéristiques:
              a) des amas grisâtres ("blotches") plus ou moins gros (2 à 10 pixels). Nos algorithmes touchent un peu à la texture, mais ils sont différentiels, prenant en compte, la luminance environnante et la chromaticité
              b) le bruit gaussien de fond, régulier qu'on accepte ou non. En général à l'impression on peut en laisser pas mal. L'algorithme que j'ai mis au point est assez complexe, il s'appuie sur un "edge sensitive" à l'envers et détecte des écarts de l'ordre de 1 à 2 ou plus pour 65535. En le maîtrisant on peut à la fois, rendre les blancs plus blancs et les aplats de couleurs ou gris moins rugueux sans quasiment toucher à la texture.

 

[cagire]

Ta parenthèse est judicieuse et instructive.
Beau et intéressant travail JDC, merci encore, ainsi qu'à tes collègues avec lesquels tu as oeuvré.

[jdc]

C'est un des objectifs de ce fil..Comprendre le bruit, son traitement, ses limites...


Ne possédant ni DxO, ni C1,...ni... Est-ce qu'un volontaire souhaite traiter l'image de Cagire, ou celle du D3x à 6400 ISO "image ressources" (car celle à 25600 ISO est vraiment trop "détériorée" et sort de la normale) ou une autre image à très haut ISO, avec un de ces produits ou un autre logiciel (NX2, Aperture, Bibble5, DPP...) afin de présenter une autre comparaison ?

Merci.