5D² : 25k6 iso (ou +) et modes sraw

[dideos]

Hello,

suite au post recent sur les sRaw je me suis repenché sur la question. Canon ayant revendiqué dans les MAJ de FW une amelioration du banding sur les modes sRAW - donc un filtrage logiciel au niveau du dématriceur dans les modes sRAW- ca vaut le coup de regarder ce qui se passe dans les cas de figure ou on voit des cochonneries (12k8, mais surtout 25k6 ou plus)
Donc dans la suite je ne m'interesse qu'au mode 25k6 (ou plus)

Question preliminaire :
En mode 25k6 mon appareil , en mode RAW full size sans correction, a une facheuse tendance a se décaler vers le rouge (effet doppler ?)
Pour illustrer , image 25k6 boostée +2 (100k iso) brute sans correction (merci d'avance pour les compliments sur la haute qualité artistique  )=

Question : c'est mon appareil ou c'est tous pareil ? Ca pourrait etre un pb de calibration (il suffit d'un petit offset sur une voie pour qu'apres amplification numerique par 16 ...), ou un bug de dématricage, mais j'y crois pas trop ca ressemble plus a du bruit d'origine thermique - surtout qu'en ce moment, il fait pas froid.
Et ya pas grand chose a faire... dans DPP si pousse les curseurs , le rouge il part pas.
Et si on essaie de nettoyer derriere, c'est tres dur d'ameliorer. = > Le mode 25k6 (ou plus) est quasi inutilisable a cause de ca.
Curieusement, le fichier low res qui sert a visualiser l'image sur l'ecran du 5D ou celui qui sert aux petites vignettes dans dpp n'est pas affecté par cette trame rouge (ou, beaucoup moins, cf ci dessus)
Et en sRAW ?
C'est la que ca devient interessant. Les deux modes sRAW, sans correction, donnent une image beaucoup moins rouge.
La meme image 100k en sRAW 2 avec les memes reglages que l'image full RAW :

Je ne m'interesse pas a la def, juste au color cast et aux parasites

Etonnant non ? Avec les memes parametres...
Les grosses bandes de couleur horizontales sont moins présentes, et les parasites residuels plus faciles a gérer : apres un peu de nettoyage le 100k devient =


Je sais que c'est un peu anecdotique, mais bon... Avez vous constaté la meme chose ?

Olivier va etre content, on a trouvé un mode RAW ou il y aurait du filtrage (en meme temps c'est revendiqué). Da'illeurs je ne sais pas si vous avez remarqué, il faut un peu + de temps pour ouvrir completement l'image sRAW que l'image RAW dans dpp ....ca doit pas etre par hasard...

[vulcandesign]

Sympas ton test !!!

Juste une question, comment tu fais pour éliminer le banding sur ta dernière photo !!!

Je n'ai jamais réussi à m'en débarrasser comme ça !!!

Si tu veux bien me donner ta recette ca m'intéresse car ce Pù*$ùN de banding me gavez vraiment 
_____________________
www.noirsurblanc.book.fr

[dideos]

sur celle la, avec Dfine2. Des fois ca marche mieux a la mano en filtrant la fft.

Je comprends que ca n'interesse pas grand monde. Je serais juste interessé de savoir  si ce phenomene de bruit dans le rouge qu'on voit en RAW full, mais pratiquement pas en sRAW, ni sur l'ecran du boitier, ni sur les imagettes et ni je pense en jpeg, si ce bruit donc est specifique a mon appareil (ca m'etonnerait beaucoup)

[tribulum]

Détrompe-toi, Dideos, sûr au contraire que ça intéresse beaucoup de monde. Sauf si le passage par Dfine est obligé. Que donnent les débruiteur standart sur les sraw ? persiste-t-il une différence avec les raw ? (lightroom, dxo, dpp, ...)

[dideos]

je n'ai essayé que DPP et toshop, mais c'est clair qu'un debruiteur "normal" n'a pas le pouvoir de rattraper une derive de couleur généralisée. Dfine non plus. Le pb c'est que j'ai essayé en rattrapant la BB (en RAW), ca ne marche pas bien. Il y a autre chose.
Le travail est fait en amont, au niveau du dématricage.

Pour le banding, c'est un autre pb bien connu. Mais la aussi, il semble que la mise en commun des pixels pour generer les modes "s" permette de faire un petit quelque chose de plus qu'un simple moyennage.
Dfine enleve assez bien les bandes, pourvu qu'elles soient régulieres et de niveau pas trop fort. Je pense que le filtrage est fait sur la fft, mais c'est plus pratique qu'a la main.
(Faut voir que les images sont a 100kiso dans le noir quasi total )
A noter, sur l'image filtrée il reste du bruit thermique a D en H et en B.
Chez N. ils s'emmerdent pas avec ca, ils le soustraient (d'ou offset nul et image rabotée au niveau 0)

[vulcandesign]

A priori, ce n'est pas ton exemplaire qui bug !

Je n'ai pas tester le SRAW mais en raw 25600 isos sous exposé, je constate la même dominante rouge que toi !

Sinon question... Comme je n'ai pas dfine et que je ne suis pas certain de l'acheter, est ce que tu pourrais m'expliquer comment tu fais un filtrage de la fft (c'est quoi ca) à la main.

Le sujet m'intéresse énormément car d'un point de vue qualité d'image, le banding est le seul vrai défaut du 5D mkII

Merci d'avance pour ton aide
_____________________
www.noirsurblanc.book.fr

[korbb]

est ce que tu pourrais m'expliquer comment tu fais un filtrage de la fft (c'est quoi ca) à la main.

FFT = Fast Fourrier Transform (Transformée de Fourrier Rapide)

C'est une méthode de traitement du signal, permettant de décomposer (en gros) un signal complexe en une somme de signaux simples.

[dideos]

Sinon question... Comme je n'ai pas dfine et que je ne suis pas certain de l'acheter, est ce que tu pourrais m'expliquer comment tu fais un filtrage de la fft (c'est quoi ca) à la main.

Hello,
Y'avait un semblant d'explication dans ce vieux fil
http://www.chassimages.com/forum/index.php/topic,34890.msg555545.html#msg555545
Voir l'exemple sur la photo du bëybëy
Ca coute rien d'essayer, c'est gratuit en plus c'est marrant.
Apparemment y'aurait des plug ins

[dideos]

Petite precision.
J'ai retrouvé ou Canon a declaré avoir fixé le pb du banding V en mode sRAW, c'etait en meme temps que le pb des points noirs, a partir du FW 1.0.7.
C'etait uniquement en mode SRAW 1.
D'apres la formulation, ils demandaient de faire la MAJ du FW ET de DPP en meme temps. A mon avis, le FW c'etait pour les points noirs et DPP pour le banding.

[GiiGii]

Salut,

si c'est du binning qui est utilisé pour former le sraw du coup le rapport S/N est amélioré donc un bruit plus faible pour une résolution plus faible. Je pense du coup que lorsque tu passes des algos de débruitage / débanding c'est plus efficace.

Pour la dominante rouge, peut être est-ce de la perception en RAW => plus de bruit => plus de moutonnement rouge => perception de dominante rouge / En sRAW => bruit plus faible => moins de moutonnement => perception moindre.

Ou tout simplement, que dans une ambiance quasi noir le signal rouge monte  plus vite que le reste et que pour le coup en binning avec l'amélioration du rapport S/N on voit moins cette différence.

Place au débat

G'

[dideos]

Salut,

si c'est du binning qui est utilisé pour former le sraw du coup le rapport S/N est amélioré donc un bruit plus faible pour une résolution plus faible. Je pense du coup que lorsque tu passes des algos de débruitage / débanding c'est plus efficace.

Pour la dominante rouge, peut être est-ce de la perception en RAW => plus de bruit => plus de moutonnement rouge => perception de dominante rouge / En sRAW => bruit plus faible => moins de moutonnement => perception moindre.

Ou tout simplement, que dans une ambiance quasi noir le signal rouge monte  plus vite que le reste et que pour le coup en binning avec l'amélioration du rapport S/N on voit moins cette différence.

Place au débat

G'

Le binning bete et mechant filtre le bruit HF (N pixels => bruit divisé par racine (N)) mais il ne fera pas grand chose sur un pb comme celui la, qui est tres basse frequence.
Je suis assez convaincu que c'est du bruit d'origine thermique (typiquement le bruit qu'on voit sur les bords d'image, la ou l'electronique chauffe le capteur.) Par contre je suis perplexe sur la manip qui permet de le reduire comme ca. Sans casser la def plus que la red de def normalement apportée par les modes s. 

[GiiGii]

Avec le binning tu réduis le temps de lecture :

- donc peut être l'enregistrement de bruit thermique et de lecture.

Peut être suffisant ici.

Qu'en penses tu ?

G"

[Olivier-P]

Hello,

.../...

Olivier va etre content, on a trouvé un mode RAW ou il y aurait du filtrage (en meme temps c'est revendiqué). Da'illeurs je ne sais pas si vous avez remarqué, il faut un peu + de temps pour ouvrir completement l'image sRAW que l'image RAW dans dpp ....ca doit pas etre par hasard...

Salut Didier,

Je viens de t'envoyer les trois Raw en mail privé. 25k en mode raw, sraw1, sraw2, de la mm cible, pris cette nuit, en intérieur.

C'est fantastique, aussitot que j'ai passé le firmw2.27 sur le 5D², je constate les mm choses que toi. Et d'ailleurs dans Dpp ou ailleurs c'est idem.

Le sRaw2 est plus défini que le raw normal ! et moins bruité ... extra, mm en BL on revoit des détails. Extra.
Oui manip dans le raw, mais cela tout le monde était d'accord depuis longtemps pour les modes en haut iso, forcément "améliorés".
Cependant ici, avec les sRAW, c'est de la magie
Pourquoi et comment, je ne sais pas, à suivre des communications du constructeur, et/ou de vos recherches. En tous cas, cela fonctionne !

Je n'étais pas convaincu avant, mais depuis ce firmware ( il faut dire que j'étais très en retard ), je le suis.

Merci infiniment de l'info, car je vais pouvoir faire des photos impossibles auparavant, en soirée, pour les affuts animaliers.

[APB]

merci pour ces infos!
Est-ce qu'il existe la même chose pour le 7D (il faudrait peut-être ouvrir un autre fil ..) ?

[klorie]

Ce que l'on peut dire sur le sRAW c'est qu'il est déjà dématricé dans le boitier et réencodé en YUV 14bits. Donc traiter le banding à ce moment est peut être plus facile à faire à la volée dans le boitier qu'en RAW où l'on ne touche presqu'à rien. D'ailleurs cela explique peut-être le si faible gain en rafale dans ces modes par rapport au RAW.

Sinon je confirme que moi aussi en RAW sur mon 5D² à ISO 25k6 c'est grosse dominante rouge et banding en folie...

[dideos]

Avec le binning tu réduis le temps de lecture :

- donc peut être l'enregistrement de bruit thermique et de lecture.

Peut être suffisant ici.

Qu'en penses tu ?

G"

Hello,
je pense que ca ne joue pas. Si c'est du bruit thermique, il dépend du temps d'exposition et de la temperature, mais pas du temps pour vider le capteur.

[dideos]

Salut Didier,

Je viens de t'envoyer les trois Raw en mail privé. 25k en mode raw, sraw1, sraw2, de la mm cible, pris cette nuit, en intérieur.

C'est fantastique, aussitot que j'ai passé le firmw2.27 sur le 5D², je constate les mm choses que toi. Et d'ailleurs dans Dpp ou ailleurs c'est idem.

Le sRaw2 est plus défini que le raw normal ! et moins bruité ... extra, mm en BL on revoit des détails. Extra.
Oui manip dans le raw, mais cela tout le monde était d'accord depuis longtemps pour les modes en haut iso, forcément "améliorés".
Cependant ici, avec les sRAW, c'est de la magie
Pourquoi et comment, je ne sais pas, à suivre des communications du constructeur, et/ou de vos recherches. En tous cas, cela fonctionne !

Je n'étais pas convaincu avant, mais depuis ce firmware ( il faut dire que j'étais très en retard ), je le suis.

Merci infiniment de l'info, car je vais pouvoir faire des photos impossibles auparavant, en soirée, pour les affuts animaliers.

Merci Olivier
Pour le banding horizontal (qui n'est pas lié au pb du rouge) je pense que l'explication de la diminution est que ce banding H est du bruit de clamp. CAD dans le cas présent, du bruit provenant de la pollution de compteurs, de convertisseurs DCDC etc et qui affecte les pixels masqués qui servent a la reference de noir. Ca pardonne pas.
En mode S, on peut faire un moyennage supplémentaire sur ces pixels, peut etre meme qu'il y en a davantage d'utilisables.  resultat = la reference de noir est plus stable d'une ligne a l'autre => moins de banding.
L'effet d'un filtrage sur les pixels noirs est infiniment plus efficace que de filtrer l'image elle meme. En plus, ca n'affecte pas la def. Ca n'enleve pas le pb a la source, mais c'est mieux que rien.
Pour l'histoire du rouge qui se barre, franchement je vois pas ca a l'air bien plus qu'un simple moyennage de pixels

[Olivier-P]

Merci Olivier
Pour le banding horizontal (qui n'est pas lié au pb du rouge) je pense que l'explication de la diminution est que ce banding H est du bruit de clamp. CAD dans le cas présent, du bruit provenant de la pollution de compteurs, de convertisseurs DCDC etc et qui affecte les pixels masqués qui servent a la reference de noir. Ca pardonne pas.
En mode S, on peut faire un moyennage supplémentaire sur ces pixels, peut etre meme qu'il y en a davantage d'utilisables.  resultat = la reference de noir est plus stable d'une ligne a l'autre => moins de banding.
L'effet d'un filtrage sur les pixels noirs est infiniment plus efficace que de filtrer l'image elle meme. En plus, ca n'affecte pas la def. Ca n'enleve pas le pb a la source, mais c'est mieux que rien.
Pour l'histoire du rouge qui se barre, franchement je vois pas ca a l'air bien plus qu'un simple moyennage de pixels

Mouais. Pas facile.

Dans l'autre fil sur les prhl, je reviens sur un vieux délire technologique, des amplis glissants. On commence à 200iso, on coupe, on finit à 100iso. Impossible mais le résultat serait génial. On oublie.

Puis j'embraye sur le fait que ce n'est possible qu'en faisant un décalage d'ampli (iso différent) par lignes. Baisse immédiate de ftm ok, mais gain de dyn, et binning logiciel facilité, surtout en BL. Et si c'était cela ? Si qq lignes en sRAW, étaient "encore plus amplifiées" dans le raw natif forcément à pleine def ? Et évidemment ensuite une moulinette log pour finir, livrant un raw moins def certes, mais plus propre. 6400 est la limite normale du capteur, ensuite c'est du log ok. Mais qui empeche canon de faire du 8000iso sur qq lignes ( une sur 4 par exemple), certes impossibles à montrer avec une dyn tellement courte qu'un vrai 80k à pleine def serait mauvais, et qui néanmoins pour faire les sRaw leur sauverait la mise sur le bas du spectre ...

Car je suis formel, il y a plus d'infos dans le bas du spectre, que dans le raw normal. Donc une dyn meilleure.

[GiiGii]

Salut,

merci des réponses

En quelques lignes tu viens de dépasser mes connaissances en électronique. Bref, je continue à suivre sait-on jamais si une idée me viens

A+
G'

[CCD1024]

Salut Didier
Je ferai des tests ce we avec le 5D2 mais ce genre d'image ne m'est pas inconnu 
Je dois aussi tester 2 algo qui permettent de retirer les banding verticaux et horizontaux (1 passe pour le vertical 1 passe pour l'horizontal). Ca marchait super bien pour mon 40D défiltré IR qui avait un banding excessif suite à son opération de retrait du filtre. Ca doit donc etre tout bon pour le 5D² à 100kiso
Un autre algo doit aussi etre testé mais il est plis compliqué et change assez le rendu

[APB]

Mouais. Pas facile.

Dans l'autre fil sur les prhl, je reviens sur un vieux délire technologique, des amplis glissants. On commence à 200iso, on coupe, on finit à 100iso. Impossible mais le résultat serait génial. On oublie.

Puis j'embraye sur le fait que ce n'est possible qu'en faisant un décalage d'ampli (iso différent) par lignes. Baisse immédiate de ftm ok, mais gain de dyn, et binning logiciel facilité, surtout en BL. Et si c'était cela ? Si qq lignes en sRAW, étaient "encore plus amplifiées" dans le raw natif forcément à pleine def ? Et évidemment ensuite une moulinette log pour finir, livrant un raw moins def certes, mais plus propre. 6400 est la limite normale du capteur, ensuite c'est du log ok. Mais qui empeche canon de faire du 8000iso sur qq lignes ( une sur 4 par exemple), certes impossibles à montrer avec une dyn tellement courte qu'un vrai 80k à pleine def serait mauvais, et qui néanmoins pour faire les sRaw leur sauverait la mise sur le bas du spectre ...

Car je suis formel, il y a plus d'infos dans le bas du spectre, que dans le raw normal. Donc une dyn meilleure.

saperlipopette ... c'est compliqué là-dedans !... franchement vous êtes combien sur le site à toucher votre bille à ce point 
en tous cas l'utilsateur lambda que je suis attend avec le plus grand intérêt la suite de vos cogitations !

[Olivier-P]

Salut Didier
Je ferai des tests ce we avec le 5D2 mais ce genre d'image ne m'est pas inconnu 
Je dois aussi tester 2 algo qui permettent de retirer les banding verticaux et horizontaux (1 passe pour le vertical 1 passe pour l'horizontal). Ca marchait super bien pour mon 40D défiltré IR qui avait un banding excessif suite à son opération de retrait du filtre. Ca doit donc etre tout bon pour le 5D² à 100kiso
Un autre algo doit aussi etre testé mais il est plis compliqué et change assez le rendu

Le résultat de ma série de 3 photos est encore plus complexe qu'un algo réussi, en post prod sur le natif
Car le sRaw a plus de détails dans les BL (?!), plus de dynamique en bas. Il y aurait donc peut être du hardw, avant le soft. Ceci dit tu as peut être raison, soft seulement, mais ce serait plus que fort !

[CCD1024]

Oui Olivier pas simple... surtout quand on veut simplement trouver un compromis et ne pas lisser l'image
Test ce matin à 25.6K avec filtre neutre 1000x

Les 3 brutes gauche=RAW, centre=SRAW1, droite=SRAW2 (5DmkII a 25.6kISO en prise de vue et curseur à + 2IL lors du developpement sous DPP (neutre, accentuation 0, tout le reste par défaut, noise sur 0), comme les réglages de Didier
La réduction du bruit et la réduction du banding

Il n'y a AUCUN autre traitement sur la couleur (sauf indiqué, pour l'offset) et il y a le résultat BRUT des 2 algorithmes cités.

RAW avec algorithme réduction bruit ACDNR et algo réduction banding (et ajustement de l'offset des 3 couleurs, uniquement).
La zone saturée par le soleil fait apparaitre l'inverse de la réduction de banding (ça se corrige aussi dans l'algorithme mais ce n'est pas simple)

SRAW1 avec algorithme réduction bruit ACDNR et algo réduction banding
La aussi la zone saturée du soleil est à mettre de coté
SRAW1 est le mode qui se corrige le plus mal surement parce que, contrairement à SRAW2 qui est 50% de RAW (1 pixel sur 2 en moins), Canon doit interpoler les pixels.

SRAW2 avec algorithme réduction bruit ACDNR et algo réduction banding

Les noise ninja, dfine, Neat Image et autres comparses restent complètement à la rue sur ce type d'image.

Le but n'était pas d'obtenir la perfection, mais un compromis d'une image un peu bruitée mais SANS PERTE de détail et un banding limité.
On peut pousser les curseurs plus à fond, bien sur...
MA CONCLUSION (qui n'engage que moi  )
Le RAW natif 21Mpix à 100kISO peut donner le meme résultat que le sRAW2 avec une meilleure définition et un banding un peu plus moyenné si on réduit de 50% l'image. MAis le sRAW2 à l'avantage d'avoir un peu plus de dynamique, effectivement.

[dideos]

cad , moi ce qui me gene surtout c'est la derive rouge. J'ai du mal a récuperer l'equilibre qu'on a en mode s, simplement en redescendant le rouge.
Sinon, (ca n'a rien a voir) mon ecran a rendu l'ame hier apres une dizaine d'annees de bons et loyaux services.
Je cherche un truc pas trop mal mais raisonnable, allez disons jusqu'a 400 ou500 E extreme limite
Si olivier passe par la...
Viesonic 2365 WB
Samsung 2380M
Eizo 2333WH BK
...
Des avis ?
(je sais je pourrais demander dans le forum des ecrans )

[CCD1024]

Didier

Tiens, j'ai pris 2 CR2, 1 en sRAW2, l'autre en RAW
Cette fois, je n'ai pas utilisé DPP ou autres soft dédié photo
J'ai ouvert les 2 fichiers dans mon soft dédié traitement d'image. Ils ont été dématricés linéairement et j'ai appliqué les 2 algo de banding et bruit
Ensuite j'ai ajusté l'offset de chaque composante des 2 images (la RAW est complètement décalée) puis, sur la RAW une très légère correction en HUE.

Laquelle est e RAW, laquelle est le sRAW2 ? facile...


(faire afficher l'image pour la voir en 1900 pix de large)