Les RAW sont-ils infalsifiables ?

astrophoto · Juin 24, 2010, 23:30:36

Citation de: Olivier-P le Juin 24, 2010, 02:30:10
Les seules difficultés à repartir d'un bitmap, est de connaitre les paramètres de la fixité arbitraire choisie : fruit de la balance du blanc, et du mode choisi de dématricage (bilinéraire, etc) dans les apn à filtre de bayer. Evidemment un logiciel de dématricage, peut construire son frère jumeau inverse, pour refaire son raw.

mais il n'y a pas que ça !!! Et la linéarité alors ? Un raw c'est linéaire (pour schématiser, un pixel qui a reçu 2 fois plus de lumière qu'un autre aura une "intensité" deux fois plus grande dans le fichier raw). Après développement du raw, l'image n'est plus du tout linéaire puisqu'une courbe est appliquée. Pour repasser les données en raw, il faudra donc au préalable appliquer la courbe inverse, faute de quoi un nouveau développement du raw donnera...n'importe quoi. Pas infaisable évidemment, tout est faisable en théorie, mais pas à la portée du premier clampin venu

Citation de: Olivier-P le Juin 24, 2010, 02:30:10
Canon, précisemment, reconnut (2006) avoir légerement accentué les raw des 30D 60D 300D et 10D.

pas Canon : seulement Chuck Westfall. Affirmation gratuite de sa part, et de plus l'analyse des raw sous toutes les coutures montre qu'il n'en est rien. Une légende, plus que probablement

Olivier-P · Juin 27, 2010, 04:14:54

Citation de: astrophoto le Juin 24, 2010, 23:30:36
mais il n'y a pas que ça !!! Et la linéarité alors ? Un raw c'est linéaire (pour schématiser, un pixel qui a reçu 2 fois plus de lumière qu'un autre aura une "intensité" deux fois plus grande dans le fichier raw). Après développement du raw, l'image n'est plus du tout linéaire puisqu'une courbe est appliquée. Pour repasser les données en raw, il faudra donc au préalable appliquer la courbe inverse, faute de quoi un nouveau développement du raw donnera...n'importe quoi. Pas infaisable évidemment, tout est faisable en théorie, mais pas à la portée du premier clampin venu

pas Canon : seulement Chuck Westfall. Affirmation gratuite de sa part, et de plus l'analyse des raw sous toutes les coutures montre qu'il n'en est rien. Une légende, plus que probablement

Tu as raison, mais rien à voir avec le pb. Ne dis pas des choses de mr de la Palisse. Aucun besoin de toucher une courbe. Et s'il le fallait (peut être le faut il), changer une valeur informatique par son contraire est un jeu d'enfant. Regarde je vais le faire devant toi. 256 en 8b, hop je te fais un 10b avec 1024, cétypasmagik ! Blagues à part, retrouver l'inverse d'une manip unique, est basique dans notre domaine.

Les courbes sinon ? tiens je viens de coller et changer des raw, en mettant la courbe d'un raw iso normal dans un raw iso prhl. Cela t'interesse ?

CW a demandé d'abord au département RD de la maison mère, avant de revenir donner la réponse officielle de Canon Japon.

C'est TON analyse d'amateur qui ne sait pas où trouver les travaux revendiqués. C'est tout à fait différent, et tout à fait normal. Et aucun professionnel ne le pourrait non plus. Par essence, puisque tu ne connais pas la source. Souviens toi de ce que te dit Didier et d'autres : le raw des cmos et dans une moindre mesure celui des ccd n'est pas du tout le message original analogique encodé, il doit subir toute une chaîne de traitement, en principal pour se défaire de bruits de toutes sortes. Malgré toute ta bonne volonté, ou celle de n'importe qui, tant que tu n'aurais pas l'encodage en sortie de ligne, tu ne peux plus savoir ce qui est fait, pour faire un différentiel utile. Le simple fait d'observer la fft et/ou l'évolution du bruit gaussien, ou des darks, ou de plan gris, en observant les évolutions des bruits de points isolés, n'est pas non plus satisfaisant. Si une accentuation est appliquée, ou plutôt quant elle est appliquée, elle joue sur des facteurs pour ne pas toucher les points isolés. Pour faire simple, il y a des seuils, ou des formes intelligentes de reconnaissances de lignes de forces et de contrastes de luminances, sur des phénomènes répétés et suivis. Par exemple une longue ligne de crète pourrait entrer dans la routine du logiciel, alors qu'elle a une faible luminance, et un gros point blanc naturel, à coté, y échapper ( je grossis à volonté ). Mais on peut trouver une forme plus "introuvable" de l'accentuation, une acc sans seuil, sur la totalité des informations, ce qui évidemment donnerait encore une fois une constante sur la totalité des bruits, donc analysés comme un bruit natif (cela monterait le bruit de lum, mais l'intérêt serait de gagner du piqué artificiellement). A l'inverse, un gommage et une réduction du bruit de luminance sans seuil, pourrait être aussi invisible. Ce qui est visible, est l'intervention "intelligente" trop poussée, comme celle faite par Nikon dans les bruits en BL, car elle fait disparaître des points. Mais c'est voulu. Et utile. Idem une accentuation forte avec seuil, mais sans la précaution de ne pas toucher des informations isolées, se verrait. A partir du moment où des routines intelligentes ne démarrent que sur situations très complexes (photographies avec de multiples objets), il devient impossible de savoir si et où.

Olivier-P · Juin 27, 2010, 04:17:57

Citation de: Olivier-P le Juin 27, 2010, 04:14:54

... il devient impossible de savoir si et où.

Encore que, encore que.

Il y a peut être des manières de le savoir. Il y a peut être des cas où le constructeur se trahit, avec des sujets complexes, et qu'on peut le répéter, et le montrer, à partir du linéraire ( en collant un icc tt de mm, cad dématriçant les couleurs ). C'est un euphémisme pour dire que grace au raw prhl auquel j'ai collé les données d'un non-prhl, et fait la mm photo en raw normal, j'ai pu mettre en évidence la fameuse différence de traitement que tu demandes sur un autre fil. Cette autre affirmation de Canon est donc exacte également.

Et j'avoue que j'ai trouvé des choses auxquelles je ne m'attendais pas forcément. Evidemment strictement aucune différence sur la dyn elle mm, nous sommes d'accord c'est un 100iso aussi (200prhl). Les différences sont ailleurs, et dans le cas de poser en situation réelle, il y a bien un traitement. Lequel ? On répondra à l'endroit voulu, et comme dit de faire un fil dessus. Je te donne la réponse en privé d'abord, j'ai pas trop de temps, des obj reçus à tester vite et à rendre vite, regarder un peu le football, et pas envie de me dépêcher trop pour mal faire. C'est l'été

ps : pour les clampins, dis tu, auquel c'est impossible, là bien entendu ! Seulement, il n'est pas totalement impossible que l'ingénérie des sociétés de photographies numériques ne soient pas à ranger dans cette catégorie

Olivier-P · Juin 29, 2010, 03:06:09

Apres les encore que ... nous aurons des bien que.

Le 14b des canons n'est pas totalement rempli. Avec des recoupements en linéraire, on peut s'en apercevoir. Je viens de voir cela encore dans le 7D. Il me semble qu'un article vu qq part en parlait, je n'ai pas retrouvé où. Et dans un ancien fil, un débat avait eu lieu il y a trois ans de mémoire.
Le constructeur reçoit donc des infos, qu'il ne donne pas, sans doute pour les interpréter ( écréter en douceur ) et réagir ( retro agir ) sur les dernières informations ( HL ) du raw. Il est vrai qu'on ne voit plus ces jolies bordures vertes* sur les nuages, des raw d'il y a qq temps ... par des méthodes (lesquelles ?) réussies.

ps : je dis "vert", car souvent dans les canaux bleus ou rouges, cédaient les premiers, et les constructeurs laissait le chantier en l'état. Prendre un Nikon D100 ancien donc, et prendre un D300 actuel, plus jamais on ne voit ce genre de dérives. Par un hasard heureux, tous les canaux cedent en mm temps (blanc cramés mais pas d'entour exagérément colorés) ... je plaisante naturellement, pas de hasard. Un capteur est calé en TC de façon fixe, selon les éclairages, l'un ou l'autre sera rempli avant l'autre. Ici donc encore il y a eu intervention de l'intelligence humaine, pour cacher cette misère "normale". Canon avec bcp d'infos cachées, doit faire ce rabottage heureux, amha, dans cette fin de bit supérieur non divulguée dans le raw.

astrophoto · Juin 29, 2010, 20:30:39

Citation de: Olivier-P le Juin 29, 2010, 03:06:09
Le 14b des canons n'est pas totalement rempli. Avec des recoupements en linéraire, on peut s'en apercevoir

avec Iris pas besoin de recoupements, c'est immédiat. Sur un 5DII, je vois la saturation à 15360 (et non 16383 comme on pourrait le supposer en 14 bits). C'est très proche de ce qu'on voit dans les données internes du raw à destination du dématriceur, voir image ci-dessous ("WhiteLevel" = 15600). On voit aussi le "BlackLevel" (autrement dit l'offset) à 1024.

C'est dommage que tu te mettes des oeillères et que, pour examiner les raw, tu refuses d'utiliser les outils appropriés et que tu t'obstines à les regarder après dématriçage (ce qui - comme je l'ai déjà dit - revient, pour contrôler la dentition d'un cheval, à refuser de lui ouvrir la bouche et à s'obstiner à lui soulever la queue). Ainsi, tu aurais admis depuis longtemps la conclusion à laquelle tu vas immanquablement finir par arriver sur le mode PHL en raw (c'est juste une question de temps, et je suis patient) : c'est une simple sous-ex. En gros, ça t'éviterait de perdre du temps à réinventer l'eau tiède

senbei · Juin 30, 2010, 22:35:17

Citation de: astrophoto le Juin 29, 2010, 20:30:39
avec Iris pas besoin de recoupements, c'est immédiat. Sur un 5DII, je vois la saturation à 15360 (et non 16383 comme on pourrait le supposer en 14 bits). C'est très proche de ce qu'on voit dans les données internes du raw à destination du dématriceur, voir image ci-dessous ("WhiteLevel" = 15600). On voit aussi le "BlackLevel" (autrement dit l'offset) à 1024.

A ton avis quelle sont les raisons de ces valeurs ?
L'offset à 1024 ça correspond à quoi ? Les valeurs numérisés des 10 premiers bits sont rabotés dans le noir pour tuer le bruit ?
Si la saturation est limitée à 15600 et le noir commence à 1024, il reste 14576 valeurs intermédiaires, soient à peut près 13.83 EV de dynamique théoriquement enregistrable; c'est pas si mal. Mais comme on sait qu'en réalité cette valeur maximum théorique n'est jamais atteinte, ça signifie que même avec un offest à 1024 il reste un paquet de bruit thermique et de parasites de lecture... $:-\$
C'est ça ou bien j'interprète mal ?

astrophoto · Juin 30, 2010, 23:40:21

Citation de: senbei le Juin 30, 2010, 22:35:17
L'offset à 1024 ça correspond à quoi ? Les valeurs numérisés des 10 premiers bits sont rabotés dans le noir pour tuer le bruit ?

non, c'est juste un décalage : le "zéro lumière" commence à 1024 et non à 0 (ça c'est pour le 5DII ; sur le 7D l'offset est carrément à 2048). La raison est qu'avec un offset à 0 (comme chez Nikon), on rabote une partie du bruit (qui est une petite variation autour du zéro) et ça modifie ses caractéristiques. Tout dispositif de captation de lumière correctement conçu doit comporter ce genre de décalage.

Citation de: senbei le Juin 30, 2010, 22:35:17
Si la saturation est limitée à 15600 et le noir commence à 1024, il reste 14576 valeurs intermédiaires, soient à peut près 13.83 EV de dynamique théoriquement enregistrable; c'est pas si mal.

oui, il y en a largement assez, vu que la dynamique réelle est inférieure à cette valeur (voir les mesures Dxo)

Citation de: senbei le Juin 30, 2010, 22:35:17
Mais comme on sait qu'en réalité cette valeur maximum théorique n'est jamais atteinte, ça signifie que même avec un offest à 1024 il reste un paquet de bruit thermique et de parasites de lecture... $:-\$
C'est ça ou bien j'interprète mal ?

je ne sais pas, je ne comprends pas bien ce que tu veux dire par là

vianet · Juillet 01, 2010, 00:06:42

C'est simple astrophoto: vois-tu une différence dans IRIS entre une photo d'un Canon 1D3 ou 1D4 prise à 100 isos et celle prise avec le même appareil à 200 isos PHL?
Veux tu des fichiers pour comparer?

astrophoto · Juillet 01, 2010, 00:24:12

Citation de: vianet le Juillet 01, 2010, 00:06:42
C'est simple astrophoto: vois-tu une différence dans IRIS entre une photo d'un Canon 1D3 ou 1D4 prise à 100 isos et celle prise avec le même appareil à 200 isos PHL?
Veux tu des fichiers pour comparer?

aucune différence, les images sont identiques (au bruit près évidemment) comme montré ici : http://www.chassimages.com/forum/index.php/topic,90574.0.html

vianet · Juillet 01, 2010, 09:27:49

Merci de m'avoir répondu aussi vite. Je vais regarder ça.
D'après mon expérience personnelle, travailler en sport en hauts isos en PHL augmente de façon significative le bruit et diminue la réactivité de l'appareil en refale.
Ce mode est donc à proscrire.

Peik · Juillet 02, 2010, 01:12:41

Citation de: vianet le Juillet 01, 2010, 09:27:49
Merci de m'avoir répondu aussi vite. Je vais regarder ça.
D'après mon expérience personnelle, travailler en sport en hauts isos en PHL augmente de façon significative le bruit et diminue la réactivité de l'appareil en refale.
Ce mode est donc à proscrire.

Remarque très intéressante qui semblerait donner raison à Olivier-P...
Un traitement prend du temps de calcul, pas une sous exposition

Peik · Juillet 02, 2010, 01:13:58

doublon

astrophoto · Juillet 02, 2010, 07:40:39

Citation de: kamioon le Juillet 02, 2010, 01:12:41
Remarque très intéressante qui semblerait donner raison à Olivier-P...
Un traitement prend du temps de calcul, pas une sous exposition

je viens d'essayer sur mon 5DII :

mode normal : 4,0 secondes pour une rafale de 16 images, 9,8 secondes pour la fin d'écriture sur la carte
mode PHL : 4,0 secondes pour une rafale de 16 images, 9,8 secondes pour la fin d'écriture sur la carte

merci kamioon pour cette nouvelle confirmation qu'Olivier n'a pas raison

Peik · Juillet 05, 2010, 21:24:16

Citation de: astrophoto le Juillet 02, 2010, 07:40:39
je viens d'essayer sur mon 5DII :

mode normal : 4,0 secondes pour une rafale de 16 images, 9,8 secondes pour la fin d'écriture sur la carte
mode PHL : 4,0 secondes pour une rafale de 16 images, 9,8 secondes pour la fin d'écriture sur la carte

merci kamioon pour cette nouvelle confirmation qu'Olivier n'a pas raison

Non, cela ne dit que le "temps de calcul est (approximativement) le même" (avec la précision de la mesure) et infirme seulement ce que disait Vianet.
Si traitement il y a, il peut être numérique, mais de même ordre, avec des paramètres différents ou bien avant conversion numérique, comme une amplification non linéaire par exemple du 100 iso natif.

Jusqu'à présent (pour moi en tout cas), ni l'un ni l'autre par ses méthodes "expérimentales" employées n'a apporté la preuve de la justesse de ses affirmations.
Math nul

A suivre

vianet · Juillet 05, 2010, 23:20:35

J'ai fait des tests sous différentes intensités lumineuses, c'est effectivement à peu près pareil en RAW et en jpg.
Ce qui est frappant, c'est l'exposition: en PRHL 200 isos, elle est beaucoup plus constante qu'à 100 isos où elle fluctue d'une image sur l'autre, passant du 1/500 s au 1/640s ou 1/25 s au 1/30 s. En PRHL 200 isos, on a respectivement 1/1250 s et 1/60 s. Ce mode est surtout ennuyeux pour le traitement du bruit à hauts isos et occasionne des sautes d'exposition en éclairage artificiel. C'est ce que je voulais dire
Maintenant, effectivement, cela n'impacte pas la réactivité globale comme je le pensais. Confondu par la réduction du bruit in-camera en haits isos pour envoyer en jpg aux agences directement pour affichage web.

Amende honorable mister astrophoto.

Difficile à dire mais ce mode parait-âtre une bête sous-exposition d'1 IL environ redressée par une coube ad-hoc (aux sautes d'humeur de l'exposition près).
Thierry Legault pourrait fort bien avoir raison. Quelqu'un a-t-il la réponse de Canon?

astrophoto · Juillet 06, 2010, 23:25:39

Citation de: kamioon le Juillet 05, 2010, 21:24:16

Jusqu'à présent (pour moi en tout cas), ni l'un ni l'autre par ses méthodes "expérimentales" employées n'a apporté la preuve de la justesse de ses affirmations.
Math nul

pas du tout kamioon, j'ai apporté plusieurs fois des preuves en images, les dernières ici que tu peux télécharger toi-même : http://www.chassimages.com/forum/index.php/topic,90574.0.html

Après s'être contenté d'affirmations gratuites, Olivier vient enfin d'apporter des fichiers (voir la fin du fil)...sauf qu'il interprète des variations d'expo (diaph probablement) comme un effet du mode PHL.

Je crois qu'en matières de preuves expérimentales il n'y pas pas photo...