Pour les spécialistes : dématriçage, interpolation et taille de fichier...

[Cédric M.]

Voilà : je me pose des questions existentielles mais je ne sais pas si quelqu’un est en mesure de me répondre, en dehors d’un ingé de chez Nikon…

Pour poser le cadre : le D700 est équipé, comme la plupart des réflex numériques, d’un capteur à matrice de Bayer. Ce capteur comprend environ 12 millions de photosites, répartis comme suit : 3 millions dédiés à la couleur Rouge, 3 millions dédiés à la couleur Bleue et 6 millions dédiés à la couleur Verte. Jusqu’ici, rien de bien nouveau.

En vertu de la conception de la matrice de Bayer et de l’action du filtre anti-aliasing qui diffuse la lumière sur plusieurs photosites, un tel capteur ne permet donc de connaître avec certitude et de manière directe que 3 millions de pixels RVB environ. Ce que l’on va appeler la résolution réelle du capteur.

Après transfert des charges des photosites, l’unité de post-traitement va opérer un « dématriçage » des données contenues dans la matrice de Bayer de façon à reconstituer l’image. Comme on l’a vu, il n’est possible de connaître directement que 3 millions de pixels. Au-delà, tout n’est qu’interpolation à partir des informations partielles de chaque photosite. Interpolation souvent de qualité d’ailleurs, qui permet de monter jusqu’à une résolution apparente de 12 millions de pixels.

Le D700, comme la plupart des APN, offre plusieurs tailles de fichiers de sortie : L qui correspond à la résolution apparente maximale de 12 millions de pixels, M qui correspond je crois à 6 ou 8 millions de pixels, et S qui correspond à la « résolution réelle » du capteur, à savoir 3 millions de pixels.

Là vient ma question : si l’on choisit la taille de fichier S, comment va se comporter le processeur Expeed du D700 ? Va-t-il utiliser une méthode de dématriçage de type Super-Pixel qui utilise plusieurs photosites adjacents (4 en général) de façon à reconstituer le pixel « réel » sans interpolation ? Ou au contraire va-t-il interpoler classiquement à 12 millions de pixels pour ensuite redimensionner l’image à 3 millions de pixels ce qui revient à altérer en partie l’information d’origine ?

Vous l’aurez compris, je cherche au final à savoir s’il est possible d’obtenir directement sur le boîtier un fichier exempt de toute interpolation…

NB : attention, ceci n’est pas un débat sur l’utilisation du RAW   

[stougard]

Là vient ma question : si l’on choisit la taille de fichier S, comment va se comporter le processeur Expeed du D700 ? Va-t-il utiliser une méthode de dématriçage de type Super-Pixel qui utilise plusieurs photosites adjacents (4 en général) de façon à reconstituer le pixel « réel » sans interpolation ? Ou au contraire va-t-il interpoler classiquement à 12 millions de pixels pour ensuite redimensionner l’image à 3 millions de pixels ce qui revient à altérer en partie l’information d’origine ?

Tu as raison sur un point, seul un ingenieur de Nikon peut te repondre. Cependant, il existe un outil qui peut, en partant d'un raw, te donner directement ce que tu veux : dcraw http://www.dcraw.org

Avec l'option -h

-h        Half-size color image (twice as fast as "-q 0")

dcraw va generer un tif en RGB dont chaque point est compose d'un ensemble de 4 points venant du raw : R = R, B = B, (G + G) /2 = G, c'est a dire sans interpolation.

J'avais pas trouve ca meilleur qu'une interpolation puis reduction. Mais ca peut te permettre d'avoir une idee de ce qu'un tel fichier peut donner.

[Cédric M.]

Oui, j'avais entendu parler de ce logiciel... Merci, je vais regarder ça...

[Verso92]

En vertu de la conception de la matrice de Bayer et de l’action du filtre anti-aliasing qui diffuse la lumière sur plusieurs photosites, un tel capteur ne permet donc de connaître avec certitude et de manière directe que 3 millions de pixels RVB environ. Ce que l’on va appeler la résolution réelle du capteur.

Euh... d'où sors-tu ces chiffres ?

L'info perdue par la matrice de Bayer est une info de chrominance essentiellement. Celle-ci intervient fort peu dans la notion de résolution, à l'inverse de la luminance. Et en luminance, on a bien 12 millions de pixels, non ?

(même si, au bout du compte, les lentilles collectrices, le filtre AA, etc, viendront limiter cette résolution théorique...)

[Cédric M.]

Exact, je parlais surtout de l'analyse de la couleur... Je ne sais pas du tout quelle est l'influence de la matrice de Bayer sur la luminance, c'est effectivement un point intéressant.

Le filtre AA réduit également drastiquement cette résolution mais il faudrait que je ravive mes maigres souvenirs de science (la fréquence de coupure, la fréquence d'échantillonnage, etc...). 

[Cédric M.]

Bon, je viens de me taper rapidos un cours de physique qui a réduit à néant ma théorie personnelle sur l'interpolation... C'est beaucoup beaucoup plus compliqué que ce que j'imaginais et effectivement c'est surtout le filtre AA qui joue sur la résolution et au final sur la perception de l'oeil humain. 

[Verso92]

Le principal problème du filtre AA, c'est que par définition il n'est pas parfait : sa pente n'est pas infinie. Suivant le réglage, il peut ne pas trop nuire au piqué, mais avec des risques de moiré, et lycée de Versailles...

[Cédric M.]

Il y a-t-il alors un moyen de connaître la résolution optimale de luminance du capteur du D700 ? Ce n'est pas 12 millions de points, c'est sûr, ce n'est pas non plus 3...

[Bernard2]

Bon, je viens de me taper rapidos un cours de physique qui a réduit à néant ma théorie personnelle sur l'interpolation... C'est beaucoup beaucoup plus compliqué que ce que j'imaginais et effectivement c'est surtout le filtre AA qui joue sur la résolution et au final sur la perception de l'oeil humain. 

Effectivement ta présentation de l'interpolation est assez simpliste.
Le calcul ne se base pas sur seulement les 4 pixels voisins, mais sur une matrice plus large, et de plus le calcul est affiné par le décalage d'un seul pixel à chaque pas de calcul ce qui augmente l'échantillonnage. Et certainement bien d'autres finesses.

[Cédric M.]

Il faut surtout séparer l'estimation de la luminance de l'interpolation de la chrominance... chose que j'ai découverte aujourd'hui. 

Pour les 4 pixels en question, je parlais surtout de la méthode dite du "Super-pixel" qui justement ne nécessite aucune interpolation... mais donne une résolution minimale tant en préservant l'accutance.

[Bernard2]

Il faut surtout séparer l'estimation de la luminance de l'interpolation de la chrominance... chose que j'ai découverte aujourd'hui. 

Pour les 4 pixels en question, je parlais surtout de la méthode dite du "Super-pixel" qui justement ne nécessite aucune interpolation... mais donne une résolution minimale tant en préservant l'accutance.

Vois ici une explication intéressante quant à la perte de résolution du bayer(mais comme c'est de la photo astro il ne prend pas en compte le filtre AA).
http://www.astrosurf.com/ubb/Forum2/HTML/019777.html
Vois le post de mala du 15 à 19H29

[seba]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.
On pourrait voir ça expérimentalement sur un sujet piégeux pour le dématriçage (avec des artefacts caractéristiques) et voir s'il y a les mêmes artefacts avec une résolution inférieure (en supposant que les artefacts restent visibles à la résolution inférieure).

[Cédric M.]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.
On pourrait voir ça expérimentalement sur un sujet piégeux pour le dématriçage (avec des artefacts caractéristiques) et voir s'il y a les mêmes artefacts avec une résolution inférieure (en supposant que les artefacts restent visibles à la résolution inférieure).

Bref, c'est assez compliqué et je crois que je vais en rester là 

Toutes ces réflexions me sont venues en lisant hier certains articles de Ken Rockwell : j'aime assez l'état d'esprit du bonhomme qui manie bien l'ironie et a souvent de bonnes intuitions mais sur ce coup-là il a écrit un peu n'importe quoi, même si le constat de départ était plutôt juste : pourquoi une image non accentuée issue d'un réflex numérique est-elle toujours plus ou moins molle visualisée à 100% ? 

[Verso92]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.

Je pense aussi...

Bref, c'est assez compliqué et je crois que je vais en rester là 

Petit joueur !

;-)

[baséli]

L'info perdue par la matrice de Bayer est une info de chrominance essentiellement. Celle-ci intervient fort peu dans la notion de résolution, à l'inverse de la luminance. Et en luminance, on a bien 12 millions de pixels, non ?

Sauf que ici, l'information de luminance risque d'être passablement distordue si on ne regarde que la luminance des pixels. Chaque pixel de la matrice n'affiche pas la même sensibilité aux différentes longueurs d'onde, par construction de la matrice. La totalité de la luminance n'est donc pas prise en compte par chaque pixel... Donc "interpolation" il y a aussi pour la luminance.

[baséli]

pourquoi une image non accentuée issue d'un réflex numérique est-elle toujours plus ou moins molle visualisée à 100% ? 

C'est le filtre passe bas. Mais je crois que tu as compris...

[Cédric M.]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

[Verso92]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

Oui, enfin, il serait intéressant que nous nous montres des exemples comparatifs entre Jpeg et TIFF, pour bien voir cette différence flagrante...

[Bernard2]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

Là je ne sais pas si tu as comme base de comparaison les fichiers jpg de nikon, mais si c'est le cas les dès sont un peu pipés
En effet nikon est peu performant en ce qui concerne les jpg direct (j'en arrive à croire que c'est volontaire...D) car la différence avec les RAW est flagrante (en netteté) et c'est pratiquement un cas unique (à ce point là au moins). Les autres marques ont des jpg quasiment identiques aux RAW.

[Cédric M.]

Je parlais effectivement des jpegs directs de boîtier... Quand j'en aurais le temps, je posterai des crops mais je pense que tout le monde ici est en mesure de faire le test 

[Phil_C]

Pour en revenir au sujet du fil, la résolution étant perçue comme la luminance, et la luminance étant mesurée au travers d'un filtre photopique (Vert), pas de pb: la matrice de Bayer comprend deux fois plus de pixels verts que de rouge et bleu. Nativement, la résolution passe à 6 Mp. Ce point est évoqué brièvement dans le Bouillot (P167 pour ceux qui ont l'édition 2). La résolution de l'oeil est aussi deux fois moindre dans les couleurs que dans le vert, notre bonne matrice de bayer réagit peu ou prou comme notre rétine. Maintenant, si l'on considère la couleur blanche, elle contient une part de rouge et bleu, ce qui rend l'interpolation de la luminance possible avec les pixels rouge et bleu, connaissant la réponse spectrale des filtres et la couleur mesurée (Par déduction des points voisins). Un autre facteur est le filtre AA, qui casse les transitions de haute fréquence en étalant l'information sur au moins deux pixels. Tout ceci est modelisable et fait partie de l'intelligence des algos de dématricage. Et heureusement que les tests de résolution et piqué se font sur des mires (Points ou multiburst) blanche et noire, c'est le cas le plus facile à traiter. Une mire bleu pure ne procurerait que trés peu de signal au travers des pixels rouges...

[seba]

Maintenant la question de départ me fait penser au cas dans lesquels on a du "pixel binning" qui met en commun, si j'ai bien compris, les électrons de plusieurs pixels adjacents.
Est-ce que ces pixels adjacents sont de différentes couleurs ? Je suppose que oui.
Dans ce cas, comment ça se passe pour le dématriçage ?

[Verso92]

Je parlais effectivement des jpegs directs de boîtier... Quand j'en aurais le temps, je posterai des crops mais je pense que tout le monde ici est en mesure de faire le test 

J'ai fait un petit essai, vite fait, entre le Jpeg et TIFF "boitier" (D700), juste pour essayer d'appréhender la dégradation dûe à la compression Jpeg du boitier par rapport à un format non compressé :

1 - Crop 100% Jpeg,
2 - Crop 100% TIFF.

[Jean-Claude]

Le dématriçage n'a rien à voir avec une interpolation.

L'interpolation est la création de toutes pièces d'un nouveau point image totalement manquant à l'origine

Dans une info RAW, on a bel et bien un point image existant, on ne crée pas de point image neuf, si ce n'est que pour l'existant il manque des informations côté couleur que l'on recrée à partir des infos tout autour. Les algotithmes très sophistiqués actuels font un boulot remarquable, mais il est ausi vrai qu'il leur arrive rarement de se planter complètement pour donner certains rares bizarres artefacts.

Quand je vois le potentiel supplémentaire d'interpolation et d'accentuation des fichiers déjà dématricés j'en reste toujours emerveillé, mais comment peut-on sortir autant de détails de si peu d'infos capteur au départ ?

[Cédric M.]

Verso, ton test est surprenant : es-tu sûr d'avoir exactement les mêmes réglages entre les deux prises de vue et notamment l'accentuation à 0 ?

[Verso92]

Verso, ton test est surprenant : es-tu sûr d'avoir exactement les mêmes réglages entre les deux prises de vue et notamment l'accentuation à 0 ?

En quoi est-il surprenant, Cédric ?

On note effectivement une très légère dégradation dûe à la compression Jpeg (légère douceur), mais pas de quoi fouetter un chat, du moins en fonction de mes critères...


Les deux photos ont été bien évidemment été prises avec les mêmes réglages boitier (accentuation = 2)...

[Bernard2]

En quoi est-il surprenant, Cédric ?

On note effectivement une très légère dégradation dûe à la compression Jpeg (légère douceur), mais pas de quoi fouetter un chat, du moins en fonction de mes critères...


Les deux photos ont été bien évidemment été prises avec les mêmes réglages boitier (accentuation = 2)...

En revanche si tu fais le même test jpg vs RAW...

[Verso92]

En revanche si tu fais le même test jpg vs RAW...

On verra ça ce soir...

;-)

[Cédric M.]

En quoi est-il surprenant, Cédric ?

On note effectivement une très légère dégradation dûe à la compression Jpeg (légère douceur), mais pas de quoi fouetter un chat, du moins en fonction de mes critères...


Les deux photos ont été bien évidemment été prises avec les mêmes réglages boitier (accentuation = 2)...

Surprenant parce que j'avais constaté une différence de qualité nettement plus visible lors de mes tests, mais avec des fichiers non accentués ce qui peut expliquer ceci.

[Bernard2]

Surprenant parce que j'avais constaté une différence de qualité nettement plus visible lors de mes tests, mais avec des fichiers non accentués ce qui peut expliquer ceci.

C'est sans doute le contraire...
voici les mêmes images après accentuation identique. la différence, toujours légère, est quand même plus visible dans les détails tres ténus. (voir les rainures dans le mur, bien nettes dans le tiff et a moitié mangées dans le jpg)

[Bernard2]

En ce qui concerne RAW vs Jpeg c'est bien plus sensible.


ici la même image prise en double format RAW +jpg fine donc avec les mêmes réglages

[Bernard2]

et avec une accentuation supplémentaire

[Bernard2]

cote à cote c'est plus commode

[Verso92]

Tes jardiniers ne sont pas beaucoup plus doués que les miens...

;-)

[chewan]

Va-t-il utiliser une méthode de dématriçage de type Super-Pixel qui utilise plusieurs photosites adjacents (4 en général) de façon à reconstituer le pixel « réel » sans interpolation ? Ou au contraire va-t-il interpoler classiquement à 12 millions de pixels pour ensuite redimensionner l’image à 3 millions de pixels ce qui revient à altérer en partie l’information d’origine ?

Tout fichier en provenance d'une matrice de bayer est de facto interpolé.

D'ailleurs le super-Pixel qui utilise plusieurs photosites adjacents EST une interpolation...

La réponse à ta question est non, désolé.


La seule solution serait de monter 3 capteur comme sur les bonne caméra vidéo, mais bon le prix ainsi que la place serait un problème.

Et bon les algo de dématricages existants sont quand même performant et peuvent monter à environ 80 % de l'information de base, donc...

[seba]

D'ailleurs le super-Pixel qui utilise plusieurs photosites adjacents EST une interpolation...

Comment ça ?
Si chaque photosite était constitué de 3 sous-photosites colorés (on aurait directement les couleurs pour chaque photosite), y aurait-il interpolation ?

[Bernard2]

Tout fichier en provenance d'une matrice de bayer est de facto interpolé.

D'ailleurs le super-Pixel qui utilise plusieurs photosites adjacents EST une interpolation...

La réponse à ta question est non, désolé.


La seule solution serait de monter 3 capteur comme sur les bonne caméra vidéo, mais bon le prix ainsi que la place serait un problème.

Et bon les algo de dématricages existants sont quand même performant et peuvent monter à environ 80 % de l'information de base, donc...

Comme le suggère le post de seba il n'y a pas d'interpolation à partir du moment où les 3 ou 4 photosites RVB sont utilisés pour créer un seul pixel couleur.
C'est lorsque chaque photosite R,V,ou B devient un pixel couleur complet qu'il y a interpolation.

[jdc]

Lorsqu'on parle d'interpolation et de dématricage, se posent de nombreuses questions au-delà de la sémantique...

Je donne les étapes essentielles d'un processus (simplifié) de traitement (ici ma version de Dcraw: Dcraw_97op disponible sur mon site):
*Lire l'entête du fichier: type, modèle, etc.
*Lire la matrice de Bayer: valeurs RGGB...
*Éventuel traitement du bruit de luminance
*Éventuel traitement du bruit par Wavelet
*Balance des blancs
*Aberrations chromatiques
*Interpolation avec choix de l'algorithme
       éventuelle réduction du bruit de chrominance pendant l'interpolation
       éventuelle prise en compte de la fréquence de Nyquist
       Etc.
*Éventuels filtres médians et Laplaciens pour réduire les artefacts
*Éventuelle accentuation en mode Lab
* Éventuel traitement des basses lumières, du contraste et de la saturation,...

* A ce stade on dispose en mémoire de valeurs « rggb » qui sont tout à fait utilisables. Ces valeurs sont sans espace colorimétrique, ni gamma
* Deux options sont possibles dans la conversion rggb ==> RGGB. Soit on utilise un profil ICC, soit par calcul on convertit vers un espace de son choix (sRGB, Prophoto, Adobe,...)
* Ensuite on applique un gamma via une LUT
* Éventuels « niveaux »,
* Création du fichier TIFF

Remarques sur l'interpolation :
Une bonne interpolation  :

*devrait être capable de détecter les textures fines, notamment prendre en compte la fréquence de Nyquist

*ne produirait pas de diagonales non rectilignes

*n'accroitrait pas le bruit : il existe des images tests (le « phare » par exemple) qui permettent avec les logiciels dont on maîtrise complètement l'utilisation, de mesurer le rapport signal sur bruit de l'interpolation. Plus ce rapport est élevé moins l'interpolation apporte de bruit

*ne produirait pas d'artefacts (déplacement de pixels, faux pixels, Moiré, couleurs,...)

*respecterait les couleurs (deltaE94...)

*etc.

Il existe de nombreux algorithmes d'interpolation dont le code est disponible (bilinéaire, PPG, VNG, AHD,...) que l'on retrouve par exemple dans Dcraw, mais aussi avec des variantes dans d'autres produits comme ACR, etc.. Certains sont propriétaires (C1, NX2, DxO), et d'autres sont en cours de développement notamment par l'équipe de Perfectraw (M.LLorens, E.Martinec,P.Lee,  L.Sanz,...et moi même qui apporte une modeste contribution), on peut citer AMaZE, VCD, RGE, RPC, etc. : AmaZE et RGE étant réellement très bons, voire exceptionnels!).

Ces algorithmes sont dits « locaux » ou NL (non locaux). Dans le cas des locaux chaque pixel est examiné et on lit jusque 120 pixels (ou plus) autour dans le cas des algorithmes performants (bien sûr cette performance a un prix, exprimée en terme de temps...). Les algorithmes NL (DxO, AmaZE,...) se servent de l'ensemble des pixels situés autour du pixel de référence et donc sont (seraient) extrêmement lents...Ils ne sont vraiment opérationnels qu'à la condition de se servir du processeur graphique et/ou programmation parallèle...

 Les algorithmes sont tous différents mais s'inspirent des principes généraux suivants (dans le désordre), pour chaque pixel du capteur (un traitement spécifique est réalisé pour les bords):
*calculer la luminance et la chrominance
*évaluer les différences de couleurs
*évaluer les gradients pour donner la direction à prendre
*interpoler la luminance
*interpoler la chrominance.

A l'issue du traitement on dispose de valeurs « rggb » sans espace, sans gamma,...

[Cédric M.]

Ca n'aide pas à faire de meilleures photos mais je trouve toutes ces explications et ce fil en général très intéressants 

[Bernard2]

Tes jardiniers ne sont pas beaucoup plus doués que les miens...

;-)

là ils n'ont même pas osé essayer :-)