Pour les spécialistes : dématriçage, interpolation et taille de fichier...

[Cédric M.]

Voilà : je me pose des questions existentielles mais je ne sais pas si quelqu’un est en mesure de me répondre, en dehors d’un ingé de chez Nikon…

Pour poser le cadre : le D700 est équipé, comme la plupart des réflex numériques, d’un capteur à matrice de Bayer. Ce capteur comprend environ 12 millions de photosites, répartis comme suit : 3 millions dédiés à la couleur Rouge, 3 millions dédiés à la couleur Bleue et 6 millions dédiés à la couleur Verte. Jusqu’ici, rien de bien nouveau.

En vertu de la conception de la matrice de Bayer et de l’action du filtre anti-aliasing qui diffuse la lumière sur plusieurs photosites, un tel capteur ne permet donc de connaître avec certitude et de manière directe que 3 millions de pixels RVB environ. Ce que l’on va appeler la résolution réelle du capteur.

Après transfert des charges des photosites, l’unité de post-traitement va opérer un « dématriçage » des données contenues dans la matrice de Bayer de façon à reconstituer l’image. Comme on l’a vu, il n’est possible de connaître directement que 3 millions de pixels. Au-delà, tout n’est qu’interpolation à partir des informations partielles de chaque photosite. Interpolation souvent de qualité d’ailleurs, qui permet de monter jusqu’à une résolution apparente de 12 millions de pixels.

Le D700, comme la plupart des APN, offre plusieurs tailles de fichiers de sortie : L qui correspond à la résolution apparente maximale de 12 millions de pixels, M qui correspond je crois à 6 ou 8 millions de pixels, et S qui correspond à la « résolution réelle » du capteur, à savoir 3 millions de pixels.

Là vient ma question : si l’on choisit la taille de fichier S, comment va se comporter le processeur Expeed du D700 ? Va-t-il utiliser une méthode de dématriçage de type Super-Pixel qui utilise plusieurs photosites adjacents (4 en général) de façon à reconstituer le pixel « réel » sans interpolation ? Ou au contraire va-t-il interpoler classiquement à 12 millions de pixels pour ensuite redimensionner l’image à 3 millions de pixels ce qui revient à altérer en partie l’information d’origine ?

Vous l’aurez compris, je cherche au final à savoir s’il est possible d’obtenir directement sur le boîtier un fichier exempt de toute interpolation…

NB : attention, ceci n’est pas un débat sur l’utilisation du RAW   

[stougard]

Là vient ma question : si l’on choisit la taille de fichier S, comment va se comporter le processeur Expeed du D700 ? Va-t-il utiliser une méthode de dématriçage de type Super-Pixel qui utilise plusieurs photosites adjacents (4 en général) de façon à reconstituer le pixel « réel » sans interpolation ? Ou au contraire va-t-il interpoler classiquement à 12 millions de pixels pour ensuite redimensionner l’image à 3 millions de pixels ce qui revient à altérer en partie l’information d’origine ?

Tu as raison sur un point, seul un ingenieur de Nikon peut te repondre. Cependant, il existe un outil qui peut, en partant d'un raw, te donner directement ce que tu veux : dcraw http://www.dcraw.org

Avec l'option -h

-h        Half-size color image (twice as fast as "-q 0")

dcraw va generer un tif en RGB dont chaque point est compose d'un ensemble de 4 points venant du raw : R = R, B = B, (G + G) /2 = G, c'est a dire sans interpolation.

J'avais pas trouve ca meilleur qu'une interpolation puis reduction. Mais ca peut te permettre d'avoir une idee de ce qu'un tel fichier peut donner.

[Cédric M.]

Oui, j'avais entendu parler de ce logiciel... Merci, je vais regarder ça...

[Verso92]

En vertu de la conception de la matrice de Bayer et de l’action du filtre anti-aliasing qui diffuse la lumière sur plusieurs photosites, un tel capteur ne permet donc de connaître avec certitude et de manière directe que 3 millions de pixels RVB environ. Ce que l’on va appeler la résolution réelle du capteur.

Euh... d'où sors-tu ces chiffres ?

L'info perdue par la matrice de Bayer est une info de chrominance essentiellement. Celle-ci intervient fort peu dans la notion de résolution, à l'inverse de la luminance. Et en luminance, on a bien 12 millions de pixels, non ?

(même si, au bout du compte, les lentilles collectrices, le filtre AA, etc, viendront limiter cette résolution théorique...)

[Cédric M.]

Exact, je parlais surtout de l'analyse de la couleur... Je ne sais pas du tout quelle est l'influence de la matrice de Bayer sur la luminance, c'est effectivement un point intéressant.

Le filtre AA réduit également drastiquement cette résolution mais il faudrait que je ravive mes maigres souvenirs de science (la fréquence de coupure, la fréquence d'échantillonnage, etc...). 

[Cédric M.]

Bon, je viens de me taper rapidos un cours de physique qui a réduit à néant ma théorie personnelle sur l'interpolation... C'est beaucoup beaucoup plus compliqué que ce que j'imaginais et effectivement c'est surtout le filtre AA qui joue sur la résolution et au final sur la perception de l'oeil humain. 

[Verso92]

Le principal problème du filtre AA, c'est que par définition il n'est pas parfait : sa pente n'est pas infinie. Suivant le réglage, il peut ne pas trop nuire au piqué, mais avec des risques de moiré, et lycée de Versailles...

[Cédric M.]

Il y a-t-il alors un moyen de connaître la résolution optimale de luminance du capteur du D700 ? Ce n'est pas 12 millions de points, c'est sûr, ce n'est pas non plus 3...

[Bernard2]

Bon, je viens de me taper rapidos un cours de physique qui a réduit à néant ma théorie personnelle sur l'interpolation... C'est beaucoup beaucoup plus compliqué que ce que j'imaginais et effectivement c'est surtout le filtre AA qui joue sur la résolution et au final sur la perception de l'oeil humain. 

Effectivement ta présentation de l'interpolation est assez simpliste.
Le calcul ne se base pas sur seulement les 4 pixels voisins, mais sur une matrice plus large, et de plus le calcul est affiné par le décalage d'un seul pixel à chaque pas de calcul ce qui augmente l'échantillonnage. Et certainement bien d'autres finesses.

[Cédric M.]

Il faut surtout séparer l'estimation de la luminance de l'interpolation de la chrominance... chose que j'ai découverte aujourd'hui. 

Pour les 4 pixels en question, je parlais surtout de la méthode dite du "Super-pixel" qui justement ne nécessite aucune interpolation... mais donne une résolution minimale tant en préservant l'accutance.

[Bernard2]

Il faut surtout séparer l'estimation de la luminance de l'interpolation de la chrominance... chose que j'ai découverte aujourd'hui. 

Pour les 4 pixels en question, je parlais surtout de la méthode dite du "Super-pixel" qui justement ne nécessite aucune interpolation... mais donne une résolution minimale tant en préservant l'accutance.

Vois ici une explication intéressante quant à la perte de résolution du bayer(mais comme c'est de la photo astro il ne prend pas en compte le filtre AA).
http://www.astrosurf.com/ubb/Forum2/HTML/019777.html
Vois le post de mala du 15 à 19H29

[seba]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.
On pourrait voir ça expérimentalement sur un sujet piégeux pour le dématriçage (avec des artefacts caractéristiques) et voir s'il y a les mêmes artefacts avec une résolution inférieure (en supposant que les artefacts restent visibles à la résolution inférieure).

[Cédric M.]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.
On pourrait voir ça expérimentalement sur un sujet piégeux pour le dématriçage (avec des artefacts caractéristiques) et voir s'il y a les mêmes artefacts avec une résolution inférieure (en supposant que les artefacts restent visibles à la résolution inférieure).

Bref, c'est assez compliqué et je crois que je vais en rester là 

Toutes ces réflexions me sont venues en lisant hier certains articles de Ken Rockwell : j'aime assez l'état d'esprit du bonhomme qui manie bien l'ironie et a souvent de bonnes intuitions mais sur ce coup-là il a écrit un peu n'importe quoi, même si le constat de départ était plutôt juste : pourquoi une image non accentuée issue d'un réflex numérique est-elle toujours plus ou moins molle visualisée à 100% ? 

[Verso92]

A mon avis le dématriçage se fait dans tous les cas, la réduction de la résolution se faisant après coup à partir du fichier dématricé.

Je pense aussi...

Bref, c'est assez compliqué et je crois que je vais en rester là 

Petit joueur !

;-)

[baséli]

L'info perdue par la matrice de Bayer est une info de chrominance essentiellement. Celle-ci intervient fort peu dans la notion de résolution, à l'inverse de la luminance. Et en luminance, on a bien 12 millions de pixels, non ?

Sauf que ici, l'information de luminance risque d'être passablement distordue si on ne regarde que la luminance des pixels. Chaque pixel de la matrice n'affiche pas la même sensibilité aux différentes longueurs d'onde, par construction de la matrice. La totalité de la luminance n'est donc pas prise en compte par chaque pixel... Donc "interpolation" il y a aussi pour la luminance.

[baséli]

pourquoi une image non accentuée issue d'un réflex numérique est-elle toujours plus ou moins molle visualisée à 100% ? 

C'est le filtre passe bas. Mais je crois que tu as compris...

[Cédric M.]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

[Verso92]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

Oui, enfin, il serait intéressant que nous nous montres des exemples comparatifs entre Jpeg et TIFF, pour bien voir cette différence flagrante...

[Bernard2]

Oui, et également ne pas négliger la compression jpeg ! Il suffit de voir la différence de netteté à 100% entre deux photos identiques, l'une prise en jpeg et l'autre en tiff sans compression ! Ce qui justifie d'ailleurs l'usage du RAW qui permet de générer du tiff autrement plus fin que le jpeg de boîtier.

Là je ne sais pas si tu as comme base de comparaison les fichiers jpg de nikon, mais si c'est le cas les dès sont un peu pipés
En effet nikon est peu performant en ce qui concerne les jpg direct (j'en arrive à croire que c'est volontaire...D) car la différence avec les RAW est flagrante (en netteté) et c'est pratiquement un cas unique (à ce point là au moins). Les autres marques ont des jpg quasiment identiques aux RAW.

[Cédric M.]

Je parlais effectivement des jpegs directs de boîtier... Quand j'en aurais le temps, je posterai des crops mais je pense que tout le monde ici est en mesure de faire le test 

[Phil_C]

Pour en revenir au sujet du fil, la résolution étant perçue comme la luminance, et la luminance étant mesurée au travers d'un filtre photopique (Vert), pas de pb: la matrice de Bayer comprend deux fois plus de pixels verts que de rouge et bleu. Nativement, la résolution passe à 6 Mp. Ce point est évoqué brièvement dans le Bouillot (P167 pour ceux qui ont l'édition 2). La résolution de l'oeil est aussi deux fois moindre dans les couleurs que dans le vert, notre bonne matrice de bayer réagit peu ou prou comme notre rétine. Maintenant, si l'on considère la couleur blanche, elle contient une part de rouge et bleu, ce qui rend l'interpolation de la luminance possible avec les pixels rouge et bleu, connaissant la réponse spectrale des filtres et la couleur mesurée (Par déduction des points voisins). Un autre facteur est le filtre AA, qui casse les transitions de haute fréquence en étalant l'information sur au moins deux pixels. Tout ceci est modelisable et fait partie de l'intelligence des algos de dématricage. Et heureusement que les tests de résolution et piqué se font sur des mires (Points ou multiburst) blanche et noire, c'est le cas le plus facile à traiter. Une mire bleu pure ne procurerait que trés peu de signal au travers des pixels rouges...

[seba]

Maintenant la question de départ me fait penser au cas dans lesquels on a du "pixel binning" qui met en commun, si j'ai bien compris, les électrons de plusieurs pixels adjacents.
Est-ce que ces pixels adjacents sont de différentes couleurs ? Je suppose que oui.
Dans ce cas, comment ça se passe pour le dématriçage ?

[Verso92]

Je parlais effectivement des jpegs directs de boîtier... Quand j'en aurais le temps, je posterai des crops mais je pense que tout le monde ici est en mesure de faire le test 

J'ai fait un petit essai, vite fait, entre le Jpeg et TIFF "boitier" (D700), juste pour essayer d'appréhender la dégradation dûe à la compression Jpeg du boitier par rapport à un format non compressé :

1 - Crop 100% Jpeg,
2 - Crop 100% TIFF.

[Jean-Claude]

Le dématriçage n'a rien à voir avec une interpolation.

L'interpolation est la création de toutes pièces d'un nouveau point image totalement manquant à l'origine

Dans une info RAW, on a bel et bien un point image existant, on ne crée pas de point image neuf, si ce n'est que pour l'existant il manque des informations côté couleur que l'on recrée à partir des infos tout autour. Les algotithmes très sophistiqués actuels font un boulot remarquable, mais il est ausi vrai qu'il leur arrive rarement de se planter complètement pour donner certains rares bizarres artefacts.

Quand je vois le potentiel supplémentaire d'interpolation et d'accentuation des fichiers déjà dématricés j'en reste toujours emerveillé, mais comment peut-on sortir autant de détails de si peu d'infos capteur au départ ?

[Cédric M.]

Verso, ton test est surprenant : es-tu sûr d'avoir exactement les mêmes réglages entre les deux prises de vue et notamment l'accentuation à 0 ?