Des rumeurs!

[JMS]

Tu confonds tout : la matrice de Bayer a un motif de 2x2 photosites, c'est exact. Mais les algorithmes de dématriçage ne travaillent pas sur 2x2 pixels (beaucoup plus, en fait : ce qui fait que le moiré (de chrominance) se produira bien avant le critère de Shannon en cas de motif répétitif).
Ça fait plusieurs fois qu'on l'explique, avec des illustrations à la clé. Mais il n'y a pas plus sourd que celui qui ne veut pas entendre...

Et il y a mieux : avec cette théorie de motifs pour faire un pixel, un Fuji Xtrans qui décode par groupe de 36 photosites n'aurait plus une définition de 26 Mpxl, mais seulement de 26/36 = 0,7 million de pixel, de quoi faire un tirage de 24 x 36...millimètres...autour de 240 dpi !!! Comment diable arrivent-ils à faire des tirages nickel en 50 x 75 cm comme une expo urbex que nous avons présenté ce week end dans notre club photo ? En réalité, c'est parce que le photographe a prétendu que c'était du numérique, mais en réalité c'était à la chambre argentique !

Ce beau débat a le mérite de nous rajeunir de 20 ans ...au début du siècle certains prétendaient avec le même aplomb que le capteur CCD Kodak State of the Art de 6 Mpxl du DCS 760 n'avait que 1,5 Mpxl comme capacité du fait de la matrice de Bayer alors que le Kodachrome disposait lui de 25 millions de grains...il faudrait sans doute 50 ans pour que le numérique atteigne ces performances...

[jdm]

...

Ce beau débat a le mérite de nous rajeunir de 20 ans ...

A ce propos, il y en a un qui t'attend avec une brique !    https://www.chassimages.com/forum/index.php/topic,305231.0.html

[Verso92]

Et il y a mieux : avec cette théorie de motifs pour faire un pixel, un Fuji Xtrans qui décode par groupe de 36 photosites n'aurait plus une définition de 26 Mpxl, mais seulement de 26/36 = 0,7 million de pixel, de quoi faire un tirage de 24 x 36...millimètres...autour de 240 dpi !!!

C'est vrai, je n'avais pas pensé à cette matrice X-Trans de 6x6... 0,7 MPixels, ça commence à faire léger, en effet !

;-)

[kochka]

Sony avait tenté la matrice avec deux verts différents, mais n'a pas persévéré.

[jenga]

C'est amusant, la mauvaise foi.

Oui, il en faut beaucoup pour ne pas voir les artefacts sur les traits verticaux de ton image,

[jenga]

Tu confonds tout : la matrice de Bayer a un motif de 2x2 photosites, c'est exact. Mais les algorithmes de dématriçage ne travaillent pas sur 2x2 pixels (beaucoup plus, en fait : ce qui fait que le moiré (de chrominance) se produira bien avant le critère de Shannon en cas de motif répétitif).

Hum.
Tu confonds:

• l'opération d'échantillonnage séparé des composantes RVB, avec la perte irréversible d'information en cas de sous-échantillonnage
• l'interpolation (dématriçage), nécessaire pour fournir le nombre de pixels RVB voulu; opération qui utilise un nombre plus ou moins grand de voisins, selon le compromis vitesse/précision choisi, mais ne pourra jamais ajouter d'information. Encore moins, évidemment, reconstituer correctement ce qui a été sous-échantillonné
• les systèmes de coordonnées (RVB vs YUV, par exemple) entre lesquels on passe par des transformations réversibles et n'ont donc rien à voir avec les questions de quantité d'information

Dès qu'une composante couleur R ou V ou B est sous-échantillonnée, tout ce qui est calculé à partir d'elle (pixels RVB ou pixels luminance/chrominance) est irréversiblement faux. Que le motif soit répétitif ou pas.

[jenga]

Et il y a mieux : avec cette théorie de motifs pour faire un pixel, un Fuji Xtrans qui décode par groupe de 36 photosites n'aurait plus une définition de 26 Mpxl, mais seulement de 26/36 = 0,7 million
(...)
...au début du siècle certains prétendaient avec le même aplomb

Dommage que tu choisisses de te gausser et d'attaquer ad personam.

Tu confonds deux notions différentes:

• la définition du pixel, constituant de toute image numérique, par 3 informations indépendantes R et V et B (ou YUV, ou n'importe quel autre système de 3 coordonnées, peu importe).
• l'interpolation, qui détermine la valeur des composantes manquantes pour sortir une image au nombre de pixels voulus; par exemple la valeur de V et la valeur de B aux emplacements des photosites "rouges"

Le nombre de points pris en compte dans l'interpolation est un compromis entre la performance et la précision de l'image finale. Mais l'interpolation n'ajoute aucune information, elle ne fait que la reproduire. Qu'elle soit faite sur 8 ou 36 points ou davantage ou moins dégrade plus ou moins la précision, mais en aucun cas l'interpolation n'ajoutera de l'information.

Il ne peut donc pas y avoir plus de pixels RVB indépendants que de photosites "rouges" par exemple, soit 9M de pixels RVB pour un capteur de 36M.site.

On peut interpoler à 36 Mpixels (jpeg boitier ou dématriçage usuel), ou davantage en redimensionnant ou visualisant l'image à 400% ou X%, il n'y a toujours pas plus d'information que 9M pixels RVB.

[jenga]

En fait, si je comprends bien, un capteur qui a 36 millions de photosites (Bayer) produit une image de 9 mégapixels savamment interpolée à 36.

Exactement.
Sans préjuger de l'ordre effectif des opérations, il faut :
-interpoler chaque composante R, V, B pour passer de la grille 2x2 à la grille 1x1
-composer les pixels finaux RVB avec ces composantes interpolées

Le "savamment" est le choix du constructeur (ou du concepteur d'un logiciel tiers, ou de l'amateur intéressé par le sujet, ou du chercheur utilisant le capteur pour des besoins autres que la photo usuelle, etc.).
L'interpolateur optimal du point de vue du traitement du signal nécessite trop de calculs pour être utilisé en photo usuelle, il y a donc des compromis à faire entre la performance et la qualité d'image.

[jenga]

Résultat sans surprise, puisque ce capteur a 230 photosite par mm et qu'il faut 2x2 photosites (en matrice de Bayer) pour composer un pixel trichrome.

C'est beaucoup plus complexe.
il y a de nombreuses méthodes différentes et pour calculer la couleur d'un pixel, en général il est tenu compte d'un nombre assez élevé de photosites autour du pixel en question (pas seulement 4 photosites).

Remarque intéressante et importante. En fait, ce sont deux aspects différents:

• l'interpolation de chaque composante couleur; cette interpolation nécessite de prendre en compte un certain nombre de points pour chaque point reconstitué; j'y reviens plus bas
• la constitution des pixels trichromes RVB à partir de composantes séparées R V B

L'ordre n'a pas d'importance tant qu'il s'agit d'opérations linéaires: soit interpoler chaque composante couleur puis constituer les pixels RVB, soit constituer les pixels puis interpoler.

C'est pourquoi j'ai mentionné uniquement la deuxième opération, suffisante pour comprendre le problème en termes de quantité d'information. Comme on a au départ (pour un capteur 36 M sites) 9 millions d'informations "rouges" (par exemple), on ne pourra jamais, quoi qu'on fasse, constituer plus de 9 millions de pixels RVB indépendants.

Cela n'empêche pas d'interpoler à 36 Mpixels RVB, ou davantage via n'importe quel logiciel de traitement ou de visualisation (rien n'empêche de redimensionner à 800% par exemple), mais jamais on n'aura davantage d'information que celle contenue dans 9 M pixels RVB.

L'interpolation est l'opération clé du dématriçage. On cherche à obtenir un pixel RVB en chaque point de la grille des photosites. Or, la composante rouge, par exemple, est présente uniquement dans une sous-grille 4 fois moins dense.
Il faut donc calculer la valeur "rouge" sur les trois quarts des points de la grille, à partir des valeurs connues (un quart de la grille): c'est l'opération d'interpolation.

Sans entrer dans les détails de traitement du signal (faciles à trouver, je te donnerai des pointeurs si tu veux), l'interpolateur idéal est un filtre passe-bas à pente très raide, de réponse 1 entre 0 et la fréquence de Shannon, de réponse 0 au-delà; sa phase caractérise l'emplacement auquel on cherche à reconstituer la valeur.

Cet interpolateur idéal permet, en particulier, de reconstituer exactement l'image "analogique" présentée au capteur, si et seulement si la condition de Shannon a été respectée (dans le cas contraire l'information est définitivement détruite).

Problème: ce filtre idéal (de pente très raide) nécessite trop de calculs.
Chaque point interpolé est la somme pondérée de tous les points de l'image de base, avec des coefficient en sinus cardinal sin(x) / x, où x caractérise la position du point interpolé.
Pour un capteur 36 M, cette interpolation nécessite 9 millions d'opérations pour chacun des points à calculer. Comme il faut calculer 3x27 millions de points, cela fait environ 700 000 milliards d'opérations, ce qui est trop pour nos ordinateurs.

Les interpolateurs travaillent donc sur un nombre de points beaucoup plus réduit autour du point à reconstituer, par exemple 8. La conséquence est bien sûr une perte de précision de l'image interpolée.

En pratique, puisque l'interpolation est un filtrage, on en profite pour effectuer un réhaussement des transitions pour que l'image soit plus plaisante, et tout autre filtrage jugé adéquat par le concepteur du dématriceur. D'où les différences entre dématriceurs que tu as illustrées plus haut.

En conclusion:

• un capteur de 36 M sites, ayant 9 millions de sites rouges ne peut pas délivrer plus de 9 millions d'informations "rouges" véritables, quels que soient les traitements effectués
• comme on veut délivrer 36 millions de pixels RVB, on a besoin de 36 millions de valeurs "rouges" (et autant de vertes et de bleues; il faut donc interpoler entre les informations véritables, ce qui se fait en prenant en compte un nombre de points résultant d'un compromis vitesse/précision, mais n'ajoute évidemment aucune information

[Verso92]

En fait, si je comprends bien, un capteur qui a 36 millions de photosites (Bayer) produit une image de 9 mégapixels savamment interpolée à 36.

Exactement.

Le comique de répétition est un genre...



Ce n'est pourtant pas compliqué de comprendre que l'œil est très sensible à la luminance, et peu à la chrominance. C'est d'ailleurs ce qui est exploité dans les algorithmes Jpeg (sous-échantillonnage de la chrominance).

https://fr.wikipedia.org/wiki/JPEG


Pour résumer, un APN de 36 MPixels a bien une définition de 36 MPixels. Et on peut tout à fait distinguer des détails qui font 1 pixel de large (cf post #208).

En ce qui concerne les artefacts, on les a aussi sur le Foveon (qui n'a pas d'interpolation en chrominance), comme illustré ci-dessous (crop 1 600% de DP2m, 15 MPixels) :

[jaric]

Exactement.

Tu es fatigant !
Si tu refuses d'écouter les autres intervenants, examine au moins comment fonctionne l'algorithme de dématriçage du filtre de Bayer. Tu finiras par comprendre que s'il est vrai que le calcul de chaque pixel utilise un voisinage de 4 photosites, le processus est effectué de manière glissante pour chacun d'entre eux (et non pas par groupe), ce qui permet au final d'obtenir autant de pixels calculés que de photosites !

[seba]

Il ne peut donc pas y avoir plus de pixels RVB indépendants que de photosites "rouges" par exemple, soit 9M de pixels RVB pour un capteur de 36M.site.

On peut interpoler à 36 Mpixels (jpeg boitier ou dématriçage usuel), ou davantage en redimensionnant ou visualisant l'image à 400% ou X%, il n'y a toujours pas plus d'information que 9M pixels RVB.

De haut en bas :
Image dématricée de 230x150 photosites qui deviennent 230x150 pixels
Image de 115x75 pixels (toujours à partir de 230x150 photosites)
Image interpolée de 230x150 pixels à partir de la deuxième

Il y a quand même une sacrée différence entre la première et la troisième.

[Manu_14]

Exactement.
Sans préjuger de l'ordre effectif des opérations, il faut :
-interpoler chaque composante R, V, B pour passer de la grille 2x2 à la grille 1x1
-composer les pixels finaux RVB avec ces composantes interpolées

Le "savamment" est le choix du constructeur (ou du concepteur d'un logiciel tiers, ou de l'amateur intéressé par le sujet, ou du chercheur utilisant le capteur pour des besoins autres que la photo usuelle, etc.).
L'interpolateur optimal du point de vue du traitement du signal nécessite trop de calculs pour être utilisé en photo usuelle, il y a donc des compromis à faire entre la performance et la qualité d'image.

Jenga, ce qui t'échappe, c'est que la résolution spatiale du capteur est indépendante de la couleur. Pour calculer la résolution spatiale d'un capteur, on part du principe raisonnable qu'il faut deux photosites pour distinguer le plus fin détail d'une scène, ce que montent les images publiées ci-avant.  Un capteur de D750 à des pixels de 6 microns de coté donc une résolution de 83 cycles/mm ce qui est d'ailleurs trop proche de la résolution d'un bon objectif. Il lui faut donc un filtre passe-bas si on veut éviter l'aliasing (dit "en luminance").

[Rami]

l'interpolateur idéal est un filtre passe-bas à pente très raide

Celle-là, j'aurai jamais osé la faire 

[Verso92]

Tu es fatigant !
Si tu refuses d'écouter les autres intervenants, examine au moins comment fonctionne l'algorithme de dématriçage du filtre de Bayer. Tu finiras par comprendre que s'il est vrai que le calcul de chaque pixel utilise un voisinage de 4 photosites, le processus est effectué de manière glissante pour chacun d'entre eux (et non pas par groupe), ce qui permet au final d'obtenir autant de pixels calculés que de photosites !

Pas facile de trouver de la littérature sur le sujet (sensible pour les fabricants et les éditeurs de logiciel, apparemment), mais je pense que le calcul d'interpolation se fait sur un voisinage plus large...

[seba]

On peut déjà potasser ça par exemple.

https://hal.archives-ouvertes.fr/hal-00683233/document

[Verso92]

On peut déjà potasser ça par exemple.

https://hal.archives-ouvertes.fr/hal-00683233/document

Ah oui...

[Verso92]

Un autre (en français) :

https://pastel.archives-ouvertes.fr/tel-00499252/document

[seba]

Un autre (en français) :

https://pastel.archives-ouvertes.fr/tel-00499252/document

Y a plus qu'à lire (facile) et à comprendre (difficile).

[Rami]

Page 148

La nouvelle fenêtre de convolution de taille 8×8 et son noyau de convolution sont montrées sur la figure9.4.

Ça répond en partie à des discussions précédentes, quoique cela ne prouve pas que ce soit pareil dans nos boitiers.

[Verso92]

Page 148

La nouvelle fenêtre de convolution de taille 8×8 et son noyau de convolution sont montrées sur la figure9.4.

Ça répond en partie à des discussions précédentes, quoique cela ne prouve pas que ce soit pareil dans nos boitiers.

A l'époque, par curiosité, je m'étais amusé à faire un dématriçage bilinéaire (Bayer) sous Excel... c'était pas terrible !

;-)

[Rami]

Peu surprenant.
As-tu essayé des ordres plus élevés ?

[Verso92]

Peu surprenant.
As-tu essayé des ordres plus élevés ?

Heu... vu le temps que ça prend (Excel + Photoshop, en l'occurrence), je n'ai pas poussé plus loin l'expérimentation (après, ça demanderait automatisation & programmation, et ça dépasse mon domaine de compétences...  ;-).

[Bernard2]

Pour info document Nikon cocernant le premier reflex numérique Nikon (D1) le travail de reconstruction se faisait alors sur 12x12

[Verso92]

Pour info document Nikon cocernant le premier reflex numérique Nikon (D1) le travail de reconstruction se faisait alors sur 12x12

Ah oui, quand même...  ;-)