Antinomie entre dynamique des capteurs et restitution en sRVB ?

[jenga]

La résolution est supérieure à ce qu'on obtiendrait si on ne faisait que fusionner des triplets de photosites.
L'info ne se crée bien sûr pas à partir de rien, mais on peut la déduire d'un certain nombre de photosites voisins (c'est ce que fait le dématriçage).

Voir ce que j'explique au dessus.

La résolution peut être d'autant meilleure qu'on utilise un grand nombre de photosites (idéalement tous) pour calculer chaque pixel; la raison est que le filtre passe-bas idéal (coupure parfaite à f/2) nécessite un horizon temporel infini.
https://fr.wikipedia.org/wiki/Th%C3%A9or%C3%A8me_d%27%C3%A9chantillonnage

Dans tous les cas, la résolution ultime qu'on peut viser est limitée par le nombre de triplets RVB du capteur; au mieux, avec un filtrage parfait portant sur tous les photosites et sans approximation dans les calculs, on pourrait ainsi créer 9 millions de pixels indépendants avec un Bayer de 36 millions de sites.

[jenga]

.

[seba]

Dans tous les cas, la résolution ultime qu'on peut viser est limitée par le nombre de triplets RVB du capteur; au mieux, avec un filtrage parfait portant sur tous les photosites et sans approximation dans les calculs, on pourrait ainsi créer 9 millions de pixels indépendants avec un Bayer de 36 millions de sites.

Je trouve ça bizarre.
Ce ne correspond pas à ce qu'on observe.

[Verso92]

Ce n'est pas moi qui le dit, mais la théorie de l'échantillonnage.

Tu confonds deux choses:
-le résultat brut d'échantillonnage.
-le signal reconstitué correctement à partir des échantillons.

Le résultat brut d'échantillonnage dépend bien sûr de la position de la grille d'analyse par rapport au signal.
Mais, si le signal a été échantillonné correctement, (i.e. largeur de bande < fréquence d'échantillonnage / 2), les échantillons contiennent la totalité de l'information et il est donc possible de restituer exactement le signal de départ.

cf, pour une présentation simplifiée mais accessible, la page wikipedia:
https://fr.wikipedia.org/wiki/Th%C3%A9or%C3%A8me_d%27%C3%A9chantillonnage

Le paragraphe "reconstitution" montre comment un filtre passe-bas à f/2 permet de reconstituer exactement le signal de départ:
"On a ainsi obtenu le signal initial s ( t ) en filtrant l'échantillonnage de ce signal par un filtre parfait, passe tout de 0 à la moitié de la fréquence d'échantillonnage, et coupe tout ailleurs. "

La "restitution" intuitive qui consiste à tirer des traits droits entre les échantillons est bien sûr incorrecte.

La théorie de l'échantillonnage dit clairement que, si on échantillonne un signal filtré à fe/2 (avec un filtre "parfait", à pente infini), on aura équivalence stricte (bijection ?) entre le signal d'entrée et le signal numérisé en sortie.


Dans la vraie vie, c'est une situation qu'on ne rencontre jamais, bien sûr : les filtres ne peuvent pas être à pente infinie, les convertisseurs analogique/numérique ne sont pas parfaits (défauts de linéarité, offset, etc)...

Et dans le cas qui nous intéresse, les APN n'implémentent pas toujours de filtre passe-bas (c'est le cas, par exemple, des Nikon D810 et Sigma DP2m qui m'ont servi pour mes illustrations).

[Nikojorj]

Tu pars du résultat (l'info de chorminance sur une photo dématricée est moins dense que l'info de luminance) pour démontrer la conclusion (donc elle n'utiilise pas toute l'linfo RGB).

À mon sens, c'est du coup la théorie de l'information qui me dit que si on met moins d'information dans les couches de chrominance on en aurait plus de disponible pour celle de luminance.

Il faudrait une mire de luminosité constante sur laquelle des points d'un pixel de diametre ont une couleur aléatoire. Bref, rien que du bruit de chrominance. Je suis pret a parier tres gros qu'aucun capteur a matrice de Bayer ne peut te sortir une image apres dématricage qui ressemble a la source, meme avec beaucoup de tolérance.

Entièrement d'accord (astrophoto en parlait plus haut, sur le fait que quand les étoiles sont ponctuelles leur couleur est à l'ouest, perso je n'ai pas ce problème avec mes culs de bouteille hé hé hé), et aussi sur le fait que c'est une mire qui ferait mal aux yeux. 

On fait correspondre de maniere bijective un espace en trois dimensions avec un autre. Il est nécessaire (et suffisant) que chaque dimension de l'espace d'arrivée ait besoin de trois dimensions de l'espace de départ.

Bien d'accord aussi là-dessus! Et ça ne me semble pas incompatible avec ce qu'on discute ci-dessus, qui ne fait qu'étirer une dimension et contracter deux autres.

Dans tous les cas, la résolution ultime qu'on peut viser est limitée par le nombre de triplets RVB du capteur; au mieux, avec un filtrage parfait portant sur tous les photosites et sans approximation dans les calculs, on pourrait ainsi créer 9 millions de pixels indépendants avec un Bayer de 36 millions de sites.

En pratique on est tellement habitués à ce que les pixels soient imparfaits (parce que optique imparfaite, flous divers, vallée de larmes dans laquelle nous errons imparfaite, etc) qu'on préfère en sortir 36 imparfaits plutôt que 9 parfaits (edit : mais au fait pourquoi 9 et pas 12?) - surtout que cette perfection porterait surtout sur la finesse de chrominance, et que du coup ce n'est pas ce qui nous sauterait aux yeux en premier.

La grosse différence d'aspect des images issues de Foveon vient pour moi de leur finesse en luminance (et notamment, j'y tiens, des artefacts de type aliasing en luminance aka faux détails qui imitent à s'y méprendre les vrais) - si elle venait de la finesse de la chrominance, elle serait perdue par la moindre compression jpeg qui empâte cette chrominance, et on ne la verrait qu'avec des formats compressés sans perte.

[jenga]

Dans la vraie vie, c'est une situation qu'on ne rencontre jamais, bien sûr : les filtres ne peuvent pas être à pente infinie, les convertisseurs analogique/numérique ne sont pas parfaits (défauts de linéarité, offset, etc)...

Je suis surpris par ton argumentation.

Tu me dis, à juste titre, que la reconstitution réelle du signal n'est pas parfaite et donc que la réalité est en-deça de l'idéal théorique. La raison fondamentale de cet "en-deça", dans les APN, est d'ailleurs le fait que les photosites ont une étendue très importante, quasiment égale à leur pas.
Le traitement du signal montre que cela limite les fréquences restituables bien en-deça de la fréquence de Shannon. C'est un facteur limitatif bien plus important que la pente des filtres, qu'on sait faire aussi pentus qu'on veut en numérique... en convoluant sur un nombre suffisant d'échantillons, on en revient toujours au même point.

On n'a pas ce problème de largeur des prises d'échantillons en audio, par exemple, où chaque échantillon du son est prélevé pendant une durée très courte par rapport à l'intervalle entre deux échantillons; c'est pourquoi, en audio, on peut se permettre d'échantillonner quasiment à la fréquence de Shannon (44 kHz pour un signal à 20, il n'y a pas beaucoup de marge) tout en obtenant une restitution quasi parfaite.

En audio, l'échantillonnage quasi-ponctuel et la restitution quasi-optimale (avec un filtre très raide parce que portant sur un grand nombre d'échantillons, ce qui est possible en temps réel parce que le problème est à une seule dimension et les fréquences peu élevées) permettent une fidélité de restitution sans commune mesure avec celle des APN + dématriceurs.
En particulier, la voix restituée ne dépend pas de la position (totalement inconnue) des instants d'échantillonnage par rapport aux modulations de la voix de départ. C'est parce que le passage du signal échantillonné au signal de sortie est une opération plus complexe (mais mathématiquent bien définie) que la simple mise bout-à-bout des échantillons.

Pour en revenir à la photo, tu me dis:
-d'une part que la réalité est en deçà des limites théoriques du traitement du signal (et je suis à 200% d'accord avec ça).

-et d'autre part qu'avec seulement 9 millions d'informations bleues on crée 36 millions de pixels qui ont chacun besoin d'une information bleue (entre autres). On est là à un facteur 4 au-delà des limites théoriques.

[jenga]

En pratique on est tellement habitués à ce que les pixels soient imparfaits (parce que optique imparfaite, flous divers, vallée de larmes dans laquelle nous errons imparfaite, etc) qu'on préfère en sortir 36 imparfaits plutôt que 9 parfaits (edit : mais au fait pourquoi 9 et pas 12?) - surtout que cette perfection porterait surtout sur la finesse de chrominance, et que du coup ce n'est pas ce qui nous sauterait aux yeux en premier.

La grosse différence d'aspect des images issues de Foveon vient pour moi de leur finesse en luminance (et notamment, j'y tiens, des artefacts de type aliasing en luminance aka faux détails qui imitent à s'y méprendre les vrais) - si elle venait de la finesse de la chrominance, elle serait perdue par la moindre compression jpeg qui empâte cette chrominance, et on ne la verrait qu'avec des formats compressés sans perte.

Je suis entièrement d'accord avec ce que tu écris, en particulier sur les artefacts et la préférence pour 36 millions de pixels imparfaits (i.e. non conformes à la réalité) plutôt que 9M corrects au sens du traitement du signal.

J'ai écrit 9M parce qu'un Bayer de 36 Msites fournit 9M informations bleues et 9M rouges (et des verts en excès); il n'y a donc pas moyen, à partir de ces échantillons, de constituer plus de 9M pixels RVB corrects au sens du traitement du signal.

Mais comme indiqué plus haut, la préférence des consommateurs va au sur-accentué plutôt qu'à la fidélité, quitte à montrer des artefacts et non la réalité.
Un dématriceur mathématiquement correct se ferait tailler en pièce par tous les youtubers du monde. Pas assez sharp!

[FredEspagne]

Mais le fait que les dématriceurs ne donnent pas les mêmes résultats montre qu'aucun d'entre eux ne estitue la réalité mais interprèete, chacun à sa façon, l'image, un peu comme les différents films du temps de l'argentique.

[seba]

Comparaison entre deux images, à gauche 56x56 pixels (dématricés de 56x56 photosites) et à droite le sujet pris de près.

[seba]

Ici l'image de droite a été réduite à 56x56 pixels, j'imagine que ça ressemble à ce qu'on aurait si on avait 56x56 pixels style Sigma (sans besoin de dématricer).

[seba]

Et là image de droite réduite à 28x28 pixels (regroupement des pixels par groupes de 4).
L'image de 56x56 pixels dématricés de 56x56 photosites (à gauche) est quand même mieux que ça.

[Verso92]

Pour en revenir à la photo, tu me dis:
-d'une part que la réalité est en deçà des limites théoriques du traitement du signal (et je suis à 200% d'accord avec ça).

-et d'autre part qu'avec seulement 9 millions d'informations bleues on crée 36 millions de pixels qui ont chacun besoin d'une information bleue (entre autres). On est là à un facteur 4 au-delà des limites théoriques.

Comme déjà évoqué, si on considère un ensemble "parfait" (à savoir que les filtres CFA ne laissent passer que la valeur associée à leur couleur, et élimine les deux autres) et des couleurs pures, monochromatiques, ton "modèle" est exact.


Dans la réalité, ce ne sera jamais le cas.

Par exemple, les barreaux du balcons sont noirs (peinture brillante) et le crépis est écru. La luminance sous les pixels des barreaux sera forcément faible (indépendamment du filtrage R, V ou B du CFA), et celle du crépis forcément élevée (surtout si la photo est prise avec un ensoleillement élevé).

Chaque photosite (pixel, donc, dans le cas du Bayer) verra une luminance cohérente avec la réalité (pour la chrominance, c'est une autre histoire, je suis d'accord).

[Nikojorj]

J'ai écrit 9M parce qu'un Bayer de 36 Msites fournit 9M informations bleues et 9M rouges (et des verts en excès); il n'y a donc pas moyen, à partir de ces échantillons, de constituer plus de 9M pixels RVB corrects au sens du traitement du signal.

Ça commence à être un peu au-delà de l'enculage de mouches, mais est-ce qu'au sens de la théorie de l'information, on n'a quand même pas dans les 18M de pixels verts plus d'information, qui permette de monter un peu le total de pixels parfaits RVB à 12M, à la fin de l'histoire?

Est-ce qu'on ne pourrait pas dire ça au moins d'une matrice de Bayer avec pixels blancs (RGBW, utilisée sur certains photophones je crois)?
Et du coup pourquoi ne peut-on pas utiliser aussi les pixels verts surnuméraires?

[Franciscus Corvinus]

À mon sens, c'est du coup la théorie de l'information qui me dit que si on met moins d'information dans les couches de chrominance on en aurait plus de disponible pour celle de luminance.

Cela s'appuie sur une hypothese avec lesquelles je ne suis pas d'accord: specécifiquement que la luminance et la chrominance sont des vases communiquant parfaits du point de vue de la quantité de l'information. C-a-d que quand tu supprimes l'information dans l'une, tu l'augmentes dans l'autre. Or tu ne peux pas, jamais, augmenter l'information. Tu peux gonfler le volume a coup d'interpolation et d'extrapolation, mais ca n'est pas de l'information. Cela revient exactement a ce que je disais au début.

Vu la définition mathématique de la luminance, et la bijectivité entre les espaces RGB et HSL (par exemple), il est impossible que son information réelle représente plus, en volume, que 1/3 du volume total capturé par le capteur. C-a-d sur un capteur de 45m photosites, tu peux avoir 15m de points de luminance. Le reste est calculé, créé, mais ca n'est pas de l'information.

A ce sujet, jenga dit que l'on divise par 4, moi par 3. Lui prend on compte la contrainte géométrique de la matrice. On est obligé de remplacer un carré de 2x2 photosites par un pixel. Et c'est le plus petit carré d'information complete que l'on puisse utiliser. Je me place du point de vue mathématique. A ce titre, la disposition géométrique m'importe peu (puisque de toute facon le dématriceur va interpoler aux bons endroits). Ce qui devrait répondes un peu a ta question des pixels verts surnuméraires, Nikojorj.

[Verso92]

Mais comme indiqué plus haut, la préférence des consommateurs va au sur-accentué plutôt qu'à la fidélité, quitte à montrer des artefacts et non la réalité.
Un dématriceur mathématiquement correct se ferait tailler en pièce par tous les youtubers du monde. Pas assez sharp!

Mouais... tu veux dire par là que les passionnés qui investissent dans des systèmes de PdV haut de gamme (genre D850, Sigma, Hasselblad, Leica, etc) cherchent à tout prix des images sur-accentuées, et que la réalité est de toute façon moins nette ?

Cela s'appuie sur une hypothese avec lesquelles je ne suis pas d'accord: specécifiquement que la luminance et la chrominance sont des vases communiquant parfaits du point de vue de la quantité de l'information. C-a-d que quand tu supprimes l'information dans l'une, tu l'augmentes dans l'autre. Or tu ne peux pas, jamais, augmenter l'information. Tu peux gonfler le volume a coup d'interpolation et d'extrapolation, mais ca n'est pas de l'information. Cela revient exactement a ce que je disais au début.

Plus exactement, la luminance est transmise telle quelle, et la chrominance sous-échantillonnée...


A bande passante égale (et non extensible), c'est le choix qui est fait, le plus souvent.

[Franciscus Corvinus]

Il faut sérieusement que tu étayes ton affirmation, ou que tu consideres changer de point de vue parce que la on tourne en rond.

Non, la luminance n'est pas transmise telle quelle. Quelle est la luminance d'un pixel a l'emplacement d'un photosite bleu dont la valeur est 200?

La luminance n'existe pas au niveau du photosite. C'est simple. Elle ne peut donc pas etre transmise.

[Verso92]

Il faut sérieusement que tu étayes ton affirmation, parce que la on tourne en rond.

Non, la luminance n'est pas transmise telle quelle. Quelle est la luminance d'un pixel a l'emplacement d'un photosite bleu dont la valeur est 200?

La luminance n'existe pas au niveau du photosite. C'est simple. Elle ne peut donc pas etre transmise.

Je parlais dans le cas général (télévision, vidéo, Jpeg).

Par exemple, quand la télévision en couleur est arrivée, il a été décidé, plutôt que de tout remettre à plat, de garder le canal de transmission de la luminance (celui du N&B) et d'ajouter un canal de chrominance (sous-échantillonné).


Le "à bande passante égale (et non extensible)" aurait dû te mettre la puce à l'oreille...

[Franciscus Corvinus]

On parle du calcul de la luminance a partir des photosites, pas de la transmission d'image de télévision. Cela de toute facon étaye ce que je disais que l'on ne peut pas créer d'information, juste en détruire. Quand la bande passante est limitée, on détruit celle de chrominance en premier. Mais on n'est pas dans ce cas la: soit tu ne saisis pas la différence, auquel cas on discute, soit tu essayes de te raccrocher aux mauvaises branches.

De toute facon c'est faux, meme dans le cas du JPG, la luminance est affectée.

[Nikojorj]

Vu la définition mathématique de la luminance, et la bijectivité entre les espaces RGB et HSL (par exemple), il est impossible que son information réelle représente plus, en volume, que 1/3 du volume total capturé par le capteur.

C'est effectivement ce point que j'ai du mal à saisir... dans la mesure où la luminance peut être définie de façon linéaire à partir des trois composantes couleurs, pourquoi ne peut-on utiliser l'information d'une de ces composantes dans la luminance?
J'avoue aussi mieux intuiter la phrase

Plus exactement, la luminance est transmise telle quelle, et la chrominance sous-échantillonnée...

Que ton idée de trois composantes rigoureusement orthogonales de l'information.

Ce qui devrait répondes un peu a ta question des pixels verts surnuméraires, Nikojorj.

Là-dessus oui et ça colle à ce que j'en intuitais.

[Verso92]

On parle du calcul de la luminance a partir des photosites, pas de la transmission d'image de télévision. Cela de toute facon étaye ce que je disais que l'on ne peut pas créer d'information, juste en détruire. Quand la bande passante est limitée, on détruit celle de chrominance en premier. Mais on n'est pas dans ce cas la: soit tu ne saisis pas la différence, auquel cas on discute, soit tu essayes de te raccrocher aux mauvaises branches.

De toute facon c'est faux, meme dans le cas du JPG, la luminance est affectée.

En ce qui concerne le Jpeg, l'article wiki est très bien fait, je trouve :

https://fr.wikipedia.org/wiki/JPEG

[Franciscus Corvinus]

En ce qui concerne le Jpeg, l'article wiki est très bien fait, je trouve :

https://fr.wikipedia.org/wiki/JPEG

Pas si bien fait que ca puisqu'il n'est pas explicite sur l'application de quantification---la ou la plupart de l'info est perdue---a la couche Y'.
Celui-ci est par contre bien mieux fait:
https://medium.freecodecamp.org/how-jpg-works-a4dbd2316f35?gi=a353c402de90
et dit clairement:

As a quick aside, we apply this process [la quantification] to Y, CbCr channels independently, and as such we need two different matrices: one for Y, and the other for the C channels:

Je mets un exemple tout bete pour étayer un peu plus. J'ai généré du bruit sans couleur. J'ai exporté l'image en JPG. J'ai ouvert le JPG et gardé l'original pour comparer. Le JPG est naturellement en haut. C'est vu a 100%.

[Nikojorj]

Je mets un exemple tout bete pour étayer un peu plus. J'ai généré du bruit sans couleur. J'ai exporté l'image en JPG. J'ai ouvert le JPG et gardé l'original pour comparer. Le JPG est naturellement en haut. C'est vu a 100%.

Certes, mais ça c'est l'effet de la quantification, essentiellement.
Est-ce qu'on ne serait pas en train de dévier de la déviation initiale du sujet là?

[Franciscus Corvinus]

Oui, c'est bien ce que je dis. C'est l'étape ou l'essentiel de l'info est perdue. C'est l'étape clé qui permet au JPG de gagner de la place, et de perdre volontairement l'information la moins visible.
Oui, ca n'a rien a voir avec le sujet, mais les écrits restants, il est dur de laisser des posts incorrects se balader dans la nature.

[Franciscus Corvinus]

C'est effectivement ce point que j'ai du mal à saisir... dans la mesure où la luminance peut être définie de façon linéaire à partir des trois composantes couleurs, pourquoi ne peut-on utiliser l'information d'une de ces composantes dans la luminance?
J'avoue aussi mieux intuiter la phrase

Plus exactement, la luminance est transmise telle quelle, et la chrominance sous-échantillonnée...

Que ton idée de trois composantes rigoureusement orthogonales de l'information.

Commencant par la fin, oublie completement la phrase de Verso. Elle n'a rien a voir dans ce fil: la bande passante n'est pas limitée en dessous du rapport signal-bruit. Donc on ne se pose pas la question de quelle partie de l'information il faut éliminer en premier. Et meme si on le faisait, cela ne veut pas dire que la luminance contient tout d'un coup plus d'information en valeur absolue.

Dans un JPG, elle en contient plus en proportion simplement parce qu'on a choisit, d'éliminer l'information de chrominance. Tu peux meme éliminer toute l'information de chrominance si tu veux, ca ne rendra pas la luminance plus riche. Cela démontre que les 2 dimensions de chrominance sont orthogonales par rapport a la luminance. Il en est exactement de meme pour n'importe quel systeme de couleur contenant la luminance sous une forme ou une autre: Lab, HSV, HSL...

Ton espace de départ, dans le capteur, est RGB. Ces axes sont othogonaux entre eux. Pour bijecter linéairement deux espace orthonormés, a moins qu'ils aient des axes en commun, tu es obligé d'avoir une matrice de termes non nuls. Pour dire les choses plus simplement, L= aR * bV * cB avec a, b et c non nuls. Il est donc strictement impossible de calculer L sans avoir les trois composantes.

Donc il est faux de dire qu'un capteur derriere une matrice de Bayer te donne la luminance et que ce n'est que la chrominance qu'il faut calculer. Il ne donne ni l'un ni l'autre, et il faut calculer les deux. Un photosite ne permet d'en calculer aucun. Deux photosites non plus. Trois photosites, oui, a conditions qu'ils soient RVB. Plus, c'est possible, mais pas nécessaire.

Attention, s'attacher a la qualité du dématricage serait une erreur. Une fois admis le fait que 2/3 de l'image de l'image est créé, comment et avec quel réalisme est une question séparée.

[astrophoto]

je ne comprends toujours pas ce que viennent faire la luminance et la chrominance dans la discussion 

1. le capteur a une matrice de Bayer avec des filtres RVB sur ses photosites, le convertisseur A/N sort une valeur par photosite, représentative de l'intensité lumineuse ayant atteint le photosite (et traversé le filtre) : à ce niveau, pas de luminance ni chrominance

2. l'information est stockée telle quelle (ou quasiment) dans le fichier raw, avec les valeurs de tous les photosites R ou V ou B bien rangées à la queue leu leu : à ce niveau, pas de luminance ni chrominance

3. le fichier raw est développé (disons dans PS vis Camera Raw), et stocké en tiff 16 bits (standard, non compressé), avec les valeurs RVB de tous les pixels bien rangées à la queue leu leu : à ce niveau, pas de luminance ni chrominance

4. j'ouvre ce fichier et je le regarde sur mon écran, qui lui-même comporte des "pixels" RVB : à ce niveau, pas de luminance ni chrominance

Je veux bien parler de luminance et de chrominance si j'enregistre l'image en jpeg, mais avant quel sens ça a ?