Quelques reflexions sur la techno Sony.

[SeRaC]

C'est un dialogue de sourds : tu me parles d'interpolation (information) alors que je te parle de RSB (signal et bruit).

Je reprends tes chiffres, en supposant que ce sont des nombre d'électrons (pour simplifier). Le signal vert par photosite est d'environ 120 e-, soit un RSB de 11, pareil pour les deux capteurs.
Maintenant, je fais du binning 2x1 sur le Foveon (sachant que je peux ensuite faire le même type d'interpolations que sur le Bayer). J'ai pour les deux premiers photosites 247 et 251. Soit un RSB de 16 environ. J'ai gagné un facteur 2 en signal et racine de 2 en RSB. Elémentaire, j'ai récolté deux fois plus de photons !

En fait je pense que cet exemple serait valable dans le cas d'un Bayer sans interpolation : on combine directement les canaux pour créer un pixel (donc plusieurs photosites pour ne récupérer qu'un seul pixel). Mais dans la pratique on fait de l'interpolation pour "recréer" les photons perdus. La qualité des données interpolées dépend de la qualité des données réelles. Ainsi s'il l'on imagine un rapport signal/bruit énergétique du signal interpolé, il sera une moyenne des rapports signal/bruit des signaux réellement captés. Ce qui pâtira de ce procédé sera la résolution : là où le foveon donne une valeur exacte en un point, le Bayer ne donnera qu'une valeur interpolée par des points adjacents. C'est comme interpoler un signal audio, si l'on détruit une partie de l'information avec un encodage et que l'on interpole à la lecture, le niveau de bruit ne va pas monter, par contre on perd de l'information dans les hautes fréquences.

[livre]

Dans peu de temps les puces en silicium seront remplacées par du diamant synthétique. Les puces de silicium ont atteint la limite de leur capacité d'agir comme un semi-conducteur de l'électricité.

http://totaleinvite.blogspot.fr/2012/09/lab-cree-diamant-puces-informatiques.html

[astrophoto]

Je crois qu'il y a deux sujets :
- peut-on dématricer efficacement lorsque le signal reçu par chaque pixel est bon ? -> oui    (c'est ce que tu exposes)
- la lumière perdue est-elle remplaçable lorsque la lumière manque -> non

Le sujet d'astrophoto, c'était je crois le comportement lorsque la lumière manque.

Pour reprendre ton analogie (je ne garde que les huîtres) :
- cas Beyer :
      - un convive reçoit "à peu près 12 huîtres", avec un écart-type de 3,5 (racine de 12, bruit photonique), par exemple il reçoit 10 huîtres
      - on dématrice, et on conclut que chaque convive a eu 10 huîtres, l'écart-type est de 3,5
- cas "sans perte" :
      - chaque convive reçoit "à peu près 12 huîtres", avec un écart-type de 3,5
      - on additionne, et conclut que la table a reçu "à peu près 36 huîtres", avec un écart-type de 6, par exemple on a 33 huîtres
      - on conclut que chaque convive a eu 11 huîtres, l'écart-type est de 2

Comme on dispose de 3x plus d'huîtres à compter, le rapport huîtres/bruit est amélioré d'un facteur 1,7.

ahhh, en voilà un qui a compris ! (toi, tu n'es pas ingénieur physicien   )

[astrophoto]

En fait je pense que cet exemple serait valable dans le cas d'un Bayer sans interpolation : on combine directement les canaux pour créer un pixel (donc plusieurs photosites pour ne récupérer qu'un seul pixel). Mais dans la pratique on fait de l'interpolation pour "recréer" les photons perdus. La qualité des données interpolées dépend de la qualité des données réelles. Ainsi s'il l'on imagine un rapport signal/bruit énergétique du signal interpolé, il sera une moyenne des rapports signal/bruit des signaux réellement captés. Ce qui pâtira de ce procédé sera la résolution : là où le foveon donne une valeur exacte en un point, le Bayer ne donnera qu'une valeur interpolée par des points adjacents. C'est comme interpoler un signal audio, si l'on détruit une partie de l'information avec un encodage et que l'on interpole à la lecture, le niveau de bruit ne va pas monter, par contre on perd de l'information dans les hautes fréquences.

en n'oubliant pas que pour que la comparaison soit équitable, on peut aussi faire de l'interpolation avec le Foveon (soit pour compenser un binning préalable, soit pour obtenir une image X fois plus grande). Dans tous les cas, on y gagne.

[SeRaC]

en n'oubliant pas que pour que la comparaison soit équitable, on peut aussi faire de l'interpolation avec le Foveon (soit pour compenser un binning préalable, soit pour obtenir une image 4 fois plus grande). Dans tous les cas, on y gagne.

Oui mais l'interpolation n'a de sens que si une partie de l'information a été perdue initialement, comme dans le cas d'un fichier audio. Un fichier enregistré en 96 et un en 41 auront le même niveau de bruit, par contre le second sera moins riche en harmoniques. On peut interpoler les deux et proportionnellement les résultats seront les mêmes : même niveau de bruit mais différence de résolution en fréquences élevées (c'est même plus vicieux que ça car le niveau de bruit peut être inférieur dans le signal à 41Khz si ledit bruit se situe dans des fréquences plus élevées).

[Lyr]

C'est un dialogue de sourds : tu me parles d'interpolation (information) alors que je te parle de RSB (signal et bruit).

Je reprends tes chiffres, en supposant que ce sont des nombre d'électrons (pour simplifier). Le signal vert par photosite est d'environ 120 e-, soit un RSB de 11, pareil pour les deux capteurs.
Maintenant, je fais du binning 2x1 sur le Foveon (sachant que je peux ensuite faire le même type d'interpolations que sur le Bayer). J'ai pour les deux premiers photosites 247 et 251. Soit un RSB de 16 environ. J'ai gagné un facteur 2 en signal et racine de 2 en RSB. Elémentaire, j'ai récolté deux fois plus de photons !

Mais je te parle de signal bruit (SNR - Signal to Noise Ratio - sorry, je n'ai employé ce terme que dans le cadre d'interactions et de littératures anglophones).

Le signal, c'est ce que tu as à la sortie de ton système.
Et le bruit, c'est l'écart entre ce que tu attendais et ce que tu obtiens.

J'ai supposé, dans mon exemple, un Fovéon parfait, sans bruit.
Donc le signal de 120 et de 124 sont corrects, bruit = 0 (donc SNR infini, voilà pourquoi je ne l'ai pas indiqué, c'est idéal, donc pas physique, donc la valeur de SNR ne peut exister).

Pour le Fovéon, au milieu, il a vu les photons, et il en a compté 127 (si tu veux parler de photons, je parlais de signal en sortie qui donnait une valeur dans l'espace RGB 8 bits de 127, mais soit).
Et le Bayer en a "trouvé" 122. Non pas par signal direct, mais par la chaîne de traitement, qui a mis une valeur sur le pixel.
Sinon, le signal était 0 et le "bruit" aurait été de 127, ce qui donne un SNR de 0.
Si tu ne prends pas en compte cette valeur, alors pour toi, les images de Bayer sortent avec un pixel purement vert, puis un pixel purement rouge, etc. Or, c'est pas ce qu'on voit en sortie, car il y a une suite d'éléments qui travaillent à former l'image.
Les opérateurs mathématiques en font partie.

Maintenant, faudra que tu m'expliques comment, dans le Fovéon parfait qui rend pile poil ce qu'il reçoit que j'ai pris pour exemple plus haut, tu fais pour trouver un SNR de 11?
Oh, mais tu dois parler du bruit de grenaille, dû à la statistique de la lumière. Oui, mais ce photosite a bel et bien reçu 120 photons.

Maintenant, si on parle d'un mur gris, homogène, éclairé de manière homogène, qui devrait renvoyer du 120 photons par photosite, alors on est d'accord, certains photosites auront plus, certains auront moins, avec une distribution dont la largeur est calculée par racine de N. Et qui donne un moutonnement même avec une chaîne parfaite au senseur.

Mais là on ne parle pas encore de la déviation par rapport au sujet, juste du nombre de photons arrivés (pile poil), et de comment ils sont interprétés.
Le bruit que tu ajoutes là est à calculer en dehors.
Il iimpacte de toutes façons de manière équivalente les Bayer et les Fovéon, donc autant l'enlever et se concentrer sur les spécificités de chacun.

------------------------

Donc en repartant d'un capteur idéal (dit Fovéon ici):
120 - 127 - 124

Le Bayer parfait aurait lu, à la place:
120 - 122 - 124

Maintenant, on va biner:

Bayer: 121 123
Fovéon: 123,5 125,5

Ok, et?
Au lieu d'avoir un erreur de 0% - 4% - 0%, on passe à une erreur de 2% - 2%
Cela ne va pas avoir un grand impact sur mon SNR, cette opération de binning.

[Lyr]

Je crois qu'il y a deux sujets :
- peut-on dématricer efficacement lorsque le signal reçu par chaque pixel est bon ? -> oui    (c'est ce que tu exposes)
- la lumière perdue est-elle remplaçable lorsque la lumière manque -> non

Le sujet d'astrophoto, c'était je crois le comportement lorsque la lumière manque.

Pour reprendre ton analogie (je ne garde que les huîtres) :
- cas Beyer :
      - un convive reçoit "à peu près 12 huîtres", avec un écart-type de 3,5 (racine de 12, bruit photonique), par exemple il reçoit 10 huîtres
      - on dématrice, et on conclut que chaque convive a eu 10 huîtres, l'écart-type est de 3,5
- cas "sans perte" :
      - chaque convive reçoit "à peu près 12 huîtres", avec un écart-type de 3,5
      - on additionne, et conclut que la table a reçu "à peu près 36 huîtres", avec un écart-type de 6, par exemple on a 33 huîtres
      - on conclut que chaque convive a eu 11 huîtres, l'écart-type est de 2

Comme on dispose de 3x plus d'huîtres à compter, le rapport huîtres/bruit est amélioré d'un facteur 1,7.

Faudrait prendre des valeurs non arbitraires et en grand nombre pour avoir une meilleure statistique.

Mais je vois vers quoi tend l'idée, à valider ou invalider avec de meilleurs chiffres.

Mais cela ne joue que sur un point du bruit, le Bayer n'est pas soudainement devenu bruyant par la "disparition de deux tiers du signal".

Une meilleure formulation de cela serait plutôt "il a une moins bonne statistique".

Mais en attendant, ce moutonnement est là.
Le photosite 1 a bien reçu moins de photons, le suivant un peu plus, le troisième à peu près le bon nombre.
Et le Bayer, par son interpolation, va réduire ce moutonnement, vu qu'il fait une moyenne des alentours.

Donc si le sujet est un mur gris homogène éclairé de manière homogène, le Fovéon présentera un moutonnement plus marqué, car chaque photosite aura perçu avec précision le bruit de grenaille.
Alors que le Bayer, qui aura moyenné un peu, sera plus proche du mur gris d'origine, avec un moutonnement moindre.

[astrophoto]

Oh, mais tu dois parler du bruit de grenaille, dû à la statistique de la lumière.

mais évidemment ! Qu'y a-t-il comme autre source de bruit dans une image, à part le bruit de lecture ? On parle de rapport signal sur bruit depuis le début, évidemment que c'est le bruit photonique (grenaille) qu'il faut considérer !

PS : le binning consiste à ajouter les valeurs des photosites (en hard dans le chip ou, dans le cas présent, en soft). Et faire du binning sur un Bayer, moi je veux bien mais on a déjà qu'un photosite sur 4 qui capte le rouge (ou le bleu), je te dis pas la perte de résolution spatiale en binning à partir d'une telle passoire !!!  

[SeRaC]

...
Donc si le sujet est un mur gris homogène éclairé de manière homogène, le Fovéon présentera un moutonnement plus marqué, car chaque photosite aura perçu avec précision le bruit de grenaille.
Alors que le Bayer, qui aura moyenné un peu, sera plus proche du mur gris d'origine, avec un moutonnement moindre.

C'est l'exemple que j'ai donné avec l'échantillon audio, lorsque le bruit enregistré a une fréquence supérieure à celle de l'échantillonnage

mais évidemment ! Qu'y a-t-il comme autre source de bruit dans une image, à part le bruit de lecture ? On parle de rapport signal sur bruit depuis le début, évidemment que c'est le bruit photonique (grenaille) qu'il faut considérer !

PS : le binning consiste à ajouter les valeurs des photosites (en hard dans le chip ou, dans le cas présent, en soft). Et faire du binning sur un Bayer, moi je veux bien mais on a déjà qu'un photosite sur 4 qui capte le rouge (ou le bleu), je te dis pas la perte de résolution spatiale en binning à partir d'une telle passoire !!!  

C'est justement ça le problème du Bayer, la résolution spatiale qui est moins bonne

[astrophoto]

Donc si le sujet est un mur gris homogène éclairé de manière homogène, le Fovéon présentera un moutonnement plus marqué, car chaque photosite aura perçu avec précision le bruit de grenaille.
Alors que le Bayer, qui aura moyenné un peu, sera plus proche du mur gris d'origine, avec un moutonnement moindre.

Faux. Le niveau de moutonnement (à échelle de paquets de photosites, puisqu'on raisonne à photosites de toute petite taille n'est-ce pas ?) sera le même si on se contente de développer le Foveon tel quel (sans interpolations). Sauf que le Foveon a de l'info là où le Bayer a juste essayé de la deviner (interpolations) ! Certes certains pixels du Bayer sont issus d'une combinaison d'informations voisines, sauf que la véritable info est perdue et qu'en fait c'est du lissage.

Et si on fait du binning 2x2 sur le Foveon puis des interpolations "à la Bayer" pour retrouver la taille d'origine, on aura gagné un facteur environ 2 en RSB pour une perte de résolution spatiale à peu près équivalente. Ou alors on fait juste des interpolations sans binning et là, le Foveon nous donne une image géante pour le même prix.

PS : plus on capte de signal, plus on récupère de bruit mais le RSB est meilleur, et c'est ça qui compte (le bruit varie comme la racine carrée du signal...et le RSB aussi : N divisé par racine de N ça fait racine de N).

[SeRaC]

Je propose une autre façon de voir les choses : si en sortie du foveon on avait 3 fois plus d'information, le temps d'exposition devrait être divisé par trois, ce qui n'est pas le cas. La perte d'énergie reçue dans le cas du Bayer se traduit par une perte de rapport signal/bruit spatial, il s'agit d'un transfert de pertes temporelles vers des pertes spatiales (par interpolation). La théorie de l'information permet tout à fait d'imaginer la chose.

Le problème étant que cette perte spatiale est préjudiciable, le Bayer reste donc théoriquement inférieur au Foveon. Mais je n'ai guerre d'espoir quant-à l'amélioration de cette dernière technologie à cause de son incapacité à discerner correctement les différentes couleurs. Il faut à un moment ou à un autre filtrer assez sauvagement si l'on veut un bon rendu colorimétrique.

[astrophoto]

Je propose une autre façon de voir les choses : si en sortie du foveon on avait 3 fois plus d'information, le temps d'exposition devrait être divisé par trois, ce qui n'est pas le cas.

Si, ça peut être le cas, tout dépend comment on exploite l'information issue de chacun des capteurs (voir mes explications plus haut, je ne vais pas radoter...déjà que j'ai un peu honte d'avoir envahi le fil de Didier avec nos discussions à n'en plus finir)   

[fred134]

Faudrait prendre des valeurs non arbitraires et en grand nombre pour avoir une meilleure statistique.

Tout le point est là, quand la lumière manque il y a peu de photons. A 6400iso un noir à 1% représente une dizaine de photons absorbés seulement sur un pixel de 5D3 (exemple au hasard).

Quand il y a un grand nombre de photons (ex : gris moyen en plein jour), le signal / bruit photonique est toujours amélioré de 1,7 si on a 3x plus de photons, mais c'est peu ou pas visible du tout.
Et de toutes façons, le capteur "couleur mais non-beyer qui utilise tous les photons" n'existe pas. La réflexion de départ concernait les limites théoriques en QE.

Donc si le sujet est un mur gris homogène éclairé de manière homogène, le Fovéon présentera un moutonnement plus marqué, car chaque photosite aura perçu avec précision le bruit de grenaille.
Alors que le Bayer, qui aura moyenné un peu, sera plus proche du mur gris d'origine, avec un moutonnement moindre.

Dans mon exemple avec les huîtres, le bruit est effectivement le même (3,5 au niveau du convive) pour les Beyer qui dématricent et les non-Beyer (pas Foveon) qui garderaient jalousement l'information pour eux sans échanger.
Mais :
- ce qui compte, c'est le bruit par unité de surface (l'oeil va moyenner sur le tirage), dans un cas le grain c'est la tablée, dans l'autre c'est le convive individuel
- rien n'empêche de moyenner le bruit des non-Beyer, qui est intrinsèquement 1,7x plus faible

Une meilleure formulation de cela serait plutôt "il a une moins bonne statistique".

La cause de tout ce foin est effectivement la nature statistique de la lumière...
PS : oui, désolé également, tout ceci est un peu hors-sujet, sorry.

[SeRaC]

Si, ça peut être le cas, tout dépend comment on exploite l'information issue de chacun des capteurs (voir mes explications plus haut, je ne vais pas radoter...déjà que j'ai un peu honte d'avoir envahi le fil de Didier avec nos discussions à n'en plus finir)   

Ça ne changera rien car pour le Foveon il n'y a pas d'information à recréer ! L'interpolation n'a donc aucun sens, et le binning encore moins (un algorithme de réduction de résolution aura le même effet). Le pavage de l'espace est "parfait" pour le Foveon.
Il doit y avoir moyen de simuler les différences avec un programme : on part d'une image donnée que l'on garde telle quelle pour simuler le Foveon, et on applique un filtrage de type Bayer sur toute l'image pour ensuite appliquer les algorithmes de reconstruction. Tout ce que l'on pourra voir est le fait que la méthode Bayer détruira les fins détails, mais on n'aura pas de bruit en plus.

J'effectue déjà plus ou moins la même chose pour la "densité d'états électroniques" du graphène que je modélise en ce moment à l'aide d'une densité locale et d'une densité globale. Les algorithmes sont similaires et dans les deux cas j'ai besoin d'un même nombre de lancers stochastiques pour avoir le même rapport signal sur bruit. Mais dans un cas je perds sur la résolution spatiale (donc sur mon réseau de graphène).

Là où le Bayer posera problème, c'est lorsque l'on atteindra une résolution telle que l'on captera la distribution de Poisson spatiale des photons, ce qui rendra toute interpolation problématique. Mais il reste encore un peu de marge avec les densités de pixels actuelles.

Edit : il me semble que dans l'application photo de base on a encore un peu de marge vis à vis de la distribution poissonienne temporelle ? En photo astro par contre on doit être en plein dedans.

(je trouve cette discussion intéressante, même s'il est vrai qu'elle dévie un peu du sujet d'origine  )

[lamoua76]

Et niveau recherche, il n'y a pas dans les cartons une techno qui permette de se passer des filtres de couleurs et de détecter les longueurs d'onde directement?

[SeRaC]

Et niveau recherche, il n'y a pas dans les cartons une techno qui permette de se passer des filtres de couleurs et de détecter les longueurs d'onde directement?

Peut-être des polymères sensibles à une longueur d'onde donnée comme le font les bâtonnets et les cônes ? Une sorte d'OLED inversé ? Je suis dans la pure spéculation, je ne connais pas assez le domaine pour me prononcer.

J'ai une question pour dideos  : que prévoient les brevets Sony pour tenter de dépasser les 6400 iso (hors extension logicielle) ? Car pour l'instant ça plafonne un peu.

[Couscousdelight]

Et les capteurs avec couches organiques breveté par Fuji, ça promet ?
http://www.dpreview.com/news/2011/12/21/Fujfilmorganicsensor

[geo444]

Et les capteurs avec couches organiques breveté par Fuji, ça promet ?
http://www.dpreview.com/news/2011/12/21/Fujfilmorganicsensor

bin... comme dans le sketch = << ça eut promis... >>   
... on le saura quand... ça aura tenu ?!

comme ces 3 dernières pages d'Elucubrations inutiles sur les mérites du Foveon vs Bayer...

on le sait bien ce que "Pourrait" donner un Foveon qui tiendrait ses promesses...
... suffit de regarder le QE d'un Capteur MonoChrome (PanChrome en fait) = sans Bayer !
qui dépassent maintenant assez souvent les 90% !... et c'est le But !!
... alors qu'en Vrai le FauxVeon actuel reste sous les 20% 
= Effondrement du S/B après 800 iso pire qu'un D2x :
http://www.sensorgen.info/NikonD2X.html

[astrophoto]

comme ces 3 dernières pages d'Elucubrations inutiles sur les mérites du Foveon vs Bayer...

[geo444]

.

lol !   

je n'ai pas pensé 1 seconde à toi en signalant ces... Elucubrations !   

[dideos]

J'ai une question pour dideos  : que prévoient les brevets Sony pour tenter de dépasser les 6400 iso (hors extension logicielle) ? Car pour l'instant ça plafonne un peu.

une premiere chose, c'est que le gain iso tel que fait Canon en analogique n'a pas beaucoup d'utilité sur un capteur qui a un tres faible bruit de lecture. Les capteurs exmor sont souvent appelés isoless, dans le sens ou faire une photo a 800 iso ça revient au meme que faire a 100 et pousser de +3 apres en post traitement. En fait c'est pas tout a fait vrai, il reste le bruit de quantification apres conversion...on a toujours interet a avoir le plus de niveau possible.
Le gain est fait en numerique en meme temps que la conversion. Chaque step iso rajouté demande un bit de plus. Je pense qu'il y a une contrainte materielle au niveau de la résolution de convertisseur a rampe (en fait une contrainte de vitesse). En meme temps, les capteurs de ce type sont plus destinés a des petits pixels, au dela de 6400 on bute sur des pbs d'optoelectronique (dqe, taille du pixel etc..) qui ne sont plus du ressort de la techno exmor.
A noter que le fait que les Canon aient un comportement correct a iso elevé montre que du point de vue opto electronique ils ne sont pas plus mauvais que les autres.

[geo444]

... Les capteurs Exmor sont souvent appelés isoless, dans le sens ou faire une photo a 800 iso ça revient au meme que faire a 100 et pousser de +3 apres en post traitement. En fait c'est pas tout a fait vrai, il reste le bruit de quantification apres conversion... on a toujours interet a avoir le plus de niveau possible...

sur un Canon Eos = OUI !
= on a intérèt à monter les isos pour monter le Signal au dessus du Bruit :
http://en.astronomike.net/deep-sky/nebulae/162986.html
à 1600 iso : les Canon Eos Egalent les Sony Exmor
mais sur un SoNyKonTax Exmor "isoless", NON !

Pentax K-5, qques repères :
ex: shooter à 12800 iso au lieu de 80 iso :
- la DR n'est plus que la moitié = 7 IL
- le Ratio S/B n'est plus que la moitié aussi = 21 dB
- les fichiers RAW au lieu de ~15 feront le Double en Taille +30 Mo
- il faudra en Stacker des dizaines avec Bias et Dark pour se débarrasser du Bruit !
... alors qu'il suffit de 1 à 6 RAW Sans Bias ni Dark à 80 iso !!

qques expérimentations :
http://forums.dpreview.com/forums/post/36903045
http://en.astronomike.net/m/134251.html

[dideos]

il y a aussi cet article (en espagnol)
http://www.guillermoluijk.com/article/snr/index.htm

[dideos]

Avec la remarque habituelle...
Toutes ces mesures dxo et autres, de meme que les considérations touchant l'optoelectonique ne prennent pas en compte le bruit de structure, qui est le principal facteur limitatif chez Canon.
= dans la pratique, le potentiel des Canon est largement surestimé a cause de ce boulet.

[geo444]

.

bin oui... et de 100 à 400 iso principalement...
... on a toujours Aucun Espoir de Solution Canon concernant le Banding !   
mème si à 6400 en 2009 :
http://www.chassimages.com/forum/index.php/topic,59958.0.html