Nouveaux capteurs en vue ?

timouton · Août 19, 2015, 21:31:17

Un appareil met fin aux photos surexposées

http://www.20min.ch/ro/multimedia/stories/story/13119187

Powerdoc · Août 19, 2015, 22:28:46

si j'ai bien compris , le truc c'est de regarder le remplissage des photosites, a chaque fois, qu'il est rempli a rabord , il est vidé, jusqu'à la fin de l'exposition. Il doit y avoir quelques bits reservés a cette information

timouton · Août 20, 2015, 04:57:00

Ça paraît être une exposition personnalisée pour chaque photosite.

fred134 · Août 20, 2015, 10:58:25

C'est basé sur un capteur qui remettrait un photosite à zéro quand il sature. Sans mémoriser aucune information supplémentaire (i.e. sans mémoriser le nombre de fois où le photosite a saturé), c'est ça leur apport me semble-t-il.

Ils proposent un algorithme de reconstitution de l'image HDR (dynamique illimitée) à partir de l'image "modulo" (où chaque photosite est remis à zéro quand il sature, donc si le compteur fait 8 bits c'est l'image réelle modulo 256).

Le capteur qui remettrait les photosites à zéro ne fait pas partie de leur travail, à vue de nez, ils s'appuient sur une autre contribution (ce n'est pas le modèle classique).

Pour se distraire : ... :-)
http://web.media.mit.edu/~hangzhao/papers/moduloUHDR.pdf
http://web.media.mit.edu/~hangzhao/posters/ICCP15_Poster.pdf

jmd2 · Août 20, 2015, 11:08:33

en gros, un photosite surexposé expose 2 fois durant le cycle d'obturation : une première fois à son maxi et une seconde pour ce qui reste de lumière.
le phénomène s'effectue sans temps mort entre les 2 expositions ?

fred134 · Août 20, 2015, 13:30:22

Citation de: jmd2 le Août 20, 2015, 11:08:33
en gros, un photosite surexposé expose 2 fois durant le cycle d'obturation : une première fois à son maxi et une seconde pour ce qui reste de lumière.
le phénomène s'effectue sans temps mort entre les 2 expositions ?

Le hardware ne fait pas vraiment partie de leur papier, ils s'appuient sur d'autres travaux.

De ce que j'en comprends, le design sur lequel ils s'appuient consiste en un photosite de très faible capacité (équivalent à 1 bit de signal seulement), qui est lu et remis à zéro au fur et à mesure qu'il est rempli (par exemple 256 cycles pour "remplir" 8 bits). Donc très différent des capteurs actuels.

Mais j'avais aussi vu passer des trucs sur une remise à zéro avec un photosite à capacité "normale", si un spécialiste passe par là il pourra confirmer ou pas...

Powerdoc · Août 20, 2015, 21:47:20

Citation de: fred134 le Août 20, 2015, 10:58:25
C'est basé sur un capteur qui remettrait un photosite à zéro quand il sature. Sans mémoriser aucune information supplémentaire (i.e. sans mémoriser le nombre de fois où le photosite a saturé), c'est ça leur apport me semble-t-il.

Ils proposent un algorithme de reconstitution de l'image HDR (dynamique illimitée) à partir de l'image "modulo" (où chaque photosite est remis à zéro quand il sature, donc si le compteur fait 8 bits c'est l'image réelle modulo 256).

Le capteur qui remettrait les photosites à zéro ne fait pas partie de leur travail, à vue de nez, ils s'appuient sur une autre contribution (ce n'est pas le modèle classique).

Pour se distraire : ... :-)
http://web.media.mit.edu/~hangzhao/papers/moduloUHDR.pdf
http://web.media.mit.edu/~hangzhao/posters/ICCP15_Poster.pdf

donc la dynamique est très etendue, mais il n'y a que 256 nuances par couleurs, ce qui est faible .Pas si interessant que cela au final ...

fred134 · Août 20, 2015, 23:43:48

Citation de: Powerdoc le Août 20, 2015, 21:47:20
donc la dynamique est très etendue, mais il n'y a que 256 nuances par couleurs, ce qui est faible .Pas si interessant que cela au final ...

Non non, l'algorithme reconstitue les "sauts" (passage d'un intervalle 256 au suivant), donc l'image finale est très proche de l'image HDR théorique (avec toutes les nuances, sur un très grand nombre de bits si nécessaire). Il doit bien y avoir quelques artefacts dans l'algorithme, mais l'apport de ce papier est de reconstituer les "sauts" de remise à zéro sans mémoriser le nombre de sauts.

Je n'ai pas pris le temps de chercher à comprendre l'algorithme, mais c'est en gros basé sur la cohérence de l'image, qui permet de détecter les "sauts" et par conséquent de reconstituer l'image.

jaric · Août 21, 2015, 00:11:00

J'ai quand même quelques doutes...
En effet l'article précise que l'algorithme est basé sur le champ aléatoire de Markov. Cela suppose que le remplissage des photosites soit un processus markovien, i.e. qu'il ne soit fonction que de l'état présent, en d'autres termes qu'il soit décorrélé des états passés. Or avec des photosites complètement saturés comme dans les images de l'article, je pense que deux états consécutifs (avec vidage intermédiaire) sont fortement corrélés.

Mais bon, les manip physiques lèveront l'ambiguïté très vite....

fred134 · Août 21, 2015, 00:42:35

Citation de: jaric le Août 21, 2015, 00:11:00
J'ai quand même quelques doutes...
En effet l'article précise que l'algorithme est basé sur le champ aléatoire de Markov. Cela suppose que le remplissage des photosites soit un processus markovien, i.e. qu'il ne soit fonction que de l'état présent, en d'autres termes qu'il soit décorrélé des états passés. Or avec des photosites complètement saturés comme dans les images de l'article, je pense que deux états consécutifs (avec vidage intermédiaire) sont fortement corrélés.

Je ne comprends pas ta remarque (mais je ne suis pas du tout spécialiste), ici le champ aléatoire de Markov est dans le domaine spatial, non ? Et pas temporel. C'est un outil d'optimisation dans le traitement d'images, qui va chercher l'image la plus "cohérente" dans l'espace des modulo possibles... (a priori hein, car je n'ai pas lu en détail et n'ai de toute façon pas les compétences requises :-)

jaric · Août 21, 2015, 00:57:17

Je ne suis pas non plus spécialiste et il y a longtemps que je n'ai pas fait de traitement du signal; peut-être ai-je lu aussi un peu vite et qu'il soit question de processus dans le domaine spatial (mentionné dans la plaquette de ton deuxième lien).

Mais dans ce cas, je ne vois pas du tout comment cela peut fonctionner et quelle information est exploitée. L'article décrit plus les résultats de simulation que la méthode utilisée.

fred134 · Août 21, 2015, 01:01:20

Oui moi aussi ça fait longtemps :-)
Intuitivement, l'information exploitée est la cohérence de l'image, les "sauts" de 256 valeurs ne se produisent pas à l'improviste, on doit pouvoir faire une optimisation sur ce critère, surtout après avoir représenté l'image avec des graphes de voisinage adéquats. Enfin, c'est mon impression furtive.

jaric · Août 21, 2015, 11:33:31

Citation de: fred134 le Août 21, 2015, 01:01:20
Intuitivement, l'information exploitée est la cohérence de l'image, les "sauts" de 256 valeurs ne se produisent pas à l'improviste, ...

Pour moi, ce que tu évoques s'assimile à de la corrélation temporelle.
Mais bon, ton impression furtive

vaut bien la mienne !

fred134 · Août 21, 2015, 13:51:17

Citation de: jaric le Août 21, 2015, 11:33:31
Pour moi, ce que tu évoques s'assimile à de la corrélation temporelle.
Mais bon, ton impression furtive vaut bien la mienne !

Je pense que leur truc ne doit pas marcher sur une image de ciel étoilé par exemple, parce que l'image est en quelque sorte aléatoire.
Sur des images courantes, le voisinage spatial respecte un certain nombre de propriétés de continuité (utilisées aussi au dématriçage et pour l'anti-bruit). Je ne vois pas trop ce qu'il peut y avoir de temporel dans une image capturée ?
Enfin bon, je dis ça juste pour expliciter mon impression, et la tienne vaut bien la mienne :-)

jaric · Août 21, 2015, 16:42:24

Les explications sur le principe et les algorithmes utilisés étant plus que sommaires, on ne peut que conjecturer. J'avais comme impression que les chaînes de Markov étaient liés aux séquences de vidages des photocites, et non pas à leur voisinage spatial.

P!erre · Août 21, 2015, 17:16:49

La cible immédiate me semble plutôt être la photo de "qualité moyenne" au smartphone, et non pas la photo pratiquée en aps-c ou FF, où les exigences sont nettement au-dessus.

Analyser le contenu d'une image de 36 Mpix comme le devient le standard actuel, cela fait un nombre conséquent de calculs à transmettre jusqu'au coeur du capteur.

Ensuite, tout l'aspect tient dans la manière dont l’algorithme "comprend la luminosité relative de chaque pixel" comme dit le papier.
http://web.media.mit.edu/~hangzhao/papers/moduloUHDR.pdf