traitement caché sur les appareils Nikon?

[simon35]

Bonjour à tous.
Cela fait maintenant quelques années que je me suis mis a la programmation (en java et C) et je me suis dit qu'il ne serait pas forcément compliqué de créer un petit programme capable de supprimer le bruit de lecture de mon appareil ou signal d'offset pour les intimes (ce qu'aucun logiciel ne fait à ma connaissance...).
L'avantage de cette technique est que (du fait que le signal d'offset est toujours le même pour une sensibilité donnée), environ 50% du bruit peut être enlevé sans perte de qualité contrairement aux techniques utilisant divers filtres.
C'est donc dans l'idée de faire ce programme que j'ai pris quelques offsets avec mon D7000 (temps d'expo le plus court possible dans le noir), et quelle n'a pas été ma surprise de constater que le bruit n'est absolument pas le même suivant les images (j'avais désactivé les fonctions de réduction du bruit de mon appareil).
Ainsi la seule explication que je puisse envisager est que les appareils de Nikon effectuent un traitement caché avant d'enregistrer les images.
Pourriez vous s'il vous plait me dire si ce traitement interne existe et si oui comment le désactiver (ça me serait d'autant plus utile lorsque je ferais de l'imagerie astro avec mon appareil.)

[Verso92]

Pourriez vous s'il vous plait me dire si ce traitement interne existe [...]

Difficile de le savoir avec certitude, mais il semblerait que oui...

[...] comment le désactiver (ça me serait d'autant plus utile lorsque je ferais de l'imagerie astro avec mon appareil.)

Tu patches le firmware.

[simon35]

Ok merci
Mais a propos du patch de firmware ne pourrait-il pas y avoir des risques que l'appareil tombe en rade? ==> perte de garantie 
nempèche que c'est quand même scandaleux de prendre le photographe pour un c... le minimum ça serair de la transparence et une option pour désactiver. En gros on peut dire que les marques qui font ça cherchent à faire passer leurs appareils pour meilleurs qu'ils ne sont.

[Verso92]

Mais a propos du patch de firmware ne pourrait-il pas y avoir des risques que l'appareil tombe en rade? ==> perte de garantie 

Oui.

nempèche que c'est quand même scandaleux de prendre le photographe pour un c... le minimum ça serair de la transparence et une option pour désactiver.

C'est un scandale absolu, en effet. Tu penses faire circuler une pétition ?

En gros on peut dire que les marques qui font ça cherchent à faire passer leurs appareils pour meilleurs qu'ils ne sont.

C'est de bonne guerre (c'est le contraire qui serait surprenant).

[kochka]

Ok merci
Mais a propos du patch de firmware ne pourrait-il pas y avoir des risques que l'appareil tombe en rade? ==> perte de garantie 
nempèche que c'est quand même scandaleux de prendre le photographe pour un c... le minimum ça serair de la transparence et une option pour désactiver. En gros on peut dire que les marques qui font ça cherchent à faire passer leurs appareils pour meilleurs qu'ils ne sont.

[/b]
Et ce sont les mêmes qui appliquent des traitements multicouches sur leurs lentilles.
Mais que fait la police?

[astrophoto]

Cela fait maintenant quelques années que je me suis mis a la programmation (en java et C) et je me suis dit qu'il ne serait pas forcément compliqué de créer un petit programme capable de supprimer le bruit de lecture de mon appareil ou signal d'offset pour les intimes (ce qu'aucun logiciel ne fait à ma connaissance...).
L'avantage de cette technique est que (du fait que le signal d'offset est toujours le même pour une sensibilité donnée), environ 50% du bruit peut être enlevé sans perte de qualité contrairement aux techniques utilisant divers filtres.
C'est donc dans l'idée de faire ce programme que j'ai pris quelques offsets avec mon D7000 (temps d'expo le plus court possible dans le noir), et quelle n'a pas été ma surprise de constater que le bruit n'est absolument pas le même suivant les images (j'avais désactivé les fonctions de réduction du bruit de mon appareil).
Ainsi la seule explication que je puisse envisager est que les appareils de Nikon effectuent un traitement caché avant d'enregistrer les images.
Pourriez vous s'il vous plait me dire si ce traitement interne existe et si oui comment le désactiver (ça me serait d'autant plus utile lorsque je ferais de l'imagerie astro avec mon appareil.)

hou là là, quelle salade ! Dit un peu brutalement : la première chose à faire est le ménage non pas dans les bruits mais dans ta compréhension des choses   

Bruit de lecture et signal d'offset n'ont rien à voir.

Le signal d'offset est constant d'une image à l'autre (normal puisque c'est un signal), et il est d'autant plus facile à retirer qu'il est déjà à zéro chez Nikon. Donc en fait...il n'y en a pas.

Le bruit de lecture, qui est en quelque sorte une variation aléatoire du signal d'offset, change d'un pixel à l'autre et d'une image à l'autre (normal puisque c'est un bruit). Il n'est donc pas retirable. Celui qui y arrivera méritera le Prix Nobel de physique puisqu'il aura réussi à défier les lois du même nom (qui sont beaucoup plus difficiles à contourner que les lois pondues par nos députés   ).

PS : retirer le signal d'offset, c'est ce que font déjà très bien tous les programmes astro qui se respectent (Iris, Prism, Maximdl, PixInsight...). Ca, et des centaines d'autres choses.

Vala vala... 

[simon35]

oki. merci pour tes explications 
par contre juste une question a propos de ça:

Le signal d'offset est constant d'une image à l'autre (normal puisque c'est un signal), et il est d'autant plus facile à retirer qu'il est déjà à zéro chez Nikon. Donc en fait...il n'y en a pas.

zéro offset ça me parait bizarre... Comment ça se fait???
PS: J'ai lu ton livre (non non je ne fayotte pas  )

[astrophoto]

oki. merci pour tes explications 
par contre juste une question a propos de ça:zéro offset ça me parait bizarre... Comment ça se fait???
PS: J'ai lu ton livre (non non je ne fayotte pas  )

Le niveau d'offset est un choix arbitraire du constructeur (niveau calé après le convertisseur A/N). Nikon le met à zéro, Canon le met à 256, 1024 ou 2048 selon l'appareil. Peu importe en fait, du moment qu'il n'est pas négatif. La valeur est enregistrée dans les métadonnées du fichier raw et prise en compte par le logiciel de développement.

Pour le livre, va peut-être falloir que je revoie les explications (justement je suis en train de travailler sur les évolutions de l'édition 2...  )

[remico]

J'ai trouvé un article sur un petit hack mais qui ne marche qu'avec la v1.03 du firmware pour le D7000. Pour le D7000 il n'y a que l'amélioration de la limite video et l'affichage du firmware hacké.

http://www.freeman59.fr/jailbreak-du-nikon-d7000-16392

Il y a deux liens en bas de pages qui renvoient :
soit à un patcheur en ligne (silverlight requis) : http://simeonpilgrim.com/blog/nikon-patching-help/
soit à une application windows ntool.
http://www.personal-view.com/talks/discussion/1494/nikon-firmware-is-decrypted-my-tool-inside/p1

[jmd2]

salut les programmeurs
vous êtes gonflés de penser que, de vos blanches mains sur vos claviers noirs  vous ferez mieux que Nikon (ou toute autre marque)

(hacker peut par contre servir à débrider une fonction ou éventuellement à remapper des boutons de fonction)

cependant, si vous parvenez à vos fins, sachez que Nikon sera prêt à vous embaucher

amitiés nikonniennes à tous

[astrophoto]

salut les programmeurs
vous êtes gonflés de penser que, de vos blanches mains sur vos claviers noirs  vous ferez mieux que Nikon (ou toute autre marque)

(hacker peut par contre servir à débrider une fonction ou éventuellement à remapper des boutons de fonction)

oui et non. Le firmware Magic Lantern pour Canon fait bien plus que de débrider des fonctions, il en rajoute : intervallomètre intégré, histogramme, vidéo et mise au point modifiés et améliorés... : http://www.magiclantern.fm/

Avec le détails des fonctions modifiées et nouvelles : http://wiki.magiclantern.fm/userguide

On peut donc suggérer à Nikon d'embaucher ceux qui ont réalisé ce firmware   

[chris31]

salut les programmeurs
vous êtes gonflés de penser que, de vos blanches mains sur vos claviers noirs  vous ferez mieux que Nikon (ou toute autre marque)

Donc tu penses que Nikon possèdent les meilleurs informaticiens au monde ?

Ca se saurait vu le codage de Nx.

Une chose est sûre on sait déjà qu'ils ont un chef de projet plutôt pas bon en sensitométrie. 

Par contre je te suis, ce n'est pas n'importe qui, qui va rentrer dans leur code et en tirer le meilleur.

[Verso92]

salut les programmeurs
vous êtes gonflés de penser que, de vos blanches mains sur vos claviers noirs  vous ferez mieux que Nikon (ou toute autre marque)

Pas du tout : Chassimages possède en son sein des experts en programmation, en marketing, etc, qui pourraient apprendre aux gens de chez Nikon leur boulot.

[Jinx]

Pas du tout : Chassimages possède en son sein des experts en programmation, en marketing, etc, qui pourraient apprendre aux gens de chez Nikon leur boulot.

Ne sois pas ridicule.

Nikon limite volontairement le périmètre des possibilités au niveau du firmware. Un développeur (talentueux bien sur) peut facilement étendre ces fonctionnalités, améliorer l'ergonomie voir réécrire tout le système des menus si ça le chante.

Les ingénieurs de Nikon ne sont ni des dieux, ni même les meilleurs codeurs du monde. La photo n'est probablement pas un domaine qui intéresse les hackers, mais si tu savais ce qu'ils sont capables de faire sur les consoles de jeux ou les mobiles, tu changerais sûrement de point de vue...

[Verso92]

Ne sois pas ridicule.

Même pas peur !

[...] si tu savais ce qu'ils sont capables de faire sur les consoles de jeux ou les mobiles, tu changerais sûrement de point de vue...

C'est bien là le problème : je n'ai absolument aucune idée de quoi sont capables ces gens là (l'électronique et l'informatique sont pour moi des grands mystères).
(à une époque reculée, j'avais bidouillé mon Atari STF + imprimante Citizen 120D+ pour la transformer en scanner...)

[Jinx]

Même pas peur !
C'est bien là le problème : je n'ai absolument aucune idée de quoi sont capables ces gens là (l'électronique et l'informatique sont pour moi des grands mystères).
(à une époque reculée, j'avais bidouillé mon Atari STF + imprimante Citizen 120D+ pour la transformer en scanner...)

Tu es donc encore plus coupable de mauvaise foi 

[remico]

salut les programmeurs
vous êtes gonflés de penser que, de vos blanches mains sur vos claviers noirs  vous ferez mieux que Nikon (ou toute autre marque)

(hacker peut par contre servir à débrider une fonction ou éventuellement à remapper des boutons de fonction)

cependant, si vous parvenez à vos fins, sachez que Nikon sera prêt à vous embaucher

amitiés nikonniennes à tous

Ce n'est pas pour faire mieux que Nikon .

La limitation video est juste due à une surtaxe de l'union européenne sur les appareils capables de prendre plus de 30 min de video.
Dans le changelog du site de simeonpilgrim :

v1.13 - 8 Apr 2013
•D3200 - UNTESTED - Added support for Removal of Time limit based video recording
v1.12 - 4 Mar 2013
•D5100 - BETA - Added support for Lossless NEF compression (Tested it works)
•D5100 - BETA - Added support for NEF oversampling, to allow testing by Astro folks (Tested it works)
•D7000 - Removed ALPHA support for NEF oversampling, as the patch didn't work
•D5100, D3100 - Removed BETA status from non-brand battery support
v1.11 - 22 Feb 2013
•D7000 - Added ALPHA support for NEF oversampling, to allow testing by Astro folks - ALPHA
v1.10 - 2 Jan 2013
•D3100 - Added support for non-brand battery - BETA
•D5100 - Fixed support for non-brand battery, so battery is not treated as power supply
v1.9 - 30 Dec 2012
•D5100 - Added support for non-brand battery - BETA
•D3100 - Removed support Time limit based video recording, as the firmware does not gracefully behave after ~18 minutes
v1.8 - ? Dec 2012
•D5100 - Removed support for Lossless NEF compression, as it creates bad files
v1.7 - 22 Nov 2012
•D5100 - Added support for Lossless NEF compression
•D5100 - Fixed support for Uncompressed NEF file, allow chosing all file saving types from Settings Menu
v1.6 - 21 Jun 2012
•D3100 - Fixed support 17:28 limited recording
v1.5 - 21 Jun 2012
•D3100 - Added support 17:28 limited recording, to avoid 16bit counter overflow - Thanks pandrew
v1.4 - 21 May 2012
•D5100 - Added support for Uncompressed NEF file
•D5100 - Added support for Jpeg Compression - Quality (vs. Space)
v1.0 - 31 Mar 2012
•D3100 - Remove Time limit based video recording
•D5100 - Remove Time limit based video recording
•D7000 - Remove Time limit based video recording

Il y a le support des accus génériques, des réglages NEF et une fonctionnalité astro (pas pour le D7000) que je n'ai pas comprise : " D5100 - BETA - Added support for NEF oversampling, to allow testing by Astro folks (Tested it works)"

Est-ce que cela vaut le coup de risquer un firmware buggé, un appareil en panne etc etc ... ?

[chris31]

Pas du tout : Chassimages possède en son sein des experts en programmation, en marketing, etc, qui pourraient apprendre aux gens de chez Nikon leur boulot.

Oui c'est vrai, plus que quelques vis et on sort le D400 et le D4x cet été.

Un scoop le D4x aura un capteur interchangeable, on a pas trouvé mieux que le passage en lave vaisselle contre les taches de graisses.

[iceman93]

Donc tu penses que Nikon possèdent les meilleurs informaticiens au monde ?

Ca se saurait vu le codage de Nx.

Une chose est sûre on sait déjà qu'ils ont un chef de projet plutôt pas bon en sensitométrie. 

Par contre je te suis, ce n'est pas n'importe qui, qui va rentrer dans leur code et en tirer le meilleur.

on nous aurait menti a l'insu de notre plein gré 

[chris31]

on nous aurait menti a l'insu de notre plein gré 

Chut c'est top secret, là on bosse sur un Sony, on améliore la partie mp3.

[jla46]

"C'est donc dans l'idée de faire ce programme que j'ai pris quelques offsets avec mon D7000 (temps d'expo le plus court possible dans le noir), et quelle n'a pas été ma surprise de constater que le bruit n'est absolument pas le même suivant les images "

salut,
Par définition, quand on parle de "bruit", c'est d'un phénomène aléatoire qu'il s'agit ; c'est donc assez normal qu'il change tout le temps.
Il existe des tas de méthodes de traitement du signal, pour enlever le bruit (autocorrelation, ondelettes etc...) et si elles ne sont pas appliquées, ce n'est surement pas par ignorance de la part des ingénieurs mais plus probablement par manque de puissance de calcul des processeurs embarqués.
je rajouterai que le bruit est déjà traité dans nos appareils et ce à différends stades (capteur, dématricage)
il n'y a qu'à voir les progrès spectaculaires déjà accomplis !!

Cordialement
JLA

[geargies]

   Verso a encore oublié ses smileys, je vois ...

[simon35]

Ouh la la je ne m'attendais pas a un tel succes. 
en revanche, le traitement par ondelettes a pour but d'amplifier les détails le signal (donc il peut amplifier le bruit ).
Et il est encore heureux que les ingénieurs n'imposent pas de tels traitements d'image interne à l'appareil car ils dégraderaient surement plus l'image qu'ils n'augmenteraient sa qualité. Un mode 100% raw sur un réflexe ça serait le minimum syndical tout de même.

Il existe des tas de méthodes de traitement du signal, pour enlever le bruit (autocorrelation, ondelettes etc...) et si elles ne sont pas appliquées, ce n'est surement pas par ignorance de la part des ingénieurs mais plus probablement par manque de puissance de calcul des processeurs embarqués.

[prestinox]

Donc tu penses que Nikon possèdent les meilleurs informaticiens au monde ?

Ca se saurait vu le codage de Nx.

Une chose est sûre on sait déjà qu'ils ont un chef de projet plutôt pas bon en sensitométrie. 

Par contre je te suis, ce n'est pas n'importe qui, qui va rentrer dans leur code et en tirer le meilleur.

Effectivement, côté soft, c'est pas le Pérou chez Nikon mais ça fonctionne.

J'ai réparé mon 1er appareil électrique (le moulin à café familial) à l'âge de 8 ans, mon 1er moteur (Solex) à 12 et à 14 on venait me voir pour optimiser certaines performances mécaniques . Après je suis monté en cylindrée jusqu'à remonter une Honda CB 450 de circuit qui m'a été offerte en pièces détachées dans des caisses en bois. Plus tard, j'ai démonté un Land Rover Diesel, restauré des voitures anciennes à l'origine et plein de choses dont des cabriolets avant même d'avoir le permis.

Je voulais faire les beaux arts via sciences éco mais mes parents ont décidé que ça serait électronique. Du coup ma scolarité fut chaotique. Je m'emm... très fort et peu de meufs pour passer le temps

Suivre notre conseil de classe en direct avec des radios et un émetteur dans la poche d'un des délégués, on l'a fait, c'était géant et même les meilleurs ont participé à ce projet commun.

Ensuite j'ai fait sciences éco à la fac et un BTS info en parallèle. Je bossais chez Hertz comme convoyeur la nuit pour payer tout ça. En plus d'être un conducteur "raisonnable", je suis passé chef d'équipe au bout d'1 mois. Pour faire rouler les convoyeurs moins vite et prendre moins de risques, je prenais un peu de temps pour agencer les tournées afin de perdre le moins de temps possible. Je suis le seul qui n'ait pas eu de convoyeurs accidentés pendant 1 an 1/2.

Bref, j'ai bossé sur des PC en assembleur et pas mal d'autres langages plus verbeux jusqu'à devenir développeur d'applications de compta et responsable réseau. J'aurais pu aussi choisir commercial, la boite me laissait le choix.

Alors, oui, quand je vois le temps que prennent certains softs pour faire des choses élémentaires, je me pose pas mal de questions. Par contre, concernant les firmwares, on peut douter mais en général ça améliore toujours des choses (qu'on ne vous dit pas en général). On trouve des firmwares pour tout (disque dur, graveur DVD, cartes graphiques et j'en passe).

Les mettre à jour est en général la garantie d'un "bon" fonctionnement mais pas toujours. Les firmwares les plus connus sont les mises à jour de Windows avec une qui a mis la majorité des ordinateurs de la planète en rade pendant 24h, le temps de corriger le tir.

Maintenant, de là à créer un firmware pour un appareil photo sous garantie, il vaudrait mieux le tester fermement avant de le diffuser mais c'est une idée intéressante. Il y a des trucs qui me gonflent sur mon D7000 et je suis sûr qu'on peut les modifier (choix des zones AF en mode AF-S par exemple pour avoir les mêmes qu'en AF-C).

Tiens, il y a même des firmwares pour les sabots de flash Metz et certains objectifs.

Maintenant, à quoi sert un "hacker" ? Ben à déplomber pas mal de choses dont les codages informatiques ou à devenir responsable sécurité informatique pour une grosse boite.

En venant de Paris à Lyon, j'ai connu des jobs minables et des périodes de chômage que j'ai remplies en passant des diplômes comme ingénieur informatique ou même en sciences de l'éducation avec des stages de terrain à Vaulx-En-Velin, là ou ça craint bien. Ca ne m'a jamais posé de pb, personne n'a éraflé ma voiture là bas, je me suis fait accepter facilement.

Maintenant, ça fait plus de 10 ans que je bossais comme consultant indépendant et un accident de voiture en juin 2010 à bousillé ma vie.

Je m'éloigne mais oui, je pense que c'est possible de faire joujou avec le firmware d'un réflex mais il faut se faire la main avant sur un truc qui ne vaut rien comme un D50 ou un D40. Les principes restent les mêmes, la seule chose qu'il ne faut pas oublier c'est de pouvoir réinstaller le firmware d'origine avant tout. Le projet doit commencer par là.

Tout est une question d'apprentissage, d'échecs et de réussites.

Ah, je dors toujours avec de quoi écrire sur ma table de nuit quand je fais de la programmation et que je reste bloqué sur un souci. En général, au réveil j'ai au moins 1 ou 2 solutions.

Flippant non ?

A+

Fabrice

[jla46]

Ouh la la je ne m'attendais pas a un tel succes. 
en revanche, le traitement par ondelettes a pour but d'amplifier les détails le signal (donc il peut amplifier le bruit ).
Et il est encore heureux que les ingénieurs n'imposent pas de tels traitements d'image interne à l'appareil car ils dégraderaient surement plus l'image qu'ils n'augmenteraient sa qualité. Un mode 100% raw sur un réflexe ça serait le minimum syndical tout de même.

Salut,
Il y a longtemps que j'ai décroché, mais il semble quand même bien qu'on puisse faire du débruitage avec les traitements par ondelettes.
Un petit exemple (mais il y a pléthore dans ce cas particulier).
http://www.cnrs.fr/insmi/spip.php?article265

amicalement
JLA