Création d'un logiciel de statistiques sur les fichiers RAW

carpet_crawl · Juin 25, 2010, 06:53:39

Je me suis lancé dans la création d'un logiciel pour faire des statistiques sur les données EXIF des fichiers RAW.

Et oui, j'ai du temps à perdre en ce moment

Donc voici Raw Totaux, le projet qui ne sert à rien.

Je l'écris en Visual Basic 6.0,mais dans le package, il y a toutes les DLL et OCX nécessaire à son fonctionnement sous vista et seven (normalement... )

Le but :
Connaitre les statistiques sur les focales,diaph,objectifs,mode d'exposition etc etc les plus utilisé.

Pour cela, Raw Totaux pilote en tache de fond Exiftool, qui est un logiciel génial, disponible en Freeware, qui permet d'extraire toute la moelle d'un raw; mais comme ce dernier s'utilise en ligne de commande, c'est pas top pratique. Donc raw Totaux se charge à votre place de commander exiftool et de calculer les stats issues des informations extraites par exiftool. Ce dernier est inclu dans le package, donc vous n'avez pas besoin de vous le procurer.

J'attends de vous :
de me dire si il fonctionne (suivant l'OS que vous utiliser)
connaitre les données sur lesquels vous souhaitez connaitre des stats
me donner des idées sur le design et l'ergonomie

Donc la mouture du jour n'est qu'une ébauche qui a pour but de verifier si la partie "pilotage" d'exiftool fonctionne correctement. Seul les stats sur les valeurs ISO et motorisation/AF sont pour l'instant en partie fonctionnel.

Attention aux limitations :
Raw Totaux ne peux pas lire plus de 32700 fichiers Raw au cours d'une seule analyse (je tenterai de faire sauter cette limitation plus tard). La prévention de cette limite n'est pas programmé pour le moment, donc plantage assuré au-dela de cette limite pour le moment.
Pour l'instant, je bosse avec les EXIF Canon. Nikon et Pentax viendront plus tard

Pour installer :
- telecharger le fichier ZIP dans le lien Rapidshare ci-dessous.
- decompresser le à la racine d'un disque ou dans un dossier temporaire
- lancer Setup.exe

Je preciserais lors des mis à jour, s'il faut desinstaller l'ancienne version avant d'en installer une nouvelle, ou si il suffit de remplacer le fichier "Raw Totaux.exe"

Le dossier d'installation par défaut est : C:\Program Files\Raw Totaux\

Voilou

merci pour vos retours
Le programme (bêta 0.1.0.9 ): http://rapidshare.com/files/402540144/Raw_Totaux_0.1.9.zip.html
Si vous trouvez ce logiciel completement inutile, vous avez le droit de me le dire aussi

Enzo.R · Juin 25, 2010, 08:14:51

Citation de: carpet_crawl le Juin 25, 2010, 06:53:39
Je me suis lancé dans la création d'un logiciel pour faire des statistiques sur les données EXIF des fichiers RAW.

Donc voici Raw Totaux, le projet qui ne sert à rien.

Si vous trouvez ce logiciel completement inutile, vous avez le droit de me le dire aussi

Moi, je n'y comprends rien mais j'adore le nom

carpet_crawl · Juin 25, 2010, 08:24:02

Il est © carpet_crawl

Qu'est-ce que tu ne comprends pas ?

microtom · Juin 25, 2010, 08:28:51

Question très bête : si ton soft pilote Exiftool il faut donc avoir ce dernier d'installé (la doc sur le forum le dit pas

). Mais quelle version?

carpet_crawl · Juin 25, 2010, 08:30:00

tu n'as pas besoin de l'installer; il est inclus dans mon package et s'intalle automatiquement dans le dossier de mon appli.

Tu n'as rien à faire.

carpet_crawl · Juin 25, 2010, 08:47:15

une capture d'écran pour expliquer de quoi il s'agit .....

microtom · Juin 25, 2010, 08:49:21

Ra zut

Bon testé là avec Raw_Totaux_0.1.9
Os : Windows 7 32 bits
CPU : intel i7 920 3 Go de ram
HD : 10 000 rpm
Boitiers : G11, 450D, 40D
2201 fichiers analysés

Onglet iso : ras (= nickel chrome)
Onglet diaphragme : affichage de "non fonctionnel pour le moment" mais l'histogramme y est, les valeurs vont de de F /1.2 à R2 puis jusqu'à R15
Onglet vitesse : rien, sauf le message "non fonctionnel pour le moment"
Onglet motorisation/AF : nickel chrome (= ras

)
Onglet Objectif : un rectangle orange et le message "non fonctionnel pour le moment"
Onglet Focales : rien, sauf le message "non fonctionnel pour le moment"

remarque :
- en faisant ALT-TAB pour passer d'une appli à l'autre, Raw_Totaux n'y figure pas?!!
- en faisant "touche win" + TAB elle est visible?!

Voilà, si tu veux que je regarde autre chose?

microtom · Juin 25, 2010, 08:53:40

Ah si, pour les focales, tu comptes faire comment? Indiquer la focale réelle et indiquer la focale en équivalent 35mm ?

Edit : possibilité d'exporter les résultats vers un tableur (fichier CSV je suppose)?

carpet_crawl · Juin 25, 2010, 09:01:23

Merci

- Pour les onglets, c'est normal; Seul les fonctions ISO et motorisation/AF fonctionnent pour le moment. Je commence seulement l'écriture du programme

- pour le ALT TAB, je vais regardé d'ou vient le probleme; merci pour l'info

- pour les focales, je compte afficher le graph avec les focales réels et indiqué en dessous le coef du boitier; cela me semble plus interressant de raisonner en focale réel qu'en equivalent-focale. Et puis on peut avoir differents boitier avec different coef, donc je suis obligé d'indiqué la focale réel.

Mon souci pour les focales va être de savoir comment je vais faire la représentation graphique; car pour les zooms, les focales peuvent être multiple (quoique l'interpretation dans les exifs est differentes suivant les zoom je crois ....)

je pense que l'idéal sera d'afficher une courbe continu de 10 à 1000mm dans ce cas, plutot que des colonnes de focales précises. ça va être le truc le plus compliqué à faire pour mon petit cerveau

Enzo.R · Juin 25, 2010, 09:05:03

Citation de: carpet_crawl le Juin 25, 2010, 08:24:02

Qu'est-ce que tu ne comprends pas ?

Si cette question m'est destinée, je te rassure, je n'ai même pas essayé de comprendre.
Depuis tout petit, j'ai une allergie chronique à tout ce qui est informatique et tout ce que je peux lire devient du chinois au bout de la deuxième ligne. Et comme je ne parle pas chinois

Mon cerveau n'est pas formaté pour ça et quand je fais l'effort de comprendre, son interrupteur général se met sur "off".
Mais je progresse quand même car tu vois, j'ai utilisé le mot "formaté"

J'ai simplement réagi sur le nom de ton logiciel qui m'a fait sourire.
Amitiés

Enzo.R · Juin 25, 2010, 09:07:43

Une question quand même : ton logiciel est dédié fichiers RAW Canon ou fonctionne aussi pour les autres marques ?
Si c'est le cas, il pourrait interesser aussi "ceux d'en face" et ce serait dommage de les en priver.

microtom · Juin 25, 2010, 09:09:23

Citation de: carpet_crawl le Juin 25, 2010, 09:01:23
Merci
- Pour les onglets, c'est normal; Seul les fonctions ISO et motorisation/AF fonctionnent pour le moment. Je commence seulement l'écriture du programme

- pour le ALT TAB, je vais regardé d'ou vient le probleme; merci pour l'info

- pour les focales, je compte afficher le graph avec les focales réels et indiqué en dessous le coef du boitier; cela me semble plus interressant de raisonner en focale réel qu'en equivalent-focale. Et puis on peut avoir differents boitier avec different coef, donc je suis obligé d'indiqué la focale réel.

Mon souci pour les focales va être de savoir comment je vais faire la représentation graphique; car pour les zooms, les focales peuvent être multiple (quoique l'interpretation dans les exifs est differentes suivant les zoom je crois ....)

je pense que l'idéal sera d'afficher une courbe continu de 10 à 1000mm dans ce cas, plutot que des colonnes de focales précises. ça va être le truc le plus compliqué à faire pour mon petit cerveau

Je fais partie de ceux qui rangent les raw par thèmes, je vais donc forcément avoir des photos de G11 (compact) qui vont côtoyer celles faites au reflex. Si tu ne proposes qu'un seul graphique, autant indiquer les focales en équivalent 35mm non? (ou proposer cette option mais ça risque de compliquer les choses). Rien n'empêche d'indiquer les objo utilisés ailleurs, comme tu l'as prévu d'ailleurs.

Une autre solution serait de faire un histogramme/courbe par coef de multiplication : Compact (sachant que ça doit pas mal varier), APS-C, reflex (sous forme de sous-menu peut-être?)

Au fait, le G11 commence à 6,1 et va jusqu'à 30,5 mm (équivalent 35 mm : 28 à 140 mm).
Bon je me doute qu'on est en section reflex, mais c'est le genre de trucs qui m'intéresse aussi

bgl1 · Juin 25, 2010, 09:27:34

ton idée me semble très interessante et j'attends avec impatience de pouvoir utiliser ton prog ...... je ne suis pas en canon !

A suivre ....

carpet_crawl · Juin 25, 2010, 09:35:57

Citation de: microtom le Juin 25, 2010, 09:09:23
Je fais partie de ceux qui rangent les raw par thèmes, je vais donc forcément avoir des photos de G11 (compact) qui vont côtoyer celles faites au reflex. Si tu ne proposes qu'un seul graphique, autant indiquer les focales en équivalent 35mm non? (ou proposer cette option mais ça risque de compliquer les choses). Rien n'empêche d'indiquer les objo utilisés ailleurs, comme tu l'as prévu d'ailleurs.

Une autre solution serait de faire un histogramme/courbe par coef de multiplication : Compact (sachant que ça doit pas mal varier), APS-C, reflex (sous forme de sous-menu peut-être?)

Au fait, le G11 commence à 6,1 et va jusqu'à 30,5 mm (équivalent 35 mm : 28 à 140 mm).
Bon je me doute qu'on est en section reflex, mais c'est le genre de trucs qui m'intéresse aussi

Je n'avais pas penser aux RAW issus de compacts. Le probleme est de les identifier ! Car il y a beaucoup de référencess de compact !

Il y a peut être une solution car il y a un champ exif qui indique la gamme du boitier pour les EOS (l'equivalent de XXXD ou XXD ou XD). donc dans un raw de compact, peut-être que ce champ est identifié avec un truc générique du genre "Compact", qui permettrait de savoir que j'ai affaire à un Raw de compact. et dans ce cas, je pourrais faire un tableau séparé, en equivalence focale, car le coef de conversion est renseigné dans les champs.

ou sinon, que je suis con, il suffit de se servir de ce dernier champ pour savoir si on a affaire à un compact, car le coef sera > 1.6 !

il faudrait que quelqu'un me fournisse un Raw issu d'un compact canon (les series G je crois) pour verifier la synthaxe des champs EXIF

Citation de: Enzo.R le Juin 25, 2010, 09:07:43
Une question quand même : ton logiciel est dédié fichiers RAW Canon ou fonctionne aussi pour les autres marques ?
Si c'est le cas, il pourrait interesser aussi "ceux d'en face" et ce serait dommage de les en priver.

Citation de: bgl1 le Juin 25, 2010, 09:27:34
ton idée me semble très interessante et j'attends avec impatience de pouvoir utiliser ton prog ...... je ne suis pas en canon !

A suivre ....

C'est prévu pour NIkon et Pentax, mais j'aurais besoin de RAW des ces 2 marques pour verifier le libellé de certains champs EXIF. Mais c'est prévu !

microtom · Juin 25, 2010, 09:42:32

Citation de: carpet_crawl le Juin 25, 2010, 09:35:57
il faudrait que quelqu'un me fournisse un Raw issu d'un compact canon (les series G je crois) pour verifier la synthaxe des champs EXIF

J'en ai un de 10Mo de G11 à t'envoyer si tu veux.

carpet_crawl · Juin 25, 2010, 09:54:36

tu peux l'envoyer à fdd_fr(arobase)yahoo.fr

microtom · Juin 25, 2010, 10:13:32

Citation de: carpet_crawl le Juin 25, 2010, 09:54:36
tu peux l'envoyer à fdd_fr(arobase)yahoo.fr

C'est parti!

carpet_crawl · Juin 25, 2010, 10:41:53

cest reçu

Citation
File Name : 20100617_G11_1019.CR2
Directory : E:/RAW autres boitiers
File Size : 10.0 MB
File Type : CR2
Make : Canon
Camera Model Name : Canon PowerShot G11
Orientation : Horizontal (normal)
Exposure Time : 1/40
F Number : 2.8
ISO : 100
Shutter Speed Value : 1/40
Aperture Value : 2.8
Max Aperture Value : 2.8
Flash : Off, Did not fire
Focal Length : 6.1 mm
Macro Mode : Macro
Self Timer : Off
Quality : RAW
Canon Flash Mode : Off
Continuous Drive : Single
Focus Mode : Single
Record Mode : CR2
Sharpness : 0
Camera ISO : 100
Metering Mode : Evaluative
Focus Range : Macro
AF Point : Manual AF point selection
Canon Exposure Mode : Aperture-priority AE
Lens Type : Unknown (-1)
Long Focal : 30.5 mm
Short Focal : 6.1 mm
Focal Units : 1000/mm
Max Aperture : 2.8
Min Aperture : 8
Flash Activity : 0
Flash Bits : (none)
Focus Continuous : Continuous
AE Setting : Normal AE
Image Stabilization : On
Focal Type : Zoom
Focal Plane X Size : 7.59 mm
Focal Plane Y Size : 5.69 mm
Auto ISO : 100
Base ISO : 100
Measured EV : 8.88
Target Aperture : 2.8
Target Exposure Time : 1/40
Exposure Compensation : -1/3
Camera Type : Compact ---------> je peux identifier les RAWs d'un compact
Auto Rotate : None
ND Filter : Off
Canon Image Type : IMG:High definition image
Canon Firmware Version : Firmware Version 1.00
File Number : 103-2605
Camera Temperature : 23 C
Canon Model ID : PowerShot G11
AF Area Mode : Single-point AF
Num AF Points : 9
Valid AF Points : 1
Firmware Revision : 1.00 rev 6.00
Categories : (none)
Color Space : sRGB
Exif Image Width : 3648
Exif Image Height : 2736
Interoperability Index : R98 - DCF basic file (sRGB)
Interoperability Version : 0100
Exposure Mode : Manual
Digital Zoom Ratio : 1
Photometric Interpretation : RGB
White Balance Adj : Kelvin
WB Adj Color Temp : 5600
Rotation : 0
Work Color Space : sRGB
Picture Style : Standard
Chromatic Aberration On : Yes
Distortion Correction On : Yes
Peripheral Illumination On : Yes
Color Blur : Yes
Chromatic Aberration : 100%
Distortion Correction : 100%
Peripheral Illumination : 100%
Aberration Correction Distance : 82%
Auto Lighting Optimizer On : No
Auto Lighting Optimizer : n/a
Aperture : 2.8
Drive Mode : Single-frame Shooting
Image Size : 3648x2736
Lens : 6.1 - 30.5 mm
Lens ID : Unknown 6-30mm
Preview Image : (Binary data 241693 bytes, use -b option to extract)
Scale Factor To 35 mm Equivalent: 4.6 ------------> je peux récupérer ici le coef de conversion de focale
Shooting Mode : Aperture-priority AE
Shutter Speed : 1/40
Focal Length : 6.1 mm (35 mm equivalent: 27.8 mm)
Hyperfocal Distance : 2.02 m
Lens : 6.1 - 30.5 mm (35 mm equivalent: 27.8 - 139.1 mm)
Light Value : 8.3
Red Balance : 1.860731

Merci beaucoup !!

microtom · Juin 25, 2010, 10:53:44

Citation de: carpet_crawl le Juin 25, 2010, 10:41:53
cest reçu

Merci beaucoup !!

de nada

One way · Juin 25, 2010, 12:43:24

BRAVO

, superbe idée. Dès que je peux je donnerais mon retour.

Aphid · Juin 25, 2010, 18:03:50

En voilà une bonne idée

Mais je suis sous mac...

carpet_crawl · Juin 26, 2010, 00:40:22

bon, j'ai pas mal avancé ce soir. Quasiment tous les graphiques fonctionnent.

voici les mises à jour :

- bêta 0.1.0.10 complete pour ceux qui n'ont pas encore installé le soft ---> 26 juin 2010 : http://fddfr.free.fr/exif/Raw%20Totaux%200.1.10.zip :Les graphiques ISO, Diaph, Motorisation, AF, Objectifs fonctionnent
- le fichier exe pour ceux qui ont déja installé le soft -----> 26 juin 2010 : http://fddfr.free.fr/exif/Raw%20Totaux.exe qui est à placer dans le dossier C:\Program Files\Raw Totaux\

Teseo · Juin 26, 2010, 07:56:51

Je n'ai pas essayé, mais c'est une bonne idée.

Peut-être peux-tu y ajouter le truc dont je rêve depuis longtemps : l'analyse des exif crée une base de donnée (par exemple fichier excel) avec le chemin du fichier et les principaux exifs (modèle d'objectif, focale, ouverture, isos,...). Après on peut faire les stats qu'on veut.
Surtout, grâce à la fonction filtre d'excel, on peut trouver très rapidement les photos faites avec tel objectif, telle focale, telle ouverture, etc...
Que je sache, ce genre d'utilitaire n'existe pas sur le net.

Vu ta maîtrise, cela ne devrait pas être compliqué, non ?

Quoi, je suis gonflé ?

Si tu as quelques heures à perdre, moi je suis incapable de faire ce genre de trucs...

Grhum18 · Juin 26, 2010, 09:26:38

Salut carpet_crawl,

Je viens d'installer la version bêta 0.1.0.10 complète c'est franchement pas mal du tout, je préfère ta manière de présenter les choses par rapport aux autres logiciels que j'ai pu tester !
J'ai hâte que la partie focale fonctionne !
Pour la partie objectif, il n'a semble-t-il pas reconnu mon 50 F1.8 II je ne sais pas si c'est lié aux raws du 350D...

Pour information, il tourne parfaitement sur Windows 7 Home Premium 64 bits.

Bonne continuation, j'épingle ce fil et suivrai attentivement l'évolution de ce log prometteur

microtom · Juin 26, 2010, 09:37:35

yop

test de la bêta 0.1.0.10

Os : Windows 7 32 bits
CPU : intel i7 920 3 Go de ram
HD : 10 000 rpm
Boitiers : G11, 450D, 40D
2238 fichiers analysés

Objectifs reconnus (canon et sigma pour mon cas), y compris celui du compact G11 (reconnu en "unknown" + indication de sa focale réelle)
Diaphragme ok, rien à signaler

Le ALT+TAB fonctionne pendant que le "soft réfléchit" mais pas en affichage des résultats, va comprendre.
Win + TAB toujours ok.

"Good Job"