Pour une semi-automatisation du décompte des votes

Démarré par thom18, Décembre 13, 2011, 22:21:11

« précédent - suivant »

thom18

Venant de faire laborieusement les décomptes de "l'automne en ville" à la main, avec des risques d'erreurs importants, je me propose de faire un logiciel pour le dépouillement semi-automatique des votes sur le cahier des charges suivant :
Les participants au vote écrivent leur vote sous la forme non stricte suivante :

leur pseudo (ce n'est pas obligé mais c'est mieux)

1 :123 suivi éventuellement du nom de la photo et de son auteur
2 : 256 suivi éventuellement du nom de la photo et de son auteur


Quand je dis non stricte, c'est que presque toutes les formes de réponses de l'automne en ville seraient acceptées :

n°1 - 123 suivi éventuellement de n'importe quoi
ou
123 suivi éventuellement de n'importe quoi.

Je préfèrerai simplement qu'il n'y ait pas le n° de page avant le n° d'ordre et le n° de la photo et bien sûr, il ne faut pas que le vote ne comporte qu'une simple image.

Pour le dépouillement, la personne qui en prend la charge fait simplement la copie des votes à la queue leu leu dans un fichier texte (copier/coller successifs).
Ce fichier est soumis au logiciel qui produit :
- une liste des votes non conformes à traiter à la main (vote entier d'un participant)
- un classement des photos à partir des votes entiers considérés comme conformes.

S'il y a un accord sur ma proposition, je vous livre le produit écrit pour PC environnement Windows pour "courant Janvier".

Cordialement.
Sony RX10, Olympus XZ-2

Fae59


crisclac

DP1 DP2 DP3 Merrill

Frerefernand

panasonic fz1000,  fuji xp 70

gedeon44

Citation de: thom18 le Décembre 13, 2011, 22:21:11
Venant de faire laborieusement les décomptes de "l'automne en ville" à la main, avec des risques d'erreurs importants, je me propose de faire un logiciel pour le dépouillement semi-automatique des votes sur le cahier des charges suivant :

M...., encore un retraité  :D :D :D
30 caractères, c'est petit...

gedeon44

Citation de: thom18 le Décembre 13, 2011, 22:21:11
S'il y a un accord sur ma proposition, je vous livre le produit écrit pour PC environnement Windows pour "courant Janvier".

Cordialement.

Tu peux pas le faire pour les vacances de Noel, que j'ai le temps de le modifier pour être tjs premier ?  :P
Merci  ;D
30 caractères, c'est petit...

Etienne74

super :)

et une version android ??

pas frapper, je suis déjà  très loin :D
rien que de la lumière ;)

chelmimage

j'ai une version sous Excel.
Je rentre les votes, lance une macro et moins d'une sec après j'ai le résultat..
Je n'en parle pas parce que les calculs ne semblent pas poser de pb jusqu'à ce jour
Mais si quelqu'un est intéressé je suis près à céder mes droits d'auteur (LOL) ;D ;D ;D

thom18

Si j'ai fait cette proposition, c'est que j'ai trouvé le dépouillement très fastidieux et facilement sujet aux erreurs mais je n'ai surement pas pris la meilleure méthode.
D'autre part, je constate que le nouveau règlement en gestation est influencé par cette contrainte, c'est aussi ce qui motive cette idée d'automatisation au mieux.

Une macro sous Excel, c'est bien mais il n'en reste pas moins qu'il faut saisir tous les votes, aussi sans vouloir être suffisant, je dirais toutefois que ma proposition sera plus confortable et même mieux que celle proposée hier :
On pourra recopier tous les votes d'une page d'un seul coup donc de deux à six copier-coller doivent suffirent.
Je préciserai dans la journée les spécifications exactes si j'ai le feu vert du principal initiateur de ces "concours amicaux" : pacmoab.

Cordialement.
Sony RX10, Olympus XZ-2

pacmoab

Citation de: thom18 le Décembre 14, 2011, 09:20:58
Je préciserai dans la journée les spécifications exactes si j'ai le feu vert du principal initiateur de ces "concours amicaux" : pacmoab.

Carte blanche totale à toutes les bonnes initiatives !  :)

chelmimage

thom18, ton idée est excellente..ça m'a donné une idée pour un autre mode de traitement (pour moi) moins grandiose que mon précédent!! ;D ;D ;D

chelmimage

#11
en complément à ta suggestion, je pense qu'un format plus que "conseillé" serait de séparer chaque information par un séparateur tel que, 
    :
    ;
    ,
de cette façon la récupération serait plus facile excepté pour les "rares" erreurs.Ex:
1:123:page ?: auteur?
2:256:[i] page ?:auteur?[/i]:date?
Les infos en italiques sont facultatives .
De cette façon on peut en extraire facilement les 2 premières utiles au classement.

thom18

Maintenant, j'ai avancé suffisamment l'analyse pour être plus précis :

Coté VOTANT : minimum de contraintes
Pour être validés par le système de dépouillement automatisés, les votes devront être de l'un des types suivants :

TYPE 1
n°1 : 123 suivi optionnellement de titre photo, pseudo, page, commentaires

Le séparateur : pouvant être omis ou remplacé par tout autre séparateur.

Ex :
n°1 : 123 "beau pont" tartenpion page 2 belle photo
n°2 - 254
n°3 12 reflets

TYPE 2
-123 suivi optionnellement de titre photo, pseudo, page, commentaires

Le - pouvant être omis ou remplacé par tout séparateur

Ex :
-123 "beau pont" tartenpion page 2 belle photo
#254
12 reflets

Contraintes
- Toutes les lignes doivent être du type 1 ou toutes du type 2
- Un vote pour une photo est écrit sur une ligne (l'éventuel passage à la ligne en bout d'écran pour un long commentaire ne faisant pas changer de ligne).
- Le vote pour la photo suivante est fait sur une nouvelle ligne.

Avant d'annoncer COTE DEPOUILLEMENT, j'attends vos remarques.


PS pour chelmimage : j'ai essayer volontairement de ne donner que peu de contraintes supplémentaires par rapport à ce que j'ai pu observé dans les réponses. Si tu penses pouvoir le faire par macros Excel, alors bravo et même chapeau ! N'hésite pas, cela fera deux produits de dépouillement complémentaires car le mien ne sera que pour Windows.

Cordialement
Sony RX10, Olympus XZ-2

chelmimage

Citation de: thom18 le Décembre 14, 2011, 14:41:29
PS pour chelmimage : j'ai essayer volontairement de ne donner que peu de contraintes supplémentaires par rapport à ce que j'ai pu observé dans les réponses. Si tu penses pouvoir le faire par macros Excel, alors bravo et même chapeau ! N'hésite pas, cela fera deux produits de dépouillement complémentaires car le mien ne sera que pour Windows.
Merci...
Je n'ai pas une grande expérience de Excel, mais ce que j'ai lu c'est que lorsque les suites de données non formatées formellement comportent des séparateurs c'est assez facile de les séparer (je suis de l'école de M. de La Palice...!) autrement je ne sais pas?
Uniquement le retour à la ligne pour s'y retrouver?

thom18

COTE DEPOUILLEMENT : j'ai déplacé ici les contraintes que je ne voulais pas mettre à ceux qui votent mais cela reste léger à mon avis.

Phase 1 :
On ouvre un éditeur de texte vierge et le navigateur sur les pages des résultats des votes.
Sur la première page de résultat, on fait copie de toute la page (par exemple bouton droit Tout selectionner - puis Copier ou Ctrl A Ctrl C)
On la recopie dans l'éditeur de texte
Sur la seconde page, on fait copie de toute la page
On la recopie dans l'éditeur de texte à la suite de ce qui précède
et ainsi de suite pour toutes les pages de vote (ce qui n'exèdera surement pas 7 ou 8 pages)

Phase 2 :
Par précaution, dans l'éditeur de texte, on fait Rechercher Remplacer £ par -

Phase 3 : analyse sémantique et localisation des votes
C'est la seule phase réellement manuelle mais elle permet de ne retenir que les votes que leurs auteurs ne rejettent pas (cela arrive) et de faire le tri dans les discussions qui émaillent toujours le fil des votes.

On encadre les votes par £ par exemple avec la structure réelle du dernier vote :

Re : Album éphémère Novembre 2011 : L'AUTOMNE EN VILLE
« Répondre #243 le: Décembre 01, 2011, 10:12:00 »
   Citer en réponseCitation
Bonjour à toutes et tous.

Ma sélection ne comporte que des photos avec des feuilles d'automne...
C'est involontaire, mais une fois éliminées toutes les images hors sujet, (pas de ville ou pas d'automne), il me reste... des feuilles d'automne !

Mon choix :
£
161 Fae59

51 Bernie58
112 Bernie58
160 jef7

26 Yadutaf
48 zenfr
120 Leopoldine
183 pacmoab
191 jef7
194 PikoBelo
£
À+

* classement.jpg (212.68 Ko, 1024x568 - vu 186 fois.)
   Signaler au modérateur   Journalisée
DP1. NEX 3.
vivaskull
Hyper actif
*
Messages: 1 201
Voir le profil
   
   
Re : Album éphémère Novembre 2011 : L'AUTOMNE EN VILLE
« Répondre #244 le: Décembre 01, 2011, 17:49:56 »
   Citer en réponseCitation
dur dur (toujours un peu injuste par rapport à d'autres...  Lèvres scellées)...

£
  1 - N° 104 - page  5

  2 - N° 183 - page  8
  3 - N° 194 - page  9
  4 - N°   16 - page  1

  5 - N°   45 - page  2
  6 - N° 201 - page  9
  7 - N° 221 - page 10
  8 - N° 132 - page  6
  9 - N°   32 - page  2
10 - N° 231- page 10
£
Phase 4
On enregistre le fichier créé avec l'éditeur de texte, et on le dépose sur l'icone du logiciel fourni :

Celui-ci délivre deux fichiers de type texte :
- erreur.txt qui contient les votes entiers non conformes à retraiter à la main.
- classement.txt qui contient le classement des photos avec leur nombre de points.

Voilà, j'ai déjà bien avancé l'analyse et l'écriture du soft. J'attends vos remarques an retour.

Cordialement.

PS La phase 3 peut paraitre fastidieuse mais il n'y a guère moyen d'échapper à une analyse par l'oeil si on ne veut pas apporter trop de contraintes dans le fil des résultats.
Les votes réels cités ici sont parfaitement valides (une série a été légèrement modifiée pour montrer les bons exemples sinon elle partait dans le fichier erreur.txt).
Sony RX10, Olympus XZ-2

thom18

COTE DEPOUILLEMENT :
N'ayant pas vu de messages, j'espère que vous êtes toujours positifs sur mon travail qui a très fortement avancé, j'ai amélioré le côté dépouillement ainsi :

Etape 1 :
On ouvre une page vierge avec un éditeur de texte fourni.
Votre navigateur étant en consultation sur les pages des résultats des votes.
Sur la première page de résultats, on fait copie de toute la page (par exemple bouton droit Tout sélectionner - puis Copier ou Ctrl A Ctrl C)
On la recopie dans l'éditeur de texte
Sur la seconde page, on fait copie de toute la page
On la recopie dans l'éditeur de texte à la suite de ce qui précède
et ainsi de suite pour toutes les pages de vote (ce qui n'exédera surement pas 7 ou 8 pages)
On enregistre ce fichier.

Etape 2 :
On dépose le fichier créé sur l'icone du logiciel fourni de nom "Depouiller".
Le logiciel fait une première phase de traitement en nettoyant le fichier initial et ouvre ce fichier nettoyé afin de permettre l'analyse sémantique et localisation des votes
On encadre les votes par £ par exemple avec la structure issue du dernier vote :

*************************************  Phase 1 terminée  **************************************
*  Veuillez maintenant encadrer les votes par le symbole £ sur une ligne juste avant          *
*  et sur une ligne juste après. Vous pouvez aussi corriger les évidentes erreurs             *
*  de structuration que vous voyez dans les votes.                                            *
*   Quand cette opération est terminée, Faites FILE SAVE dans le menu de NOTEPAD2             *
*  ENSUITE FERMEZ NOTEPAD2 NORMALEMENT : LA PHASE 2 DU DEPOUILLEMENT ENTRERA EN ACTION        *
***********************************************************************************************
°VOTANT° : thom18
Messages: 1 200
Re : Album éphémère Novembre 2011 : L'AUTOMNE EN VILLE
« Répondre #243 le: Décembre 01, 2011, 16:49:56 »
£
161 Fae59
51 Bernie58
112 Bernie58
160 jef7
26 Yadutaf
48 zenfr
120 Leopoldine
183 pacmoab
191 jef7
194 PikoBelo
£
* classement.jpg (212.68 Ko, 1024x568 - vu 186 fois.)
°VOTANT° : vivaskull
Messages: 1 201
Re : Album éphémère Novembre 2011 : L'AUTOMNE EN VILLE
« Répondre #244 le: Décembre 01, 2011, 17:49:56 »
£
  1 - N° 104 - page  5
  2 - N° 183 - page  8
  3 - N° 194 - page  9
  4 - N°   16 - page  1
  5 - N°   45 - page  2
  6 - N° 201 - page  9
  7 - N° 221 - page 10
  8 - N° 132 - page  6
  9 - N°   32 - page  2
10 - N° 231- page 10
£


On enregistre le fichier modifié et le process continue :

Celui-ci délivre deux fichiers de type texte :
- erreur.txt qui contient les votes entiers non conformes à retraiter à la main.
- classement.txt qui contient le classement des photos avec leur nombre de points.

Cordialement

PS : vous pouvez voir que les noms des votants sont automatiquement isolés. Cela porra être exploité dans une seconde version.

Sony RX10, Olympus XZ-2

pacmoab

Citation de: thom18 le Décembre 15, 2011, 10:02:38
COTE DEPOUILLEMENT :
N'ayant pas vu de messages, j'espère que vous êtes toujours positifs sur mon travail qui a très fortement avancé, j'ai amélioré le côté dépouillement ainsi :


Je n'ai commenté, car je n'ai pas trouvé le décodeur pour tout comprendre (Les chiffres, les tableaux et moi, c'est des décennies d'histoire d'amour !  ;D)

Mais je l'ai déjà dit, j'apprécie et j'approuve les initiatives visant à améliorer la vie des albums. Merci donc à toi Thom pour ce boulot  ;)

chelmimage

Citation de: pacmoab le Décembre 15, 2011, 10:12:52
Mais je l'ai déjà dit, j'apprécie et j'approuve les initiatives visant à améliorer la vie des albums. Merci donc à toi Thom pour ce boulot  ;)
Moi également.
j'espère que la correction avec ta méthode, disons d'anomalies, ne sera pas trop mangeuse de temps?
De toute façon il faut essayer pour voir.

thom18

Pour indication sur le temps :
Je teste à l'heure actuelle sur les votes précédents qui n'étaient pas structurés par des contraintes : pour l'instant l'automne pour être précis et bientôt les moins précédents.
Le nombre de rejets est très faible car mon analyse va bien au delà du cahier des charges des contraintes des votants car je n'ai pas d'illusions : une fois les contraintes de vote publiées, il y aura bien des personnes qui passeront à côté !  :'(

Pour moi le temps complet du dépouillement de l'automne se situe environ vers 10 min.
Pour un dépouillement où les règles simples seraient respectées par 95% des usagers, le dépouillement sera inférieur à 15 minutes tout compris pour environ 50 votes très très loin du temps que j'ai mis pour publier le tableau de l'automne avec un dépouillement manuel. :D :D et aussi rejouable autant de fois que l'on veut pour un correctif mineur avec un temps de quelques secondes.

Je profite de cette réponse pour vous informer qu'une version de test sera disponible avant le 5 janvier (et sans doute même avant Noël) : les personnes qui désirent procéder aux tests avant la mise en service voudrons bien m'envoyer un mail à l'adresse écrite dans mon profil.

L'objectif est de fournir la version 1 opérationnelle au 15 janvier 2012.

Cordialement.
Sony RX10, Olympus XZ-2

PikoBelo

Je me mettrais volontiers sur les rangs pour tester, malheureusement je suis sur Mac OS. Mais effectivement, pour avoir fait plusieurs dépouillements des votes, les temps de traitement que tu annonces sont très encourageants.

thom18

Amélioration des temps de traitement

Je n'avais pas osé le faire mais en fait c'est possible et cela améliore grandement le temps de traitement :

Dorénavant les symboles £ qui délimitent les zones de vote sont posés automatiquement, la personne n'a plus qu'à supprimer les lignes parasites qui sont entre deux £ mais qui ne correspondent pas à un vote : elle est de plus aidé par le logiciel qui signale tout oublie de ce type en indiquant le n° de ligne.

Montre en main, pour le "rouge et le jaune", j'ai mis :
- deux minutes à créer le fichier des pages web de vote
- quatre minutes pour effacer les lignes en trop par lecture et par conseil du logiciel sur deux oublis.

Temps total 6 minutes.

Ce qui est remarquable c'est que tous les votes ont été traités correctement alors que les contraintes de votes n'avaient pas été données (sauf le mien car je n'avais mis qu'une image  :'( )

Cordialement à tous, je suis satisfait du boulot fait (quelques 15 - 20 heures tout de même !)

PS : il peut paraitre curieux que je n'arrive pas à supprimer les lignes de texte entre deux £ qui ne sont pas des votes : mais allez donc faire la différence entre un vote sur la photo n°2 et celui qui met un commentaire sur la photo n°2 en plus du vote ; sans contrainte ce n'est pas possible.
Sony RX10, Olympus XZ-2

chelmimage

Je veux bien tester mais je ne vois pas ton adresse courriel qui est cachée.
mais la mienne est mic.chelmimage (at) aliceadsl.fr

thom18

Je pense que la case cochée AntiSpam cache effectivement mon adresse mail dans le profil : je vais ici en donner une afin que vous puissiez me contacter. C'est mon ancienne adresse professionnelle toujours active :

Je l'écris volontairement sous forme non utilisable directement par des robots (quoique ...)
jacques.thomas suivi du symbole arobase suivi de
ac-orleans-tours.fr

Cordialement.

Sony RX10, Olympus XZ-2

Powershot

Citation de: thom18 le Décembre 15, 2011, 23:29:43
... je pense que la case cochée AntiSpam cache effectivement mon adresse mail dans le profil ...

Tiens ?
Un ex-collègue  :D
Ne me dis pas que tu étais animateur Tice ??
Tu peux envoyer le pg ici : rboyer aaaaa ac-nancy-metz.fr
Bonnes photos à tous !
Iphone SE - LUMIA 950

gedeon44

30 caractères, c'est petit...