Forum Chasseur d'Images - www.chassimages.com


Auteur Sujet: C1 workflow: meilleur emplacement des dossiers d'export  (Lu 1382 fois)

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Re : Re : Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #25 le: juillet 27, 2021, 16:41:57 »
Mais tu crées une session à chaque fois ou tu utilises toujours la même ?

En fait ça n'est pas l'import qui me dérange, c'est que la base de donnée est assez lourde à utiliser. Par exemple j'ai déplacé mes images sur un autre disque dur récemment, j'ai un peu galéré pour tout retrouver. Et puis soit on fait plein de petites bases de données mais c'est un peu chiant à gérer soit on en fait des grosses et ça a tendance à ramer et la base devient vite un peu énorme.

Pour les exports au contraire, je trouve ça particulièrement bien foutu car tu peux une fois pour toute définir tes paramètres d'export et les réutiliser facilement.

Personnellement, je crée un catalogue par année, car je me suis méfié: des informaticiens (comme moi), ont ausculté la base avec un logiciel spécifique (sqlite viewer), et l'on trouvée particulièrement mal structurée (contrairement à celle d'Adobe), d'où les lenteurs... 
 

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #26 le: juillet 27, 2021, 16:55:51 »
Mais tu crées une session à chaque fois ou tu utilises toujours la même ?

J'ai plusieurs sessions.

albert-r

  • Super actif
  • *
  • Messages: 1 724
  • Sexe: Homme
Personnellement, je crée un catalogue par année, car je me suis méfié: des informaticiens (comme moi), ont ausculté la base avec un logiciel spécifique (sqlite viewer), et l'on trouvée particulièrement mal structurée (contrairement à celle d'Adobe), d'où les lenteurs...

Personnellement,

Quand j'importe dans le catalogue, une copie des RAW va dans le dossier > Photos importées.
Les photos traitées, sont exportées en JPG vers le dossier > Photos exportées.

Les JPG vont ensuite dans la photothèque Apple et son Cloud.
Les JPG et les RAW vont ensuite dans les Albums selon le screen ci-joint

https://nsm09.casimages.com/img/2021/07/27//21072705322025726017507890.png

Une fois remisées, les photos sont supprimées du catalogue de C1
Les Albums sont l'objet d'une procédure de sauvegarde en 5 exemplaires

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Personnellement,

Quand j'importe dans le catalogue, une copie des RAW va dans le dossier > Photos importées.
Les photos traitées, sont exportées en JPG vers le dossier > Photos exportées.

Les JPG vont ensuite dans la photothèque Apple et son Cloud.
Les JPG et les RAW vont ensuite dans les Albums selon le screen ci-joint

https://nsm09.casimages.com/img/2021/07/27//21072705322025726017507890.png

Une fois remisées, les photos sont supprimées du catalogue de C1
Les Albums sont l'objet d'une procédure de sauvegarde en 5 exemplaires

C'est compliqué ... mais c'est peut-être bien.

Moi (amateur, et non professionnel) , je fais plus simple:
- je crée un Catalogue par an, mais je ne stocke pas mes fichiers dans le catalogue (pas confiance), mais dans des dossiers physiques (sur disque SSD) dont le nom est : date du jour + description du dossier, via la procédure d'import; ex: 2021-01-01_photos-du-nouvel-an.
Le catalogue est uniquement là comme base de données.

Du coup, mon arborescence physique sous le directory CaptureOne est du type:

CaptureOne
     Catalogs (dossier ou C1 sauvegarde les catalogues)
     Photos Originales (les RAW avec des dossiers comme décrits ci-dessus)
         2019  (Raws du catalogue 2019)
         2020  ( ... 2020)
         2021  ( ... 2021)
     Export (les exports avec exactement le même schéma de dossier que ci-dessus).
        2019
        2020
        2021

C'est le dossier CaptureOne (qui contient donc les sauvegardes des bases de données + originaux + export), que je sauvegarde sur un autre disque (non SSD), de temps en temps. 
Mais je ne dis pas que c'est parfait....c'est juste simple.


Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #29 le: juillet 27, 2021, 18:29:22 »
C'est compliqué ... mais c'est peut-être bien.

Moi (amateur, et non professionnel) , je fais plus simple:
- je crée un Catalogue par an, mais je ne stocke pas mes fichiers dans le catalogue (pas confiance), mais dans des dossiers physiques (sur disque SSD) dont le nom est : date du jour + description du dossier, via la procédure d'import; ex: 2021-01-01_photos-du-nouvel-an.
Le catalogue est uniquement là comme base de données.

Du coup, mon arborescence physique sous le directory CaptureOne est du type:

CaptureOne
     Catalogs (dossier ou C1 sauvergarde les catalogues)
     Photos Originales (les RAW avec des dossiers comme décrits ci-dessus)
         2019  (Raws du catalogue 2019)
         2020  ( ... 2020)
         2021  ( ... 2021)
     Export (les exports avec exactement le même schéma de dossier que ci-dessus).
        2019
        2020
        2021

C'est le dossier CaptureOne (qui contient donc les sauvegardes des bases de données + originaux + export), que je sauvegarde sur un autre disque (non SSD), de temps en temps. 
Mais je ne dis pas que c'est parfait....c'est juste simple.

Finalement, c'est compliqué, la photo...

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Re : Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #30 le: juillet 27, 2021, 18:39:01 »
Finalement, c'est compliqué, la photo...

Oui, la gestion du workflow est compliqué. Mon avis est que dans l'avenir, des logiciels viendront simplifier ce travail.
C'est un peu comme ce qui s'est passé en informatique industrielle (mon métier), ou des logiciels de gestion de configuration sont venus simplifier considérablement le travail ( Clearcase, SVN), dans les années 1990.

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #31 le: juillet 27, 2021, 18:46:46 »
Oui, la gestion du workflow est compliqué. Mon avis est que dans l'avenir, des logiciels viendront simplifier ce travail.

J'espère surtout qu'ils ne toucheront à rien !

(le workflow, c'est moi : aucune raison que je délègue à Adobe, Capture One, etc)

doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
Personnellement, je crée un catalogue par année, car je me suis méfié: des informaticiens (comme moi), ont ausculté la base avec un logiciel spécifique (sqlite viewer), et l'on trouvée particulièrement mal structurée (contrairement à celle d'Adobe), d'où les lenteurs...

Les charlatans sont monnaie courante, dans le milieu (cela ne s'adresse pas à toi) ! Celui que j'ai vu étaler sa science ici ne sait pas de quoi il parle, mais ça impressionnaient les non initiés. La BDD de C1 n'est en rien mal structurée (enfin, pas plus que celle de Lr). Le problème (si problème il y a) se trouve dans la manière d'exploiter les données.

J'ai le même catalogue C1 depuis bientôt 4 ans. J'ai eu à déplorer un incident, contre une dizaine avec Lr, en 5 ans d'utilisation. Dans tous les cas, résolu à l'aide d'un backup.

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Les charlatans sont monnaie courante, dans le milieu (cela ne s'adresse pas à toi) ! Celui que j'ai vu étaler sa science ici ne sait pas de quoi il parle, mais ça impressionnaient les non initiés. La BDD de C1 n'est en rien mal structurée (enfin, pas plus que celle de Lr). Le problème (si problème il y a) se trouve dans la manière d'exploiter les données.

J'ai le même catalogue C1 depuis bientôt 4 ans. J'ai eu à déplorer un incident, contre une dizaine avec Lr, en 5 ans d'utilisation. Dans tous les cas, résolu à l'aide d'un backup.

N'ayant aucun recul sur les performances de la base de donnée au moment ou j'ai créé mon worflow, j'avais fait un choix simple : 1 catalogue par an, avec les fichiers dans des dossiers physiques. Vu ma manière de travailler, que j'ai décrite plus haut, ce n'est pas du tout compliqué pour moi.

Pour évaluer correctement la performance de la base, il faudrait mieux,  dans un 1er temps savoir combien de photos tu as, plutôt que le nombre d'années . Moi, je fais 800 photos par mois en ce moment, soit 10 000 par an à peu près. Comme le chiffre me paraissait élevé, je n'ai pas voulu prendre de risque...

 

   
 


 

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #34 le: juillet 27, 2021, 20:04:03 »
Un exemple de "débat" sur la manière d'utiliser les catalogues, et leurs limites:
https://support.captureone.com/hc/en-us/community/posts/360009571518-Maximum-catalog-size

- il est recommandé de ne pas stocker les images DANS le catalogue.
- les limites en volume semblent apparaitre vers 30 000 images  (mais est-ce avec les images dans le catalogue ou en dehors?).A partir de là, c'est lent.

CaptureOne n'a jamais donné une limite raisonnable d'images dans le catalogue.

doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
Pour évaluer correctement la performance de la base, il faudrait mieux,  dans un 1er temps savoir combien de photos tu as, plutôt que le nombre d'années . Moi, je fais 800 photos par mois en ce moment, soit 10 000 par an à peu près. Comme le chiffre me paraissait élevé, je n'ai pas voulu prendre de risque...

Moins de 300ms pour ramener un peu moins de 12000 lignes.

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #36 le: juillet 27, 2021, 20:57:05 »
Un exemple de "débat" sur la manière d'utiliser les catalogues, et leurs limites:
https://support.captureone.com/hc/en-us/community/posts/360009571518-Maximum-catalog-size

- il est recommandé de ne pas stocker les images DANS le catalogue.
- les limites en volume semblent apparaitre vers 30 000 images  (mais est-ce avec les images dans le catalogue ou en dehors?).A partir de là, c'est lent.

CaptureOne n'a jamais donné une limite raisonnable d'images dans le catalogue.

Pourquoi faire simple quand on peut faire compliqué ?

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Moins de 300ms pour ramener un peu moins de 12000 lignes.

OK , et quand tu ouvres le même catalogue dans C1, t'as un temps de combien?
Je viens de faire l'essai chez moi sur mon catalogue 2020 de 7000 images : quelques secondes sous CaptureOne (pas directement via un " SELECT * " comme tu l'as fait).
Je t'avoue que je n'avais jamais mesuré, car c'est court.

Ma config:
Core-i3
SSD bas de gamme
et les images HORS CATALOGUES.
Mon dernier fichier de sauvegarde fait 4.5 Go.

D'ailleurs,c'est bizarre : jusqu'à cette dernière release mon fichier de sauvegarde pesait 1.5 Go et là , il est à 4.5 Go.
Ils ont dû faire de grosses modifs...


doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
Re : Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #38 le: juillet 27, 2021, 21:35:56 »
- il est recommandé de ne pas stocker les images DANS le catalogue.

Je stocke mes fichiers selon ma vision des choses, de manière à pouvoir m'y retrouver avec un simple explorateur de fichier. Soit j'importe depuis C1, via l'outils fait pour et je copie les fichiers de ma carte vers l'emplacement kivabien. Soit je copie le contenu de ma carte vers l'emplacement kivabien, via un explorateur de ficher et ensuite, je synchronise dans C1.

C'est exactement le même mode opératoire qu'à l'époque où j'utilisais Lr.

Concernant le stockage les images DANS le catalogue. J'ai créé un nouveau catalogue, pour voir. Dans l'absolu, ça ne change rien. Les fichiers sont stockés sur le support de stockage où se trouve le répertoire du catalogue, dans une arborescence constituée comme ceci :

/- Année
  /- mois
    /- jour
      /- index

La différence est que je n'ai pas accès à l'arborescence en tant que telle. Y'a intérêt à bien s'organiser et créer des albums ! Car si dans l'exemple suivant, je n'ai que 20 fichiers et que l'affichage des vignettes est plutôt rapide, c'est sur qu'avec 30k fichiers, ça risque de mettre un certain moment voir, un moment certain  :P Et finalement, le temps de récupération des 30k lignes depuis la BDD, c'est peanuts.

Au final, fichiers "dans" le catalogue ou en dehors, ce n'est qu'une question d'organisation et donc, l'affaire de l'interface qui se trouve entre la chaise et le clavier ;)

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #39 le: juillet 27, 2021, 21:41:21 »
Je stocke mes fichiers selon ma vision des choses, de manière à pouvoir m'y retrouver avec un simple explorateur de fichier.

Je fais exactement pareil*, et n'ai aucun mal à m'y retrouver en numérique (en argentique, je m'étais fait une BdD Access)...


*et c'est complètement transparent quel que soit l'OS (je vais même jusqu'à pousser le vice à limiter les noms de fichiers à 8 caractères...  ;-).

doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
OK , et quand tu ouvres le même catalogue dans C1, t'as un temps de combien?

Oui mais là, on ne parle plus de BDD (ni de la manière dont elle est structurée), mais d'affichage dans l'IHM.

D'ailleurs,c'est bizarre : jusqu'à cette dernière release mon fichier de sauvegarde pesait 1.5 Go et là , il est à 4.5 Go.
Ils ont dû faire de grosses modifs...

Ma dernière sauvegarde date du 23 de ce mois. Elle ne dépasse pas les 440 Mo, pour un peu moins de 12000 fichiers. 77 Mo pour le fichier .cocatalogdb et 360 Mo pour le répertoire "Adjustments".

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Moins de 300ms pour ramener un peu moins de 12000 lignes.

Je viens de charger un DBeaverLite ( que je ne connaissais pas) , et j'ai fait la même requête sur les 4400 fichiers de 2020.

J'ai à peu près les mêmes ordres de grandeur : 4400 lignes - 100ms .

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #42 le: juillet 27, 2021, 22:00:31 »
Je viens de charger un DBeaverLite ( que je ne connaissais pas) , et j'ai fait la même requête sur les 4400 fichiers de 2020.

J'ai à peu près les mêmes ordres de grandeur : 4400 lignes - 110ms .

Et sinon, en ce qui concerne la sauvegarde et la pérénisation de nos chères photos, quel intérêt ?

doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
Re : Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #43 le: juillet 27, 2021, 22:02:35 »
Je fais exactement pareil*, et n'ai aucun mal à m'y retrouver en numérique (en argentique, je m'étais fait une BdD Access)...
*et c'est complètement transparent quel que soit l'OS (je vais même jusqu'à pousser le vice à limiter les noms de fichiers à 8 caractères...  ;-).

C'est universel, accessible depuis n'importe quel logiciel capable de parcourir un support de stockage et multiplateforme. Si demain, je décide de migrer sur linux et darktable, c'est finger in the nose  8)

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #44 le: juillet 27, 2021, 22:06:41 »
C'est universel, accessible depuis n'importe quel logiciel capable de parcourir un support de stockage et multiplateforme. Si demain, je décide de migrer sur linux et darktable; c'est finger in the noze  8)

C'est aussi mon point de vue... pas que je considère la valeur de mes photos comme inestimable (enfin, un peu de mon point de vue à moi, quand même...  ;-), mais je fuis comme la peste les solutions "propriétaires" pour l'archivage et la sauvegarde*.

(je vois le mal qu'on a au boulot pour maintenir à flot des solutions abandonnées par les éditeurs, à la fois en terme de logiciel, d'OS et de hardware capable de faire tourner tout ça...)


*et plus je lis les échanges ici, plus ça me conforte dans mes choix...  ;-)

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Oui mais là, on ne parle plus de BDD (ni de la manière dont elle est structurée), mais d'affichage dans l'IHM.

Ma dernière sauvegarde date du 23 de ce mois. Elle ne dépasse pas les 440 Mo, pour un peu moins de 12000 fichiers. 77 Mo pour le fichier .cocatalogdb et 360 Mo pour le répertoire "Adjustments".

Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?
 
J'ai peut-être raconté une connerie sur les tailles tout à l'heure.
Là, après reverification,  j'ai :
Taile de la sauvegarde (4400 fichiers) : 1.36Go
   - dont: .cocatalogdb : 27 Mo
              Adjustements : 1.34Go (650 fichiers)
              Originals : 0 (tout est dehors)
               Cache: 34 Octets

Plus tu modifies de fichiers, plus le dossier Adjustements est gros, je pense...

 

doppelganger

  • Hyper actif
  • *
  • Messages: 8 641
Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?

Surement que non. C1 fonctionne avec des variantes. Si tu veux récupérer toutes les variantes, ainsi que le nom des fichiers associés et leur emplacement, il faut faire les jointures kivonbien. Mais y'a pas que ça et doit y avoir quelques jointures supplémentaires. Mais rien de bien méchant au niveau perfs.

Là par exemple, pour récupérer toutes les variantes correspondantes à mon album intelligent sur mes objectifs macro, c'est 23ms pour ramener 1974 lignes. Mais quand je clique sur l'album intelligent "Objectifs macro", y'a au minimum une requête supplémentaire, pour récupérer les critères du filtre et générer la requête correspondante. Mais là, pour une ligne, ça devrait être très rapide. D'autant plus rapide que ce genre de données doit très certainement être mise en cache lors de l'ouverture du catalogue.

Finalement, le plus long sera toujours l'affichage les vignettes.

Verso92

  • Pilier du forum
  • *
  • Messages: 124 742
  • Sexe: Homme
  • Expert en bavardages
    • La galerie photo de Verso
Re : C1 workflow: meilleur emplacement des dossiers d'export
« Réponse #47 le: juillet 28, 2021, 00:37:48 »
Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?
 
J'ai peut-être raconté une connerie sur les tailles tout à l'heure.
Là, après reverification,  j'ai :
Taile de la sauvegarde (4400 fichiers) : 1.36Go
   - dont: .cocatalogdb : 27 Mo
              Adjustements : 1.34Go (650 fichiers)
              Originals : 0 (tout est dehors)
               Cache: 34 Octets

Plus tu modifies de fichiers, plus le dossier Adjustements est gros, je pense...

Il n'y a plus de doute : la photo, c'est devenu quelque chose d'extrêmement compliqué pour certains...  ;-P

peltier

  • Actif
  • *
  • Messages: 148
  • Sexe: Homme
    • LesZaventures
Surement que non. C1 fonctionne avec des variantes. Si tu veux récupérer toutes les variantes, ainsi que le nom des fichiers associés et leur emplacement, il faut faire les jointures kivonbien. Mais y'a pas que ça et doit y avoir quelques jointures supplémentaires. Mais rien de bien méchant au niveau perfs.

Là par exemple, pour récupérer toutes les variantes correspondantes à mon album intelligent sur mes objectifs macro, c'est 23ms pour ramener 1974 lignes. Mais quand je clique sur l'album intelligent "Objectifs macro", y'a au minimum une requête supplémentaire, pour récupérer les critères du filtre et générer la requête correspondante. Mais là, pour une ligne, ça devrait être très rapide. D'autant plus rapide que ce genre de données doit très certainement être mise en cache lors de l'ouverture du catalogue.

Finalement, le plus long sera toujours l'affichage les vignettes.

Oui, c'est la conclusion qu"on peut tirer de nos investigations d'hier soir: le temps d'ouverture de C1 est globalement le temps d'ouverture des vignettes.
Je vais peut-être arrêter de créer un catalogue par an...

Mais, comment expliquer que certains disent attendre des plombes pour l'ouverture de C1?
C1 s'ouvre sur le dernier dossier ouvert avant sa fermeture. Donc, ça ne devrait jamais être long, à moins de mettre des milliers de photos dans le même dossier.

 

albert-r

  • Super actif
  • *
  • Messages: 1 724
  • Sexe: Homme
Mais, comment expliquer que certains disent attendre des plombes pour l'ouverture de C1?
C1 s'ouvre sur le dernier dossier ouvert avant sa fermeture. Donc, ça ne devrait jamais être long, à moins de mettre des milliers de photos dans le même dossier.

L'ouverture de C1 se fait plus ou moins rapidement en fonction de la dernière importation enregistrée.

Par exemple avec :

-150 photos importées hier, réouverture rapide
-300 photos importées ce matin, réouverture moins véloce

C'est ce que j'ai toujours constaté, après il faut voir les capacités de la machine utilisée.

Dommage que MS Access n'a pas été porté sur Mac OS, il faut se rabattre sur Filemaker Pro