C1 workflow: meilleur emplacement des dossiers d'export

Démarré par peltier, Juillet 23, 2021, 08:15:24

« précédent - suivant »
Imprimer
En bas Pages 1 2 3 Toutes
Actions de l'utilisateur

albert-r

#25
Juillet 27, 2021, 17:40:33 Dernière édition: Juillet 27, 2021, 17:47:22 par albert-r
Citation de: peltier le Juillet 27, 2021, 16:41:57
Personnellement, je crée un catalogue par année, car je me suis méfié: des informaticiens (comme moi), ont ausculté la base avec un logiciel spécifique (sqlite viewer), et l'on trouvée particulièrement mal structurée (contrairement à celle d'Adobe), d'où les lenteurs...

Personnellement,

Quand j'importe dans le catalogue, une copie des RAW va dans le dossier > Photos importées.
Les photos traitées, sont exportées en JPG vers le dossier > Photos exportées.

Les JPG vont ensuite dans la photothèque Apple et son Cloud.
Les JPG et les RAW vont ensuite dans les Albums selon le screen ci-joint

https://nsm09.casimages.com/img/2021/07/27//21072705322025726017507890.png

Une fois remisées, les photos sont supprimées du catalogue de C1
Les Albums sont l'objet d'une procédure de sauvegarde en 5 exemplaires

peltier

#26
Juillet 27, 2021, 18:16:54 Dernière édition: Juillet 27, 2021, 18:31:20 par peltier
Citation de: albert-r le Juillet 27, 2021, 17:40:33
Personnellement,

Quand j'importe dans le catalogue, une copie des RAW va dans le dossier > Photos importées.
Les photos traitées, sont exportées en JPG vers le dossier > Photos exportées.

Les JPG vont ensuite dans la photothèque Apple et son Cloud.
Les JPG et les RAW vont ensuite dans les Albums selon le screen ci-joint

https://nsm09.casimages.com/img/2021/07/27//21072705322025726017507890.png

Une fois remisées, les photos sont supprimées du catalogue de C1
Les Albums sont l'objet d'une procédure de sauvegarde en 5 exemplaires

C'est compliqué ... mais c'est peut-être bien.

Moi (amateur, et non professionnel) , je fais plus simple:
- je crée un Catalogue par an, mais je ne stocke pas mes fichiers dans le catalogue (pas confiance), mais dans des dossiers physiques (sur disque SSD) dont le nom est : date du jour + description du dossier, via la procédure d'import; ex: 2021-01-01_photos-du-nouvel-an.
Le catalogue est uniquement là comme base de données.

Du coup, mon arborescence physique sous le directory CaptureOne est du type:

CaptureOne
     Catalogs (dossier ou C1 sauvegarde les catalogues)
     Photos Originales (les RAW avec des dossiers comme décrits ci-dessus)
         2019  (Raws du catalogue 2019)
         2020  ( ... 2020)
         2021  ( ... 2021)
     Export (les exports avec exactement le même schéma de dossier que ci-dessus).
        2019
        2020
        2021

C'est le dossier CaptureOne (qui contient donc les sauvegardes des bases de données + originaux + export), que je sauvegarde sur un autre disque (non SSD), de temps en temps. 
Mais je ne dis pas que c'est parfait....c'est juste simple.

Verso92

#27
Juillet 27, 2021, 18:29:22
Citation de: peltier le Juillet 27, 2021, 18:16:54
C'est compliqué ... mais c'est peut-être bien.

Moi (amateur, et non professionnel) , je fais plus simple:
- je crée un Catalogue par an, mais je ne stocke pas mes fichiers dans le catalogue (pas confiance), mais dans des dossiers physiques (sur disque SSD) dont le nom est : date du jour + description du dossier, via la procédure d'import; ex: 2021-01-01_photos-du-nouvel-an.
Le catalogue est uniquement là comme base de données.

Du coup, mon arborescence physique sous le directory CaptureOne est du type:

CaptureOne
     Catalogs (dossier ou C1 sauvergarde les catalogues)
     Photos Originales (les RAW avec des dossiers comme décrits ci-dessus)
         2019  (Raws du catalogue 2019)
         2020  ( ... 2020)
         2021  ( ... 2021)
     Export (les exports avec exactement le même schéma de dossier que ci-dessus).
        2019
        2020
        2021

C'est le dossier CaptureOne (qui contient donc les sauvegardes des bases de données + originaux + export), que je sauvegarde sur un autre disque (non SSD), de temps en temps. 
Mais je ne dis pas que c'est parfait....c'est juste simple.

Finalement, c'est compliqué, la photo...

peltier

#28
Juillet 27, 2021, 18:39:01
Citation de: Verso92 le Juillet 27, 2021, 18:29:22
Finalement, c'est compliqué, la photo...

Oui, la gestion du workflow est compliqué. Mon avis est que dans l'avenir, des logiciels viendront simplifier ce travail.
C'est un peu comme ce qui s'est passé en informatique industrielle (mon métier), ou des logiciels de gestion de configuration sont venus simplifier considérablement le travail ( Clearcase, SVN), dans les années 1990.

Verso92

#29
Juillet 27, 2021, 18:46:46
Citation de: peltier le Juillet 27, 2021, 18:39:01
Oui, la gestion du workflow est compliqué. Mon avis est que dans l'avenir, des logiciels viendront simplifier ce travail.

J'espère surtout qu'ils ne toucheront à rien !

(le workflow, c'est moi : aucune raison que je délègue à Adobe, Capture One, etc)

doppelganger

#30
Juillet 27, 2021, 18:59:37
Citation de: peltier le Juillet 27, 2021, 16:41:57
Personnellement, je crée un catalogue par année, car je me suis méfié: des informaticiens (comme moi), ont ausculté la base avec un logiciel spécifique (sqlite viewer), et l'on trouvée particulièrement mal structurée (contrairement à celle d'Adobe), d'où les lenteurs...

Les charlatans sont monnaie courante, dans le milieu (cela ne s'adresse pas à toi) ! Celui que j'ai vu étaler sa science ici ne sait pas de quoi il parle, mais ça impressionnaient les non initiés. La BDD de C1 n'est en rien mal structurée (enfin, pas plus que celle de Lr). Le problème (si problème il y a) se trouve dans la manière d'exploiter les données.

J'ai le même catalogue C1 depuis bientôt 4 ans. J'ai eu à déplorer un incident, contre une dizaine avec Lr, en 5 ans d'utilisation. Dans tous les cas, résolu à l'aide d'un backup.

peltier

#31
Juillet 27, 2021, 19:33:29
Citation de: doppelganger le Juillet 27, 2021, 18:59:37
Les charlatans sont monnaie courante, dans le milieu (cela ne s'adresse pas à toi) ! Celui que j'ai vu étaler sa science ici ne sait pas de quoi il parle, mais ça impressionnaient les non initiés. La BDD de C1 n'est en rien mal structurée (enfin, pas plus que celle de Lr). Le problème (si problème il y a) se trouve dans la manière d'exploiter les données.

J'ai le même catalogue C1 depuis bientôt 4 ans. J'ai eu à déplorer un incident, contre une dizaine avec Lr, en 5 ans d'utilisation. Dans tous les cas, résolu à l'aide d'un backup.

N'ayant aucun recul sur les performances de la base de donnée au moment ou j'ai créé mon worflow, j'avais fait un choix simple : 1 catalogue par an, avec les fichiers dans des dossiers physiques. Vu ma manière de travailler, que j'ai décrite plus haut, ce n'est pas du tout compliqué pour moi.

Pour évaluer correctement la performance de la base, il faudrait mieux,  dans un 1er temps savoir combien de photos tu as, plutôt que le nombre d'années . Moi, je fais 800 photos par mois en ce moment, soit 10 000 par an à peu près. Comme le chiffre me paraissait élevé, je n'ai pas voulu prendre de risque...

 

   
 



peltier

#32
Juillet 27, 2021, 20:04:03
Un exemple de "débat" sur la manière d'utiliser les catalogues, et leurs limites:
https://support.captureone.com/hc/en-us/community/posts/360009571518-Maximum-catalog-size

- il est recommandé de ne pas stocker les images DANS le catalogue.
- les limites en volume semblent apparaitre vers 30 000 images  (mais est-ce avec les images dans le catalogue ou en dehors?).A partir de là, c'est lent.

CaptureOne n'a jamais donné une limite raisonnable d'images dans le catalogue.

doppelganger

#33
Juillet 27, 2021, 20:53:48
Citation de: peltier le Juillet 27, 2021, 19:33:29
Pour évaluer correctement la performance de la base, il faudrait mieux,  dans un 1er temps savoir combien de photos tu as, plutôt que le nombre d'années . Moi, je fais 800 photos par mois en ce moment, soit 10 000 par an à peu près. Comme le chiffre me paraissait élevé, je n'ai pas voulu prendre de risque...

Moins de 300ms pour ramener un peu moins de 12000 lignes.

Verso92

#34
Juillet 27, 2021, 20:57:05
Citation de: peltier le Juillet 27, 2021, 20:04:03
Un exemple de "débat" sur la manière d'utiliser les catalogues, et leurs limites:
https://support.captureone.com/hc/en-us/community/posts/360009571518-Maximum-catalog-size

- il est recommandé de ne pas stocker les images DANS le catalogue.
- les limites en volume semblent apparaitre vers 30 000 images  (mais est-ce avec les images dans le catalogue ou en dehors?).A partir de là, c'est lent.

CaptureOne n'a jamais donné une limite raisonnable d'images dans le catalogue.

Pourquoi faire simple quand on peut faire compliqué ?

peltier

#35
Juillet 27, 2021, 21:07:00 Dernière édition: Juillet 27, 2021, 21:12:58 par peltier
Citation de: doppelganger le Juillet 27, 2021, 20:53:48
Moins de 300ms pour ramener un peu moins de 12000 lignes.

OK , et quand tu ouvres le même catalogue dans C1, t'as un temps de combien?
Je viens de faire l'essai chez moi sur mon catalogue 2020 de 7000 images : quelques secondes sous CaptureOne (pas directement via un " SELECT * " comme tu l'as fait).
Je t'avoue que je n'avais jamais mesuré, car c'est court.

Ma config:
Core-i3
SSD bas de gamme
et les images HORS CATALOGUES.
Mon dernier fichier de sauvegarde fait 4.5 Go.

D'ailleurs,c'est bizarre : jusqu'à cette dernière release mon fichier de sauvegarde pesait 1.5 Go et là , il est à 4.5 Go.
Ils ont dû faire de grosses modifs...

doppelganger

#36
Juillet 27, 2021, 21:35:56 Dernière édition: Juillet 27, 2021, 21:46:17 par doppelganger
Citation de: peltier le Juillet 27, 2021, 20:04:03
- il est recommandé de ne pas stocker les images DANS le catalogue.

Je stocke mes fichiers selon ma vision des choses, de manière à pouvoir m'y retrouver avec un simple explorateur de fichier. Soit j'importe depuis C1, via l'outils fait pour et je copie les fichiers de ma carte vers l'emplacement kivabien. Soit je copie le contenu de ma carte vers l'emplacement kivabien, via un explorateur de ficher et ensuite, je synchronise dans C1.

C'est exactement le même mode opératoire qu'à l'époque où j'utilisais Lr.

Concernant le stockage les images DANS le catalogue. J'ai créé un nouveau catalogue, pour voir. Dans l'absolu, ça ne change rien. Les fichiers sont stockés sur le support de stockage où se trouve le répertoire du catalogue, dans une arborescence constituée comme ceci :

/- Année
  /- mois
    /- jour
      /- index

La différence est que je n'ai pas accès à l'arborescence en tant que telle. Y'a intérêt à bien s'organiser et créer des albums ! Car si dans l'exemple suivant, je n'ai que 20 fichiers et que l'affichage des vignettes est plutôt rapide, c'est sur qu'avec 30k fichiers, ça risque de mettre un certain moment voir, un moment certain  :P Et finalement, le temps de récupération des 30k lignes depuis la BDD, c'est peanuts.

Au final, fichiers "dans" le catalogue ou en dehors, ce n'est qu'une question d'organisation et donc, l'affaire de l'interface qui se trouve entre la chaise et le clavier ;)

Verso92

#37
Juillet 27, 2021, 21:41:21
Citation de: doppelganger le Juillet 27, 2021, 21:35:56
Je stocke mes fichiers selon ma vision des choses, de manière à pouvoir m'y retrouver avec un simple explorateur de fichier.

Je fais exactement pareil*, et n'ai aucun mal à m'y retrouver en numérique (en argentique, je m'étais fait une BdD Access)...


*et c'est complètement transparent quel que soit l'OS (je vais même jusqu'à pousser le vice à limiter les noms de fichiers à 8 caractères...  ;-).

doppelganger

#38
Juillet 27, 2021, 21:44:47
Citation de: peltier le Juillet 27, 2021, 21:07:00
OK , et quand tu ouvres le même catalogue dans C1, t'as un temps de combien?

Oui mais là, on ne parle plus de BDD (ni de la manière dont elle est structurée), mais d'affichage dans l'IHM.

Citation de: peltier le Juillet 27, 2021, 21:07:00
D'ailleurs,c'est bizarre : jusqu'à cette dernière release mon fichier de sauvegarde pesait 1.5 Go et là , il est à 4.5 Go.
Ils ont dû faire de grosses modifs...

Ma dernière sauvegarde date du 23 de ce mois. Elle ne dépasse pas les 440 Mo, pour un peu moins de 12000 fichiers. 77 Mo pour le fichier .cocatalogdb et 360 Mo pour le répertoire "Adjustments".

peltier

#39
Juillet 27, 2021, 21:56:26
Citation de: doppelganger le Juillet 27, 2021, 20:53:48
Moins de 300ms pour ramener un peu moins de 12000 lignes.

Je viens de charger un DBeaverLite ( que je ne connaissais pas) , et j'ai fait la même requête sur les 4400 fichiers de 2020.

J'ai à peu près les mêmes ordres de grandeur : 4400 lignes - 100ms .

Verso92

#40
Juillet 27, 2021, 22:00:31
Citation de: peltier le Juillet 27, 2021, 21:56:26
Je viens de charger un DBeaverLite ( que je ne connaissais pas) , et j'ai fait la même requête sur les 4400 fichiers de 2020.

J'ai à peu près les mêmes ordres de grandeur : 4400 lignes - 110ms .

Et sinon, en ce qui concerne la sauvegarde et la pérénisation de nos chères photos, quel intérêt ?

doppelganger

#41
Juillet 27, 2021, 22:02:35
Citation de: Verso92 le Juillet 27, 2021, 21:41:21
Je fais exactement pareil*, et n'ai aucun mal à m'y retrouver en numérique (en argentique, je m'étais fait une BdD Access)...
*et c'est complètement transparent quel que soit l'OS (je vais même jusqu'à pousser le vice à limiter les noms de fichiers à 8 caractères...  ;-).

C'est universel, accessible depuis n'importe quel logiciel capable de parcourir un support de stockage et multiplateforme. Si demain, je décide de migrer sur linux et darktable, c'est finger in the nose  8)

Verso92

#42
Juillet 27, 2021, 22:06:41 Dernière édition: Juillet 27, 2021, 22:13:52 par Verso92
Citation de: doppelganger le Juillet 27, 2021, 22:02:35
C'est universel, accessible depuis n'importe quel logiciel capable de parcourir un support de stockage et multiplateforme. Si demain, je décide de migrer sur linux et darktable; c'est finger in the noze  8)

C'est aussi mon point de vue... pas que je considère la valeur de mes photos comme inestimable (enfin, un peu de mon point de vue à moi, quand même...  ;-), mais je fuis comme la peste les solutions "propriétaires" pour l'archivage et la sauvegarde*.

(je vois le mal qu'on a au boulot pour maintenir à flot des solutions abandonnées par les éditeurs, à la fois en terme de logiciel, d'OS et de hardware capable de faire tourner tout ça...)


*et plus je lis les échanges ici, plus ça me conforte dans mes choix...  ;-)

peltier

#43
Juillet 27, 2021, 22:12:14
Citation de: doppelganger le Juillet 27, 2021, 21:44:47
Oui mais là, on ne parle plus de BDD (ni de la manière dont elle est structurée), mais d'affichage dans l'IHM.

Ma dernière sauvegarde date du 23 de ce mois. Elle ne dépasse pas les 440 Mo, pour un peu moins de 12000 fichiers. 77 Mo pour le fichier .cocatalogdb et 360 Mo pour le répertoire "Adjustments".

Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?
 
J'ai peut-être raconté une connerie sur les tailles tout à l'heure.
Là, après reverification,  j'ai :
Taile de la sauvegarde (4400 fichiers) : 1.36Go
   - dont: .cocatalogdb : 27 Mo
              Adjustements : 1.34Go (650 fichiers)
              Originals : 0 (tout est dehors)
               Cache: 34 Octets

Plus tu modifies de fichiers, plus le dossier Adjustements est gros, je pense...

doppelganger

#44
Juillet 27, 2021, 23:16:28
Citation de: peltier le Juillet 27, 2021, 22:12:14
Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?

Surement que non. C1 fonctionne avec des variantes. Si tu veux récupérer toutes les variantes, ainsi que le nom des fichiers associés et leur emplacement, il faut faire les jointures kivonbien. Mais y'a pas que ça et doit y avoir quelques jointures supplémentaires. Mais rien de bien méchant au niveau perfs.

Là par exemple, pour récupérer toutes les variantes correspondantes à mon album intelligent sur mes objectifs macro, c'est 23ms pour ramener 1974 lignes. Mais quand je clique sur l'album intelligent "Objectifs macro", y'a au minimum une requête supplémentaire, pour récupérer les critères du filtre et générer la requête correspondante. Mais là, pour une ligne, ça devrait être très rapide. D'autant plus rapide que ce genre de données doit très certainement être mise en cache lors de l'ouverture du catalogue.

Finalement, le plus long sera toujours l'affichage les vignettes.

Verso92

#45
Juillet 28, 2021, 00:37:48
Citation de: peltier le Juillet 27, 2021, 22:12:14
Oui, j'entends bien pour l'aspect affichage, mais es tu sur que la reqête faite par C1 est aussi simple que le "SELECT * ZIMAGE"?
 
J'ai peut-être raconté une connerie sur les tailles tout à l'heure.
Là, après reverification,  j'ai :
Taile de la sauvegarde (4400 fichiers) : 1.36Go
   - dont: .cocatalogdb : 27 Mo
              Adjustements : 1.34Go (650 fichiers)
              Originals : 0 (tout est dehors)
               Cache: 34 Octets

Plus tu modifies de fichiers, plus le dossier Adjustements est gros, je pense...

Il n'y a plus de doute : la photo, c'est devenu quelque chose d'extrêmement compliqué pour certains...  ;-P

peltier

#46
Juillet 28, 2021, 06:43:40
Citation de: doppelganger le Juillet 27, 2021, 23:16:28
Surement que non. C1 fonctionne avec des variantes. Si tu veux récupérer toutes les variantes, ainsi que le nom des fichiers associés et leur emplacement, il faut faire les jointures kivonbien. Mais y'a pas que ça et doit y avoir quelques jointures supplémentaires. Mais rien de bien méchant au niveau perfs.

Là par exemple, pour récupérer toutes les variantes correspondantes à mon album intelligent sur mes objectifs macro, c'est 23ms pour ramener 1974 lignes. Mais quand je clique sur l'album intelligent "Objectifs macro", y'a au minimum une requête supplémentaire, pour récupérer les critères du filtre et générer la requête correspondante. Mais là, pour une ligne, ça devrait être très rapide. D'autant plus rapide que ce genre de données doit très certainement être mise en cache lors de l'ouverture du catalogue.

Finalement, le plus long sera toujours l'affichage les vignettes.

Oui, c'est la conclusion qu"on peut tirer de nos investigations d'hier soir: le temps d'ouverture de C1 est globalement le temps d'ouverture des vignettes.
Je vais peut-être arrêter de créer un catalogue par an...

Mais, comment expliquer que certains disent attendre des plombes pour l'ouverture de C1?
C1 s'ouvre sur le dernier dossier ouvert avant sa fermeture. Donc, ça ne devrait jamais être long, à moins de mettre des milliers de photos dans le même dossier.

albert-r

#47
Juillet 28, 2021, 07:51:38
Citation de: peltier le Juillet 28, 2021, 06:43:40
Mais, comment expliquer que certains disent attendre des plombes pour l'ouverture de C1?
C1 s'ouvre sur le dernier dossier ouvert avant sa fermeture. Donc, ça ne devrait jamais être long, à moins de mettre des milliers de photos dans le même dossier.

L'ouverture de C1 se fait plus ou moins rapidement en fonction de la dernière importation enregistrée.

Par exemple avec :

-150 photos importées hier, réouverture rapide
-300 photos importées ce matin, réouverture moins véloce

C'est ce que j'ai toujours constaté, après il faut voir les capacités de la machine utilisée.

Dommage que MS Access n'a pas été porté sur Mac OS, il faut se rabattre sur Filemaker Pro

peltier

#48
Juillet 28, 2021, 09:38:48
Oui, la photo , c'est compliqué .... mais à la fin .... si c'est beau... tu t'en fous....
Comme celle-là, du 14 Juillet à Lyon ...(merge de 2 images)

doppelganger

#49
Juillet 28, 2021, 10:00:50 Dernière édition: Juillet 28, 2021, 10:10:18 par doppelganger
Citation de: peltier le Juillet 28, 2021, 06:43:40
Oui, c'est la conclusion qu"on peut tirer de nos investigations d'hier soir: le temps d'ouverture de C1 est globalement le temps d'ouverture des vignettes.

Je n'évoquais même pas le temps d'ouverture de C1 mais le chargement d'un dossier (qu'il soit virtuel avec un album au sens C1 ou physique comme ceux que l'on peut ouvrir dans C1). Plus le dossier contiendra de fichiers (synchroniser avec le catalogue), plus le chargement des vignettes sera long.

Citation de: peltier le Juillet 28, 2021, 06:43:40
Mais, comment expliquer que certains disent attendre des plombes pour l'ouverture de C1?
C1 s'ouvre sur le dernier dossier ouvert avant sa fermeture. Donc, ça ne devrait jamais être long, à moins de mettre des milliers de photos dans le même dossier.

Je ne sais pas comment ces gens procèdent mais ça me semble être la raison : trop de fichiers (variantes du coup) à charger d'un coup. Et dans le cas de fichiers intégrés dans le catalogue, plus il y a de fichiers dans le catalogue, plus l'ouverture de C1 sera longue si le dossier virtuelle "Dans le catalogue" est sélectionné.



Là, 20 fichiers pas de souci, mais imagine 30000 fichiers. Dans ce cas, il est peut être souhaitable (pour ne pas dire nécessaire) de créer des albums, afin de ranger tout ça. Et là, on en revient à la bonne vielle méthode d'un rangement ordonnées, par année, par thème, etc... Dans ce cas, autant le faire soit-même, dans des dossiers / sous dossiers et de ne pas ajouter les fichiers dans la structure du catalogue. Le rangement est ainsi pérenne dans C1 mais aussi en dehors et pas besoin de créer des albums dans C1, l'arborescence "physique" se suffisant à elle-même.

Tout ceci est à modérer et l'ouverture de C1 (ou plus largement, le chargement des données dans C1) dépend d'autres facteurs, comme la machine sur laquelle on se trouve, la taille définie pour les vignettes, le support sur lequel se trouve le catalogue et son répertoire "cache" (contenant les vignettes et qui, chez moi, pèse 15,7 Go).

Pour ma part, ma config a presque 10 ans (avec une cure de jouvence récente pour la mémoire et les disques), mon catalogue n'est pas sur mon SSD donc, forcément, c'est surement plus long de charger 30000 aperçus d'un coup que sur une machine "moderne" avec le catalogue stocké sur un SSD type NVMe.
Cependant et compte tenu de ma façon de ranger mes fichiers (année \ année-mois-jour-séance), je n'ai pas de soucis de lenteur à l'ouverture de C1, entre autre.
L'essentiel pour moi, c'est d'avoir une carte graphique permettant de prendre en charge le traitement des images. C1 gérant plutôt bien l'accélération matériel, les temps de traitement que j'obtiens sont relativement confortables, malgrès des fichiers RAW de 50 Mpix. C'est ce qui fait que ma "vielle config" tient la encore route aujourd'hui.
Imprimer
En haut Pages 1 2 3 Toutes
Actions de l'utilisateur