200.000 photos ? Purger la mémoire cache ?

Démarré par catpat, Novembre 03, 2015, 19:36:11

« précédent - suivant »

catpat

Bonjour,

J'ai LR 5.6 sous Window 7.

J'utilise LR depuis le LR2, je m'intéresse plus aux fonctions Bibliothèque/Développement qu'au côté "informatique pure" du logiciel.

Est-ce qu'il faut limiter le nombre de photos sur un seul catalogue ? j'ai passé les 200.000, j'avais lu pas de limites mais quand même ....

De temps en temps, LR plante, fenêtre s'ouvre " LR ne répond pas ...", est-ce un problème de la mémoire cache ? tout redevient normal lorsque j' ouvre à nouveau.

J'ai mon disque "C" de 1To avec 700 Go de libre, j'ai limité la mémoire cache à 120 Go, dans propriétés Window elle fait 85 Go, env 154.000 fichiers, 0 dossiers, allant de 2012 à 2015.

Faut-il de temps en temps la purger dans édition/préférences/gestion des fichiers/, des risques ? des précautions ?

Merci,

Pat

Gérard B.

Pour l'instant je travaille avec Lr 6.1 sous W8.1 et avant Lr 5.7 sous W 7, dans les 2 configurations, il me faut attendre que Lr ait lu tout le catalogue avant d'y faire quoique ce soit, autrement il y a risque de plantage. Ca prend 2-3 minutes. Mon catalogue référence plus de 170.000 photos.
Pour faire de la place, on peut faire le ménage du côté des backups. Je garde les 2 derniers après avoir supprimé les plus anciens.
Voilà pour mon expérience qui ne vaut pas généralité.

tenmangu81

Citation de: catpat le Novembre 03, 2015, 19:36:11
Bonjour,

J'ai LR 5.6 sous Window 7.

J'ai mon disque "C" de 1To avec 700 Go de libre, j'ai limité la mémoire cache à 120 Go, dans propriétés Window elle fait 85 Go, env 154.000 fichiers, 0 dossiers, allant de 2012 à 2015.

Ce sont des jpeg j'imagine (154000 fichiers pour 300 Go), donc ça devrait aller plus vite et ne pas poser trop de problèmes.

Auvergnat63

Citation de: Gérard B. le Novembre 04, 2015, 04:06:37
Pour l'instant je travaille avec Lr 6.1 sous W8.1 et avant Lr 5.7 sous W 7, dans les 2 configurations, il me faut attendre que Lr ait lu tout le catalogue avant d'y faire quoique ce soit, autrement il y a risque de plantage. Ca prend 2-3 minutes. Mon catalogue référence plus de 170.000 photos.
Pour faire de la place, on peut faire le ménage du côté des backups. Je garde les 2 derniers après avoir supprimé les plus anciens.
Voilà pour mon expérience qui ne vaut pas généralité.

LR garde combien de backups ? Ce n'est pas transparent pour l'utilisateur ?

jmk

Citation de: Auvergnat63 le Novembre 04, 2015, 12:04:53
LR garde combien de backups ? Ce n'est pas transparent pour l'utilisateur ?

LR ne les supprime pas, c'est à l'utilisateur de le faire.

catpat

Citation de: Gérard B. le Novembre 04, 2015, 04:06:37
Pour l'instant je travaille avec Lr 6.1 sous W8.1 et avant Lr 5.7 sous W 7, dans les 2 configurations, il me faut attendre que Lr ait lu tout le catalogue avant d'y faire quoique ce soit, autrement il y a risque de plantage. Ca prend 2-3 minutes. Mon catalogue référence plus de 170.000 photos.
Pour faire de la place, on peut faire le ménage du côté des backups. Je garde les 2 derniers après avoir supprimé les plus anciens.
Voilà pour mon expérience qui ne vaut pas généralité.

Merci,
Effectivement, j'attends quelques dizaines de secondes pour que la bibliothèque affiche le nombre de photos dans les dossiers, puis c'est bon.

Lorsque je ferme LR, je choisi un dossier avec 1 seule photo et module bibliothèque en "grille", je pense gagner du temps  pour l'ouverture suivante.

Bien sûr je supprime régulièrement mes Backups, mais ce n'est pas çà qui libère de la place dans la mémoire cache de 85 Go.

Votre dossier de mémoire cache a combien de Go ?

A+  Pat83

catpat

Citation de: tenmangu81 le Novembre 04, 2015, 10:39:42
Ce sont des jpeg j'imagine (154000 fichiers pour 300 Go), donc ça devrait aller plus vite et ne pas poser trop de problèmes.

Non, les 154 fichiers sont dans la mémoire cache  ( disque C/Users/....camera raw/cache) , ce ne sont pas des photos mes des fichiers nommés:

Cache0000000001.dat à Cache0000154000.dat ( j'ai arrondi).

J'ai 1 disque "C" de 1 To +les photos sont dans les disques "D" 4 To + "E" 2 To + G "2To" de ma tour ( + 9 To en DD externes stockés ailleurs copie de mes C, D, E,G).

Principalement des RAW ,  des JPG et quelques vidéos.

A+  Pat83

catpat

Pour répondre à Auvergnat63, comme JMK et Gérard B, il faut faire son ménage dans les Backups, j'en garde une dizaine, j'ai de la place, vu la taille de mon catalogue, une sauvegarde fait presque 3 Go.

Je réitère mes questions du début:

J'ai LR 5.6 sous Window 7.

J'utilise LR depuis le LR2, je m'intéresse plus aux fonctions Bibliothèque/Développement qu'au côté "informatique pure" du logiciel.

Est-ce qu'il faut limiter le nombre de photos sur un seul catalogue ? j'ai passé les 200.000, j'avais lu pas de limites mais quand même ....

De temps en temps, LR plante, fenêtre s'ouvre " LR ne répond pas ...", est-ce un problème de la mémoire cache ? tout redevient normal lorsque j' ouvre à nouveau.

J'ai mon disque "C" de 1To avec 700 Go de libre, j'ai limité la mémoire cache à 120 Go, dans propriétés Window elle fait 85 Go, env 154.000 fichiers, 0 dossiers, allant de 2012 à 2015.

Faut-il de temps en temps la purger dans édition/préférences/gestion des fichiers/, des risques ? des précautions ?

Merci,

Pat


Mes photos ne sont pas sur le disque "C", le temps d'ouverture de LR est correct.

Si mes questions ne sont pas claires, merci de me demander des précisions.

A+  Pat


jmk

Citation de: catpat le Novembre 03, 2015, 19:36:11
Est-ce qu'il faut limiter le nombre de photos sur un seul catalogue ? j'ai passé les 200.000, j'avais lu pas de limites mais quand même ....

Non, pas à ma connaissance

Citation de: catpat le Novembre 03, 2015, 19:36:11
De temps en temps, LR plante, fenêtre s'ouvre " LR ne répond pas ...", est-ce un problème de la mémoire cache ? tout redevient normal lorsque j' ouvre à nouveau.

Faut-il de temps en temps la purger dans édition/préférences/gestion des fichiers/, des risques ? des précautions ?

Ca ne coûte rien de purger le cache.

tkosak

Même problème avec un catalogue de 45000 images. Le processeur tourne comme un fou, jusqu'à ne plus pouvoir rien faire sur l'ordi. Phénomène similaire (mais plus tardif) avec des catalogues à quelques milliers d'images.
J'ai suspecté la mémoire RAM : test de 4 heures, aucun pb détecté par l'outil (memcheck). En ce moment je commence à suspecter la réactivité des disques durs qui peuvent saturer devant le nombre d'entrées/sorties que fait LR à chaque instant...

Du temps de LR 3 et LR 4, il n'y avait pas ce genre de souci. Depuis LR 5 c'est apparu progressivement, avec un ralentissement graduel de la réactivité jusqu'au plantage (ou plutôt jusqu'à entrer dans une boucle folle qui ne redonne pas la main). Pour info, j'ai assez de place sur mes disques durs, 8 Go de RAM, processeur Intel Core i5 ce qui a longtemps suffit, mais là....
edit : pour le moment je ne veux pas croire à un bug de LR qui serait incapable, comme Access, de traiter un certain nombre (voire un nombre certain) de fiches. Pour le moment je n'y crois pas, mais ça pourrait changer.

Catpat, pour info l'expression "merci de faire" est une façon de donner un ordre, certes de façon enrobée, mais ça reste un ordre sans appel. Personnellement j'aurais bien du mal à me plier à ton injonction : mon côté rebelle par principe sans doute.

Dub

200.000 photos !!!??!!!

Je ne sais pas ce que tu gères (un fond (photographique) commun ?? ) mais peut-être serait-il
plus sage , dans ton cas , de faire plusieurs catalogues ...

???

My 2cts

;)

THG

200 000 photos, c'est beaucoup mais ça n'est pas exceptionnel et ça ne justifie aucunement de diviser ça en plusieurs catalogues.

Il ne faut pas non plus purger la mémoire cache.

Les raisons du plantage peuvent avoir de nombreuses origines, y compris hors Lightroom.

Je suis très occupé sur le Salon de la Photo, je tacherai de revenir dans cette discussion pour proposer des pistes.

Dans un premier temps, virer les préférences, vérifier la taille des aperçus standard, faire un essai avec un catalogue tout neuf...

Dub

Citation de: THG le Novembre 06, 2015, 08:16:56
200 000 photos, c'est beaucoup mais ça n'est pas exceptionnel et ça ne justifie aucunement de diviser ça en plusieurs catalogues.

::)

Et pourquoi donc ... même si je pense , moi aussi , qu'un seul catalogue est mieux ...

Je n'ai pas dit "doit" mais "devrait peut-être"  ... Ne connaissant pas les besoins de catpat ... moi ...

;D


Gérard B.

Citation de: catpat le Novembre 05, 2015, 01:15:47
Pour répondre à Auvergnat63, comme JMK et Gérard B, il faut faire son ménage dans les Backups, j'en garde une dizaine, j'ai de la place, vu la taille de mon catalogue, une sauvegarde fait presque 3 Go.

Je réitère mes questions du début:

J'ai LR 5.6 sous Window 7.

J'utilise LR depuis le LR2, je m'intéresse plus aux fonctions Bibliothèque/Développement qu'au côté "informatique pure" du logiciel.

Est-ce qu'il faut limiter le nombre de photos sur un seul catalogue ? j'ai passé les 200.000, j'avais lu pas de limites mais quand même ....

De temps en temps, LR plante, fenêtre s'ouvre " LR ne répond pas ...", est-ce un problème de la mémoire cache ? tout redevient normal lorsque j' ouvre à nouveau.

J'ai mon disque "C" de 1To avec 700 Go de libre, j'ai limité la mémoire cache à 120 Go, dans propriétés Window elle fait 85 Go, env 154.000 fichiers, 0 dossiers, allant de 2012 à 2015.

Faut-il de temps en temps la purger dans édition/préférences/gestion des fichiers/, des risques ? des précautions ?

Merci,

Pat


Mes photos ne sont pas sur le disque "C", le temps d'ouverture de LR est correct.

Si mes questions ne sont pas claires, merci de me demander des précisions.

A+  Pat

Je viens de vérifier la taille de la mémoire cache, elle est de 12 G0. Vous indiquez 120 Go soit 10x +. Je ne suis spécialiste mais vous pourriez essayer avec une taille plus basse.
Que l'on me corrige si je me trompe, mais la mémoire cache c'est pour que le logiciel est un accès rapide avec les données de traitement en cours.
Avec 120 Go sur un DD, je pense que cela prend plus de temps pour les écritures et lectures.

catpat

Citation de: THG le Novembre 06, 2015, 08:16:56
200 000 photos, c'est beaucoup mais ça n'est pas exceptionnel et ça ne justifie aucunement de diviser ça en plusieurs catalogues.

Il ne faut pas non plus purger la mémoire cache.

Les raisons du plantage peuvent avoir de nombreuses origines, y compris hors Lightroom.

Je suis très occupé sur le Salon de la Photo, je tacherai de revenir dans cette discussion pour proposer des pistes.

Dans un premier temps, virer les préférences, vérifier la taille des aperçus standard, faire un essai avec un catalogue tout neuf...

Merci pour toutes vos réponses, je retiens qu'il ne faut pas purger, d'ailleurs, je ne sais pas à quoi correspondent la mémoire cache et ses fichiers .DAT.
J'ai lu qu'elle ne devait pas dépasser 200 Go, que se passe t-il après ?c'est peut-être là qu'il faut générer un deuxième catalogue.

Les plantages sont peu fréquent, j'ai l'impression que c'est par période, quelquefois après avoir retouché plusieurs photos, fait des gros empilements ou cliqué rapidement sur les dossiers de la bibliothèque.

Là çà doit faire une semaine sans plantage, mais même après un " LR ne réponds pas ...", il fonctionne bien au redémarrage.

En suivant les conseils, j'ai désactivé les aperçus ( j'avais coché "Jamais" j'ai mis "après une semaine") et les préférences du film fixe.
Qualité des aperçus standard, 2048 pixel ( écran 27 /2560x1440).

Pour le nombre élevé de photos perso, c'est + de 10 ans de numérique.

A+  Pat


Bélisaire

Bonjour (ou bonne nuit, c'est selon). Je reprends le fil de ce fil... (ça se voit).

1. Dans les préférences (Lightroom 6.6.1), j'ai fixé à 20 Gigas la taille maximale de la mémoire cache.
2. Dans "Paramètres du catalogue", j'ai choisi de ne jamais supprimer les aperçus 1:1.
3. Mon dossier "Cache" pèse environ 50 gigas.
Est-ce que ceci (2) explique cela (3) ? ou bien n'y a-t-il pas de rapport entre les deux..., ou bien... ?

Merci.

Gérard B.

Quel argument avez vous pour devoir garder les aperçus de façon permanente? Forcément ça gonfle le poids des backups.
Les aperçus 1/1 ne servent que pour afficher à 100%. Pour vérifier la netteté sur la zone de map ou pour quelques retouches locales.
Ils peuvent être recréé au besoin.

Bélisaire

Citation de: Gérard B. le Septembre 21, 2016, 03:51:00
Quel argument avez vous pour devoir garder les aperçus de façon permanente?

J'imagine qu'il s'agit d'une curiosité, car de mon argument ne dépend pas la réponse à mon interrogation.

L'argument, vous l'avez donné vous-même:

Citation de: Gérard B. le Septembre 21, 2016, 03:51:00
Les aperçus 1/1 ne servent que pour afficher [rapidement]* à 100%.

* Je me permets de rajouter.

Je n'ai pas envie d'attendre quand j'affiche une image à cent pour cent.

THG

#18
Je pense qu'aujourd'hui il est temps de reconsidérer complètement la gestion de vos aperçus et de vos caches, parce que beaucoup de choses ont changé dans les dernières versions de Lightroom, et j'avais même posté ici un compte rendu détaillé qui, à mon grand étonnement, n'a pas suscité de réactions (hormis les habituels Adobe et THG bashing  :D  ).

D'abord, créer des aperçus 1:1 à tours de bras à l'import ou dans le module Bibliothèque n'a plus aucun intérêt puisque vous pouvez importer en mode Standard "auto", qui ajuste la taille des aperçus selon la résolution native du moniteur. Les aperçus 1:1 ne servent d'ailleurs que dans le module Bibliothèque.

Le module Bibliothèque met désormais en cache les photos suivantes dans le Film fixe : lorsque vous les passez en revue, l'une après l'autre, au bout d'un certain nombre d'images, vous ne verrez plus le message de chargement des aperçus. Si vous le voyez encore fréquemment, il est probable que le côté hardware commence à être sous-dimensionné par rapport aux besoins.

Enfin, créer des aperçus Standard "Auto" a un autre effet bénéfique, celui de précharger le cache Camera Raw.

Puisqu'on parle de ce cache oui, dans le temps, il était conseillé de lui donner un peu d'oxygène en l'augmentant à 20, 30, 50 Go. Aujourd'hui, ça n'est plus nécessaire, car depuis au moins Lightroom 5 (et peut-être même 4, à vérifier), les aperçus du module Développement, qui sont créés "on the fly", sont compressés et prennent beaucoup moins de place : aujourd'hui, 1 Go correspond environ à 2000 aperçus de travail. Qui a l'équivalent de 50 Go de photos en cours de traitement ? Personne, même les pros qui ont du débit.

Bref, aujourd'hui, inutile de monter la cache au-delà de 10 ou 20 Go. Cet espace n'est pas bloqué sur le disque dur et, s'il est rempli, l'élément le plus récent remplace le plus ancien.

Dans le cas qui est exposé ici, purger la cache parce qu'on a 200 000 photos et autant d'aperçus 1:1 n'a donc strictement rien à voir et, si on a un shooting en cours de traitement, la purge va effacer les aperçus correspondants, que le module Développement va devoir reconstruire à la volée, ce qui traduit apr d'interminables temps de chargement pendant la séance de travail.

L'autre argument en faveur d'un cache de taille modeste, c'est que le module Développement met désormais en cache les vues suivantes, mais pas de trop, histoire de ne pas monopoliser la RAM comme ce fut le cas il y a quelques versions.

Pour finir, et j'insiste là-dessus : la voie royale pour un affichage fluide dans le module Développement, c'est d'avoir des aperçus dynamiques, car ce sont eux qui vont être préchargés pour activer les curseurs du panneau Réglages de base. Avoir des aperçus 1:1 ne sert à rien dans ce cas.

Actuellement, le flux de travail idéal est donc :

1) Importer avec aperçus standard en mode Auto.

2a) Créer des aperçus dynamiques si l'espace de stockage n'est pas un problème et si vous souhaitez travailler en mode off-line (les aperçus dynamiques accélèrent également l'indexation).

ou

2b) Créer les aperçus dynamiques au besoin, pour les images qu'on va traiter dans le module Développement.
Pour finir, n'oubliez pas la nouvelle option de Lr 6.7, CC 2015.7, qui permet de travailler sur les aperçus dynamiques, même quand les originaux sont disponibles. C'est un gain de réactivité assuré pour ceux qui ont des ordis un peu à la traîne.

THG


OuiOuiPhoto

Donc si on a plein d'appercus 1:1 et une version Lightroom a jour tu conseillerais

1) de les effacer
2) de creer des standard en auto a la place
3) de créer  des aperçus dynamiques

4) d'activer la nouvelle option avec les apercus dynamiques même si on a les originaux

J'ai bon ? ;)

THG

Citation de: OuiOuiPhoto le Septembre 21, 2016, 10:06:04
Donc si on a plein d'appercus 1:1 et une version Lightroom a jour tu conseillerais

1) de les effacer
2) de creer des standard en auto a la place
3) de créer  des aperçus dynamiques

4) d'activer la nouvelle option avec les apercus dynamiques même si on a les originaux

J'ai bon ? ;)

en gros oui, sauf la 4 qui dépend de ta machine.

on peut corriger sur aperçus dynamiques sans problèmes, on peut même faire de la fusion HDR et panorama mais, par contre, si l'image a des problèmes de tonalité et de bruit, mieux vaut traiter avec l'original.

Bélisaire

Citation de: THG le Septembre 21, 2016, 07:53:21
Je pense qu'aujourd'hui il est temps de reconsidérer complètement la gestion de vos aperçus et de vos caches (...).

D'abord, créer des aperçus 1:1 à tours de bras à l'import ou dans le module Bibliothèque n'a plus aucun intérêt (...).

D'accord. Cette réponse détaillée est intéressante, notamment pour les aperçus dynamiques que je n'ai jamais essayés. Merci d'avoir pris le temps de la rédiger.

Toutefois, la réponse se focalise sur la pertinence ou non de créer des aperçus 1:1. Sans vouloir paraître désagréable  :), c'est sans rapport avec la question que je me posais (et que j'ai posée). Peut-être aurais-je dû créer un nouveau fil...?

THG

On ne peut pas parler de tout ça sans évoquer les aperçus 1:1... que tu évoques toi-même à deux reprises dans tes dernières interventions !

youli

Moi çà m'intéresse les aperçus 1:1  ;D d'autant que quelque chose m'échappe ou j'ai déjà lu ci et là que çà ne sert plus vraiment à grand chose, alors j'ai dû louper un truc..

Je fais de la macro actuellement et quand j'importe une centaine de photos, quel confort de les créer  en 1:1 et de n'avoir aucun temps de latence au moment de zoomer et ainsi voir si déjà ma photo est nette ( toujours difficile en macro vu les profondeurs de champs limitées) et surtout si la netteté a été effectuée où je souhaitais...

c'est très confort non, ou quelque chose m'échappe ?

Amicalement