Catalogue lightroom qui bloque à l'import

Démarré par lucha, Mars 25, 2020, 14:22:25

« précédent - suivant »
Imprimer
En bas Pages1 2 3 Toutes
Actions de l'utilisateur

lucha

Mars 25, 2020, 14:22:25
Bonjour j'ai un problème avec mon catalogue lightoom principal.
Celui-ci plante régulièrement à l'import de nouvelles photos (que cela soit à partir d'une carte ou d'un dossier, d'une synchro...)
cela m'oblige donc a redemarrer le catalogue et à réimporter les photos non importées ainsi dessuite... evidement la perte de tps est enorme mais en plus il me met vraiment le bor... dans les dossiers en créant des dossiers tmp, en réimportant des fichiers en leur rajoutant l'extension -2.
Evidement j'ai lancé à plusieurs reprises l'optimisation du catalogue. J'ai même crée un nouveau catalogue vierge dans lequel j'ai réimporté le catalogue sus nommé...
rien n'y fait... étonament mes autres catalogues n'ont pas ce problème...
Cela peut il venir du nombre de photos (+100 000) je ne le pense pas
je suis sous OSX avec la dernière version de lightroom.
Une idée ?
merci d'avance, Lucha

Nikojorj

#1
Mars 25, 2020, 14:53:10
Une idée très en vrac : s'il y a déjà des doublons, la routine de recherche de doublons se prend les pieds dans le tapis?

tkosak

#2
Mars 25, 2020, 15:06:42
En principe, une base de données très chargée ne réagit pas comme ça. (et le catalogue de LR n'est rien d'autre qu'une base de données!...) En général les performances se dégradent plus ou moins rapidement et c'est tout. Mais des personnes un peu plus compétentes en matière de BdD pourront être plus précis que moi...
Je penche plus pour une question de saturation de disque (pas de place quelque part, en particulier pour le cache? prémices d'une panne de disque dur? autre chose?) ou un problème matériel sournois. Ou alors c'est un bug de la dernière version de LR!.....  >:D

Si tu as du temps et de la place, je te suggère deux tests (certainement très longs!). Le premier serait d'exporter ton gros catalogue vers un autre. Le deuxième serait, à partir d'une copie d'un de tes autres catalogues, de le saturer jusqu'à plus de 100000 photos en important les images du gros catalogue à partir du disque, pas à partir du catalogue.... on ne sait jamais.
Je ne suis pas sûr du tout que ça mettra quelque chose en évidence, mais...

edit : l'idée de Nikojorj n'est surtout pas dénuée de bon sens! Il y a une case à cocher pour les doublons : dans quel état est-elle?

lucha

#3
Mars 25, 2020, 18:20:53
Merci pour vos pistes !
concernant l'importation dans un autre catalogue c'est deja fait cela n'a rien resolu.
Je vais voir cette histoire de doublons et je reviens vers vous.
++ Lucha

tkosak

#4
Mars 25, 2020, 18:56:55
Citation de: lucha le Mars 25, 2020, 18:20:53
Merci pour vos pistes !
concernant l'importation dans un autre catalogue c'est deja fait cela n'a rien resolu.
Je vais voir cette histoire de doublons et je reviens vers vous.
++ Lucha
Si j'ai bien lu ton premier post, tu as importé les images dans un catalogue vierge. Mais à partir du disque dur, comme si c'était de nouvelles images, ou par "importer depuis un catalogue"? Du point de vue pratique de l'utilisateur, ça revient au même, à peu de choses près. Par contre pour l'informaticien ça peut faire (éventuellement) une grosse différence.
Quand tu dis que ça n'a rien résolu, qu'entends-tu par là précisément? Que le nouveau catalogue s'est mis à planter de la même façon? As-tu remarqué à partir de combien d'images? Un autre détail auquel je ne pense pas?

Tiens, je vais lancer un test sur mon PC cette nuit : j'ai à peu près le même nombre de photos que toi, mais je suis sur PC Et LR 6.14. On voira bien ça que ça dit : tant que c'est la machine qui bosse....  ;)

lucha

#5
Mars 25, 2020, 19:52:04
alors effectivement j'ai ne pas importer les doublons coché dans la boite de dialogue d'import.
ca peut venir de la ? je pensais que cette case permettait de ne pas importer des images presentes deja dans le catalogue (c'est plutot l'option nouvelle photo dans le tri des vignettes qui fait ca non ?
Bon en cette periode je rempli pas trop les cartes pour tester plus profondement :-)
ps : j'ai importe depuis un catalogue par le disque j'ai peur de perdre des reglages meme si j'ecris les xmp dans un fichier annexe.
++ Lucha

tkosak

#6
Mars 25, 2020, 20:04:31
Citation de: lucha le Mars 25, 2020, 19:52:04
alors effectivement j'ai ne pas importer les doublons coché dans la boite de dialogue d'import.
ca peut venir de la ? je pensais que cette case permettait de ne pas importer des images presentes deja dans le catalogue (c'est plutot l'option nouvelle photo dans le tri des vignettes qui fait ca non ?
C'est exactement ça.
Citation de: lucha le Mars 25, 2020, 19:52:04
ps : j'ai importe depuis un catalogue par le disque j'ai peur de perdre des reglages meme si j'ecris les xmp dans un fichier annexe.
Le test que je suggérais, c'est catalogue ouvert, tu importes un plein wagon de fichiers en les désignant sur le disque dur (menu "Importer des photos et des vidéos") et non pas "importer depuis un autre catalogue". De toute façon, c'est juste pour faire un test et essayer de comprendre ce qui se passe, donc si tu perds des infos, c'est pas trop grave dans la mesure où tu as gardé les autres catalogues.

Bon, je configure mon bazar sur le PC pour faire tourner ce soir chez moi.

Nikojorj

#7
Mars 25, 2020, 20:33:11
Dans tes différents catalogues, tu as plusieurs fois la même photo (ie 1 photo se retrouve dans plusieurs catalogues), ou bien?

Si oui, et si tu arrives à tout consolider dans un seul catalogue, ça sera peut-être plus simple...

tkosak

#8
Mars 25, 2020, 20:47:30
Citation de: Nikojorj le Mars 25, 2020, 20:33:11
Dans tes différents catalogues, tu as plusieurs fois la même photo (ie 1 photo se retrouve dans plusieurs catalogues), ou bien?

Si oui, et si tu arrives à tout consolider dans un seul catalogue, ça sera peut-être plus simple...
Je me pose la même question pour chez moi, et je crains un ralentissement du bidule : aucun système de gestion de base de données n'est insensible au volume ingurgité...
Donc plus simple à gérer pour l'utilisateur, mais potentiellement plus lourd/long à gérer pour la machine.

tkosak

#9
Mars 25, 2020, 22:06:37
Bon, essai en cours, on va attendre que la machine digère tout ça. D'abord créé un catalogue vide, importé environ 16 000 images, puis lancé une grosse importation de 187 367 images (doublons compris dans ce nombre? je ne sais). Les "exifs" du test : LR 6.14 sous windows 10, quasiment que des fichiers raw dont une grosse majorité avec un .xmp. La machine est toute neuve, core i7, plein de RAM tout partout (32Go je crois), disque SSD, photos sur un externe via USB 3.0.
On verra à la fin de l'importation qu'est-ce qu'il aura ingurgité.

jesus

#10
Mars 26, 2020, 07:16:16
Citation de: tkosak le Mars 25, 2020, 22:06:37
Bon, essai en cours, on va attendre que la machine digère tout ça. D'abord créé un catalogue vide, importé environ 16 000 images, puis lancé une grosse importation de 187 367 images (doublons compris dans ce nombre? je ne sais). Les "exifs" du test : LR 6.14 sous windows 10, quasiment que des fichiers raw dont une grosse majorité avec un .xmp. La machine est toute neuve, core i7, plein de RAM tout partout (32Go je crois), disque SSD, photos sur un externe via USB 3.0.
On verra à la fin de l'importation qu'est-ce qu'il aura ingurgité.
Une machine neuve avec un i7 ?
Je pensais que cela ne s'achetait plus avec les excellents résultats des Ryzens.
Avant de me poser des questions sur les catalogues, je vérifierai qu'il n'y a pas de problème ailleurs, la mémoire, de la place sur les DD, truc pouvant interférer avec LR.

lucha

#11
Mars 26, 2020, 08:25:01
CitationAvant de me poser des questions sur les catalogues, je vérifierai qu'il n'y a pas de problème ailleurs, la mémoire, de la place sur les DD, truc pouvant interférer avec LR.
Je ne pense pas que cela soit matériel car ce catalogue récalcitrant je l'ai passe sur un DD externe (ssd) et j'y travaille actuellement sur mon Labtop à la maison et j'ai le même problème (toutes les photos sont stockées depuis récemment sur un DD unique de 6TO (auparavant elles étaient éparpillées sur plusieurs disques.

je viens d'essayer d'importer une carte en décochant les doublons mais du coup toutes les photos sont "importables" trop la galère à gérer ça.

tkosak

#12
Mars 26, 2020, 09:15:45
Citation de: lucha le Mars 26, 2020, 08:25:01
Je ne pense pas que cela soit matériel car ce catalogue récalcitrant je l'ai passe sur un DD externe (ssd) et j'y travaille actuellement sur mon Labtop à la maison et j'ai le même problème (toutes les photos sont stockées depuis récemment sur un DD unique de 6TO (auparavant elles étaient éparpillées sur plusieurs disques.

je viens d'essayer d'importer une carte en décochant les doublons mais du coup toutes les photos sont "importables" trop la galère à gérer ça.
Résultat de mon test de cette nuit : LR 6.14 a ingurgité 16 000 puis 186 637 fichiers. Il m'en a rejeté 16, manifestement corrompus (Photos, toshop et FastStone ne savent pas ouvrir...) donc B..... de M.... il va falloir chercher d'où ça vient : manifestement pas de LR.
Pas encore testé les performances de ce nouveau catalogue, pas encore vérifié le dédoublonnage.
Conclusion temporaire : soit LR a ramassé un mauvais bug après la 6.14 (pas impossible du tout, mais faut tester), soit ça vient du disque dur externe (peu probable, mais...). Logiquement c'est l'un des deux.

lucha

#13
Mars 26, 2020, 10:16:58
Citation de: tkosak le Mars 26, 2020, 09:15:45
Résultat de mon test de cette nuit : LR 6.14 a ingurgité 16 000 puis 186 637 fichiers. Il m'en a rejeté 16, manifestement corrompus (Photos, toshop et FastStone ne savent pas ouvrir...) donc B..... de M.... il va falloir chercher d'où ça vient : manifestement pas de LR.
Pas encore testé les performances de ce nouveau catalogue, pas encore vérifié le dédoublonnage.
Conclusion temporaire : soit LR a ramassé un mauvais bug après la 6.14 (pas impossible du tout, mais faut tester), soit ça vient du disque dur externe (peu probable, mais...). Logiquement c'est l'un des deux.

Merci bcp de ton aide  !
moi aussi de mon coté je fais des tests
++ Lucha

lucha

#14
Mars 30, 2020, 11:09:38
Bonjour juste pour revenir avec des news, j'ai testé d'importer en renommant mes fichiers (rajout de la date) ca a l'air de passer à voir à l'usage.
Cdlt Lucha

tkosak

#15
Avril 05, 2020, 22:15:16
Suite (et fin parce qu'il y en a marre...) de mon test de gros volume d'images sous LR 6.14.
J'ai fini par lui faire ingurgiter 268 512 images au total (82% de raw et dng, 22% jpeg, le reste en psd, tiff et vidéo) sans incident notoire.
A l'ouverture du catalogue, c'est trèèèès long (plus d'une minute entre le clic d'ouverture et le moment où il "me donne la main"), un tri sur un critère de métadonnées, c'est encooooore beauuuuuuucoup plus loooooong. Pour tenter (espoir...) d'accélérer le truc, j'ai lancé "Créer des aperçus standards" pour tout le monde : au bout de plus de 15 heures de travail ininterrompu, il en a créé à peu près 22%.
Là, je jette l'éponge et mets fin au test. Le catalogue fait 3,52 Go. Ma config n'est pas la plus performante (fichiers sur disque externe USB3, catalogue sur disque interne pas SSD) mais pas asthmatique non plus.

Ma conclusion : en version 6.14 LR est capable d'absorber et gérer une grosse quantité d'images. Peut-être qu'en sollicitant fortement le logiciel on pourrait mettre en évidence des cas de plantage : ce n'est pas mon but, et bien que j'ai le temps en ce moment (...) je n'en ai pas la patience. Mais clairement, la productivité est en chute libre. Du coup, ceux qui disent qu'il faut tout mettre dans un seul catalogue, que c'est une aberration d'avoir la possibilité d'en avoir plusieurs (si, si, j'ai lu ça, sur chassimages!), eh bien je leur conseille de ne pas produire trop d'images!...
Pour info, sur le fatras d'images que j'ai importées, il y en a plein qui ne sont pas à moi et dont je n'ai rien à faire (par exemple importé les images d'une copie de page web...) et aussi des doublons que LR n'a pas repérés (même fichier du même nom, mais dans des répertoires différents : donc pour LR le doublon c'est "même nom et même répertoire"!...)

jesus

#16
Avril 06, 2020, 07:34:46
J'ai 300000 photos dans mon catalogue principal sans problème particulier, et il m'arrive d'importer de nombreuses photos en une seule fois.
Je n'ai jamais eu de plantage à l'importation.
Mais, il y a de nombreuses causes possibles, câble, mémoire, DD, plugin, ...
Ca fait de nombreux tests à faire.

ChatOuille

#17
Avril 06, 2020, 19:16:15
Bonjour et merci pour touts ces tests. Maintenant une question me vient à l'esprit concernant le test de Tkosak. Il parle d'avoir créé des aperçus standards. Je me demande ce que c'est exactement car habituellement je ne fais que des aperçus 1:1. C'est intéressant de créer des aperçus standards ? C'est un complément aux 1:1 ?
Merci

Gérard B.

#18
Avril 06, 2020, 19:46:13
Citation de: ChatOuille le Avril 06, 2020, 19:16:15
Bonjour et merci pour touts ces tests. Maintenant une question me vient à l'esprit concernant le test de Tkosak. Il parle d'avoir créé des aperçus standards. Je me demande ce que c'est exactement car habituellement je ne fais que des aperçus 1:1. C'est intéressant de créer des aperçus standards ? C'est un complément aux 1:1 ?
Merci
Étonnant que vous posiez ces questions de puis le temps que vous intervenez sur le forum.
Les aperçus standards ne sont pas un complément aux 1:1 qui eux sont plein pot en définition. Avec les aperçus standards, on peut en définir les dimensions en pixels pour que cela corresponde à l'affichage de la carte graphique et de l'écran. Il y a aussi l'option de LR de lui demander de créer les aperçus standards automatiquement. Cela se fera avec sur base des composants détectés par LR.

tkosak

#19
Avril 06, 2020, 19:57:07
Citation de: ChatOuille le Avril 06, 2020, 19:16:15
Bonjour et merci pour touts ces tests. Maintenant une question me vient à l'esprit concernant le test de Tkosak. Il parle d'avoir créé des aperçus standards. Je me demande ce que c'est exactement car habituellement je ne fais que des aperçus 1:1. C'est intéressant de créer des aperçus standards ? C'est un complément aux 1:1 ?
Merci
Gérard B. a répondu.
En complément : LR crée les aperçus standards par défaut, dès l'import, c'est d'ailleurs ce qui lui permet de modifier (aussi) la vignette qu'il te montre puisqu'au début il prend celle du fichier, puis en recalcule une autre à sa sauce.
Mais LR ne crée pas tous les aperçus standards directement. Il le fait pour toutes les images visibles à l'écran en mode grille, et celle que tu es en train de visionner (c'est pour ça qu'au début tu attends "un certain temps" avant d'avoir l'image). Quand tu importes un plein wagon de fichiers, il en reste toujours plein qui n'ont pas d'aperçu standard, donc à chaque fois tu attends le bon vouloir de LR. L'utilité de forcer LR à créer ces aperçus, c'est que d'une part tu peux le faire bosser à un moment où tu n'en as pas besoin, et d'autre part avoir les aperçus disponibles quand tu en as besoin.
Pour les aperçus 1:1 la mécanique est similaire : il crée l'aperçu quand tu zoomes l'image, ou alors quand tu lui demandes de le faire pour tout le monde.

ChatOuille

#20
Avril 07, 2020, 19:19:03
Citation de: Gérard B. le Avril 06, 2020, 19:46:13
Étonnant que vous posiez ces questions de puis le temps que vous intervenez sur le forum.

Etonnant ?  ??? Je ne suis pas maître en la matière mais un apprenti éternel. J'interviens, soit pour poser des questions soit lorsque je suis capable d'aider.

Merci aussi Tkosak. Si j'ai bien compris, les aperçus standard sont ceux qui montrent l'image au complet et en même temps permettent aussi d'afficher les vignettes. Normalement on n'a pas besoin de «forcer» ces aperçus. C'est bien ça ou j'ai mal compris ? D'habitude je force les 1:1 du dossier de travail pour accélérer la besogne car ma machine est un peu (beaucoup trop) vieille.

tkosak

#21
Avril 07, 2020, 19:33:43
Citation de: ChatOuille le Avril 07, 2020, 19:19:03
Etonnant ?  ??? Je ne suis pas maître en la matière mais un apprenti éternel. J'interviens, soit pour poser des questions soit lorsque je suis capable d'aider.

Merci aussi Tkosak. Si j'ai bien compris, les aperçus standard sont ceux qui montrent l'image au complet et en même temps permettent aussi d'afficher les vignettes. Normalement on n'a pas besoin de «forcer» ces aperçus. C'est bien ça ou j'ai mal compris ? D'habitude je force les 1:1 du dossier de travail pour accélérer la besogne car ma machine est un peu (beaucoup trop) vieille.
Oui c'est ça.
En fait, tu ne t'en aperçois pas (ou peu) quand tu importes peu de photos : LR s'occupe des images qui sont visibles à l'écran bibliothèque, et finit pas ignorer les autres. Quand tu viens sur des images qui n'ont pas d'aperçu standard, il les crée à ce moment là.
Par contre, quand tu forces la création des aperçus 1:1 il est possible que LR s'occupe aussi forfaitairement des standard. Là je ne sais pas et m'en fous un petit peu.  ;)

ChatOuille

#22
Avril 07, 2020, 19:43:49
Citation de: tkosak le Avril 07, 2020, 19:33:43
Par contre, quand tu forces la création des aperçus 1:1 il est possible que LR s'occupe aussi forfaitairement des standard. Là je ne sais pas et m'en fous un petit peu.  ;)
Merci et compris. Justement c'était un peu le sens de ma question, bien que je ne l'aie pas exprimé expressément, si la création des aperçus 1/1 s'occupait en même temps des aperçus standard ou bien s'il convenait par la suite forcer les aperçus standard. Je vois donc que ce n'est pas nécessaire.
:)

tkosak

#23
Avril 07, 2020, 20:03:23
Citation de: ChatOuille le Avril 07, 2020, 19:43:49
Merci et compris. Justement c'était un peu le sens de ma question, bien que je ne l'aie pas exprimé expressément, si la création des aperçus 1/1 s'occupait en même temps des aperçus standard ou bien s'il convenait par la suite forcer les aperçus standard. Je vois donc que ce n'est pas nécessaire.
:)
ça, c'est ta conclusion. Moi j'ai dit  que je ne sais pas. Par contre ça se fait automatiquement au fur et à mesure des besoins.

ChatOuille

#24
Avril 09, 2020, 18:48:11
Citation de: tkosak le Avril 07, 2020, 20:03:23
ça, c'est ta conclusion. Moi j'ai dit  que je ne sais pas. Par contre ça se fait automatiquement au fur et à mesure des besoins.

Effectivement c'est ma conclusion mais elle est juste car j'ai fait des tests. Je comprends bien que tu ne t'intéresses pas au mode de création des aperçus standard, de même que je ne m'intéresse pas aux aperçus dynamiques car je travaille toujours avec des fichiers originaux. Gérard semblait être étonné de ma question car probablement pour lui elle est absurde. Elle est probablement absurde pour le commun des mortels mais dans mon cas particulier elle est pertinente car mon PC est très lent et le mode de création des aperçus compte pour moi.

Grâce à vos interventions et à mes tests, maintenant je peux vous assurer que la création des aperçus standard n'est pas un complément. Lorsqu'on force la création des aperçus 1:1, les aperçus standard sont créés d'office. Il n'est donc pas nécessaire de forcer la création des aperçus standard en sus.

Mon test le confirme. J'ai pris un dossier ancien dont j'étais sûr de ne pas y avoir touché depuis des années. J'ai juste affiché la page d'entrée sans scroller. Comme ça j'étais sûr de ne pas créer des aperçus standard via l'affichage. J'ai forcé la création des aperçus 1:1. Au total aprox. 2200 fichiers NEF de 40Mo de moyenne. Cela a duré aprox une dizaine d'heures. Au pif car après 4 heures j'étais à 40% et pour le reste j'ai laissé tourner la nuit.
Par la suite j'ai forcé la création des aperçus standard. Cela a duré 5 sec. Cela montre que les aperçus standard avaient déjà été crées lors de la création des 1:1.
Imprimer
En haut Pages1 2 3 Toutes
Actions de l'utilisateur