Temps trés long pour ouvrir un répertoire contenant plusieurs centaines de RAW

Démarré par poloox, Avril 16, 2012, 16:01:45

« précédent - suivant »
Imprimer
En bas Pages1 2 Toutes
Actions de l'utilisateur

poloox

Avril 16, 2012, 16:01:45
Bonjour,

je n'ai pas trouvé de moyen d'ouvrir rapidement un répertoire contenant des centaines de fichiers RAW. Il faut environ 1/2 à 1 seconde par fichier RAW, donc rien que pour ouvrir un répertoire contenant une centaine de fichiers cela me prends une bonne minute. Je trouve ça excessivement lent, surtout lorsque l'on veut changer plusieurs fois de répertoire.

Il y a t-il un moyen pour que DXO "mémorise" le contenu d'un répertoire?
Merci.
Polo.

fabco

#1
Avril 16, 2012, 17:40:09
NON, dxo utilise le même système que win dans l'explorateur de fichier quand tu es en vignette.Il lui faut un certains temps pour les afficher.
Sinon il faut utiliser la méthode des projets qui est toujours opérationnel comme dans la version 6.
Après attendre 1 minutes ce n'est pas grand chose non plus dans le temps global du traitement.

poloox

#2
Avril 16, 2012, 17:54:47
Citation de: fabco le Avril 16, 2012, 17:40:09
Après attendre 1 minutes ce n'est pas grand chose non plus dans le temps global du traitement.

Merci pour l'info. Attendre une minute ce n'est pas très long, ok. Mais lorsque l'on a plusieurs photos à récupérer dans des répertoire de plusieurs centaines de fichiers cela peut prendre 5 à 10 minutes à chaque répertoire ouvert... Trop, trop long...

fabco

#3
Avril 16, 2012, 20:13:54
Citation de: poloox le Avril 16, 2012, 17:54:47
Merci pour l'info. Attendre une minute ce n'est pas très long, ok. Mais lorsque l'on a plusieurs photos à récupérer dans des répertoire de plusieurs centaines de fichiers cela peut prendre 5 à 10 minutes à chaque répertoire ouvert... Trop, trop long...

solution utiliser un catalogueur et les traiter ensuite dans dxo
Celui-ci ne fait que du traitement pas de tri.

poloox

#4
Avril 18, 2012, 18:44:32
Citation de: fabco le Avril 16, 2012, 20:13:54
solution utiliser un catalogueur et les traiter ensuite dans dxo
Celui-ci ne fait que du traitement pas de tri.

Bonjour,
le but n'est pas de faire du tri avec DXO mais juste d'ouvrir un répertoire contenant beaucoup de RAW.

Si j'en juge par le peu de réponses et de commentaires, je suis le seul à avoir ce problème. J'en conclu que :
1- soit personne ne met plus d'une centaine de RAW par répertoire
2- soit cela ne gêne personne d'attendre plusieurs minutes chaque fois qu'un gros répertoire est ouvert sous DXO
4- soit ma méthode de travail ne correspond à ce qui a été fixé par DXO (laquelle est-elle alors??)
3- soit il y a quelque chose qui ne va pas avec ma configuration ou mon ordinateur pour qu'il soit aussi lent (pour m'en assurer, je vais essayer sur un autre ordi).

J'ai pour l'instant du mal à pencher pour l'une ou l'autre des hypothèses.

Polo

patounet

#5
Avril 18, 2012, 21:00:45
Bonjour,

Il faudrait en dire plus sur ta configuration PC ( OS, RAM, Processeur) et sur la taille des Raws que tu charges.

Et une fois que les vignettes sont chargés , est ce que tu constates aussi des ralentissements anormaux dans les traitements que tu appliques ?

fabco

#6
Avril 19, 2012, 08:28:17 Dernière édition: Avril 19, 2012, 08:37:37 par fabco
déjà, j'ai très rarement plus de 100 raw par dossier.
attendre 1mn pour afficher la dernière photo ne me gêne pas, pendant ce temps je regarde les autres.
je suis d'un tempérament calme, en informatique c'est un atout. ;)
Je me balade rarement de dossier en dossier.

Après si tu fais un catalogue à partir d'un autre logiciel et une recherche par thème,tu prends ton lot de photos que tu vas mettre dans un projet sous dxo, tu vas gagner du temps. 

La différence avec le catalogue de LR, c'est que celui-ci crée des vignettes lors de l'importation, c'est d'ailleurs à ce moment là que c'est long et qu'il faut attendre avant de pouvoir commencer un traitement si tu veux la dernière photo.
Après une fois que les vignettes sont faites, l'accès est immédiat.
Ce n'est pas la même approche avec dxo qui comme je l'ai déjà dit ouvre un exploreur comme win.Il faut donc attendre que les vignettes jpeg des raw s'affichent.

Sur ma machine pour 100raw il me faut 60s pour des raw de 36Mo masi comme je traite après les photos et que cela prends bien plus de temps, cette minute est dérisoire.

gerarto

#7
Avril 19, 2012, 11:06:34
Je suiis très surpris par les temps annonçés : je n'ai jamais eu de tels délais, même avec ma précédente config qui était un peu limite. Mais moi aussi, j'ai très rarement plus de 100 raw par dossier : en général une moyenne de 40/50.

Avec mon PC actuel assez costaud (I7 à 3400Mhz - 16 Go - W7 64), je viens de faire un essai sur une série de répertoires et ça tourne aux alentours de 4/5s pour une cinquantaine de raw. Le répertoire le plus gros (193 raw) a mis environ 5s pour se charger (il a compté toutes les images), mais il continue à charger les images "silencieusement" une fois la première série affichée : on le voit en faisant défiler les images avec la barre de défilement, il les affiche au fur et à mesure. En tout ça n'a pas du dépasser 10/15s pour qu'il ait tout affiché. 

Comme déjà dit, je suspecterait un problème de matériel : il serait intéressant que tu nous dises quelle est ta config matérielle.
Et si d'autres programmes tournent en même temps et lesquels.

fabco

#8
Avril 19, 2012, 12:22:36
les temps ne me surprend pas trop.
j'ai comme proc i5 750 + 8Go + win 64.

j'ai également discuter sur un autre site avec un forumeur qui disait la même chose.
Son cas était un peu différent cas il n'avait qu'un dossier et tous ces images dedans.
Il gérait son catalogue par LR mais pour le traitement il passait par dxo avec en plus un disque externe.
Avec la version 6 il avait pas ce souci il utilise les projets mais avec la v7 le passage de lr vers dxo ne fonctionne toujours pas.
Je lui est conseillé de passer par l'exploreur win et de glisser sur un projet,de mettre également ces photos sur un disque interne.

poloox

#9
Avril 19, 2012, 12:34:48
Citation de: gerarto le Avril 19, 2012, 11:06:34
Je suiis très surpris par les temps annonçés : je n'ai jamais eu de tels délais, même avec ma précédente config qui était un peu limite. Mais moi aussi, j'ai très rarement plus de 100 raw par dossier : en général une moyenne de 40/50.

Avec mon PC actuel assez costaud (I7 à 3400Mhz - 16 Go - W7 64), je viens de faire un essai sur une série de répertoires et ça tourne aux alentours de 4/5s pour une cinquantaine de raw. Le répertoire le plus gros (193 raw) a mis environ 5s pour se charger (il a compté toutes les images), mais il continue à charger les images "silencieusement" une fois la première série affichée : on le voit en faisant défiler les images avec la barre de défilement, il les affiche au fur et à mesure. En tout ça n'a pas du dépasser 10/15s pour qu'il ait tout affiché. 

Comme déjà dit, je suspecterait un problème de matériel : il serait intéressant que tu nous dises quelle est ta config matérielle.
Et si d'autres programmes tournent en même temps et lesquels.

Bonjour,

Merci pour vos réponses.

Je dois effectivement avoir un problème car il me faut exactement 1 minute pour charger un répertoire de 155 RAW entre 25 et 30 Mo chacun (Canon 5D III).
Ma config est la suivante: I7 à 1.6 GHz - 4 Go Ram - W7 64
L'indice de performance du système est de 5,9 (Proc : 6,2 - Mém : 7,3 - Graph : 6,4 - DD : 5,9)

J'ai effectivement une config moins musclée que la tienne mais ça fait tout de même un ratio de plus de 5 fois plus rapide chez toi ce, qui me parait énorme. Quel est l'indice de performance de ton système?

Je soupçonne un problème quelque part.

Il m'est difficile de faire des répertoires plus petits car j'ai entre 800 et 1000 photos pour chacun de mes reportages. DXO ne serait donc pas fait pour des professionnels qui font beaucoup de photos? Étrange tout de même.

poloox

#10
Avril 19, 2012, 13:01:49
Je viens de découvrir quelque chose d'intéressant: c'est qu'un répertoire ne comportant pas de fichiers .dop est ouvert environ 5 fois plus vite (env. 12 s. pour 155 RAW sans .dop).
Donc ce qui prend énormément de temps à DXO c'est l'ouverture de leurs fichiers .dop et non pas spécialement des RAW.

Le problème semble être du coté du logiciel DXO... à creuser.
DXO devrait pouvoir améliorer ça probablement.

patounet

#11
Avril 19, 2012, 13:31:55
Les fichiers .dop contiennent les instructions correspondants aux réglages que tu as appliqués dans DXO. Ces fichiers sont très petits en taille et ne contiennent que du texte.

D'après ce que tu dis :
Quand tu ouvre un répertoire contenant des raws ou tu n'as pas fait de traitements avec DXO c'est rapide.
Une fois que tu as appliqué des traitements ( ou des presets) il y a création des fichiers .dop ( un par image traitée)

Si tu ouvres à nouveau DXO et ce répertoire c'est plus long

Cela veut peut être dire que lors de cette nouvelle ouverture de répertoire, DXO recalcule toutes les vignettes pour les afficher avec les traitements DXO.

Et si tu ouvres une 3ème fois ce répertoire est ce pareil ?

titroy

#12
Avril 19, 2012, 13:52:02
Citation de: poloox le Avril 19, 2012, 13:01:49
Je viens de découvrir quelque chose d'intéressant: c'est qu'un répertoire ne comportant pas de fichiers .dop est ouvert environ 5 fois plus vite (env. 12 s. pour 155 RAW sans .dop).
Donc ce qui prend énormément de temps à DXO c'est l'ouverture de leurs fichiers .dop et non pas spécialement des RAW.

Le problème semble être du coté du logiciel DXO... à creuser.
DXO devrait pouvoir améliorer ça probablement.

Les réglages apportés aux images sont stockés dans la base de données.

Tu peux, en plus, demander de produire automatiquement les fichiers .dop ET/OU de les importer automatiquement.
Ces fichiers contiennent également les réglages apportés aux images.
Ils constituent donc une sauvegarde des réglages au cas ou la base de données serait corrompue. C'est une bonne méthode.

Mais, lorsque tu n'as pas besoin d'importer ces fichiers car ta base de données est o.k, tu peux toujours demander de produire ces fichiers automatiquement MAIS de ne pas les importer automatiquement. (voir les Préférences).

gerarto

#13
Avril 19, 2012, 14:06:47
Citation de: poloox le Avril 19, 2012, 12:34:48
Bonjour,

Merci pour vos réponses.

Je dois effectivement avoir un problème car il me faut exactement 1 minute pour charger un répertoire de 155 RAW entre 25 et 30 Mo chacun (Canon 5D III).
Ma config est la suivante: I7 à 1.6 GHz - 4 Go Ram - W7 64
L'indice de performance du système est de 5,9 (Proc : 6,2 - Mém : 7,3 - Graph : 6,4 - DD : 5,9)

J'ai effectivement une config moins musclée que la tienne mais ça fait tout de même un ratio de plus de 5 fois plus rapide chez toi ce, qui me parait énorme. Quel est l'indice de performance de ton système?

Je soupçonne un problème quelque part.

Il m'est difficile de faire des répertoires plus petits car j'ai entre 800 et 1000 photos pour chacun de mes reportages. DXO ne serait donc pas fait pour des professionnels qui font beaucoup de photos? Étrange tout de même.


L'indice de performance de ma config est exactement le même que le tien : 5.9, il est limité par le taux de transfert des données sur dique qui est à 5.9, le reste allant de 7.6 à 7.8.

Cela dit, cet indice concerne le disque principal, mes fichiers sont sur d'autres disques (en raid 1), mais tous normalement aussi rapides (7200 t).

Par ailleurs, j'ai bien moi aussi les fichiers dop dans les répertoires.

Enfin ma config précédente était sensiblement équivalente à la tienne, avec vista 32 : j'avais des problème de lenteurs au traitement, parfois quelques plantages, mais je n'ai jamais eu des temps de chargement aussi longs que toi.

Il faudrait peut-être rechercher du côté des disques si tes fichiers ne sont pas sur le disque principal. Autre test possible : ouvrir les répertoires avec l'explorateur, demander l'affichage "grandes icones" par exemple et voir le temps que cela prend (mais il faut que Windows sache afficher les raw du boîtier). 

titroy

#14
Avril 19, 2012, 14:36:52
Citation de: gerarto le Avril 19, 2012, 14:06:47
....
. Autre test possible : ouvrir les répertoires avec l'explorateur, demander l'affichage "grandes icones" par exemple et voir le temps que cela prend (mais il faut que Windows sache afficher les raw du boîtier). 

Il y a bien longtemps que j'ai renoncé à afficher les raws Nikon avec Windows (codec) lorsque je me suis aperçu que cela générait des fichiers temp de près de 100 megs par fichier : pas très performant, je trouve. Par ailleurs, l'explorateur Windows est 'ralenti' dés lors qu'il y avait des fichiers nef dans la sélection, même si je ne les ouvrais pas.

Je pense qu'il peut améliorer le temps de réponse en ne chargeant pas automatiquement les fichiers .dop qui font double emploi (au chargement) dés lors que la base de données est correcte.
Autrement dit, ils ne sont d'aucune utilité (au chargement) si la base de données est correcte. Alors, pourquoi, les importer automatiquement dans ce cas ?

Je me demande si DxO n'applique pas les réglages de la BD, puis ceux des fichiers dop (pour l'affichage des vignettes)  ::)

poloox

#15
Avril 19, 2012, 16:36:45
Citation de: poloox le Avril 19, 2012, 13:01:49
Je viens de découvrir quelque chose d'intéressant: c'est qu'un répertoire ne comportant pas de fichiers .dop est ouvert environ 5 fois plus vite (env. 12 s. pour 155 RAW sans .dop).
Donc ce qui prend énormément de temps à DXO c'est l'ouverture de leurs fichiers .dop et non pas spécialement des RAW.

Je rectifie ce que j'ai dit tout-à-l'heure. Qu'il y ait des fichiers .dop ou pas, ne change rien au temps de temps de lecture, ce qui influe c'est : la première fois qu'un répertoire est ouvert, la lecture des fichiers RAW est très rapide. Si l'on ferme et re-ouvre DXO, la lecture de ce répertoire se fera maintenant 5 fois plus lentement.

Il semble que DXO a du mal avec la lecture de la base de donnée. Peut-être est-elle devenu trop grande, ou vérolée ? Il y a t'il un moyen de vérifier ou de nettoyer la base de donnée?

fabco

#16
Avril 19, 2012, 17:08:25
il suffit de la renommer, dxo va en créer une nouvelle.

gerarto

#17
Avril 19, 2012, 17:34:40
Citation de: poloox le Avril 19, 2012, 16:36:45
...
Si l'on ferme et re-ouvre DXO, la lecture de ce répertoire se fera maintenant 5 fois plus lentement.
...

Je viens de vérifier, je n'ai pas ce type de comportement : le temps de lecture est apparemment identique.

Ma base de données est récente (environ 1 mois et demi), suite au changement de PC.
Effectivement, ça semble une piste à explorer.

fabco

#18
Avril 19, 2012, 17:58:10
J'avais une base de donné de 72Mo ce matin, en ce moment 2Mo, c'est plus rapide.

titroy

#19
Avril 19, 2012, 18:16:13
Citation de: gerarto le Avril 19, 2012, 17:34:40
Je viens de vérifier, je n'ai pas ce type de comportement : le temps de lecture est apparemment identique.

Ma base de données est récente (environ 1 mois et demi), suite au changement de PC.
Effectivement, ça semble une piste à explorer.

La 'relative' lenteur d'affichage des vignettes est apparue lorsque DxO a supprimé les fichiers destinés à leur affichage : elles sont redéterminées à chaque fois en tenant compte des ajustements. On trouvait ces fichiers sous le répertoire DataCache/Corrected et Original.

La base de données aurait besoin d'être réorganisée de temps à autre comme toute Database. En l'absence d'outil, je la supprime régulièrement
(en optant pour la production des fichiers sidecar, bien sur)

poloox

#20
Avril 19, 2012, 18:46:19
Citation de: titroy le Avril 19, 2012, 18:16:13
La base de données aurait besoin d'être réorganisée de temps à autre comme toute Database. En l'absence d'outil, je la supprime régulièrement
(en optant pour la production des fichiers sidecar, bien sur)

Merci pour l'info. Où se trouve cette database?

fabco

#21
Avril 19, 2012, 18:48:04
le dossier est écrit dans les préférences, tu peux le mettre ou tu veux.

poloox

#22
Avril 19, 2012, 19:33:56
Merci à tous. Le problème était bien la base de donnée DXO. Elle faisait 75 Mo. Après l'avoir supprimé, la vitesse de lecture d'un gros répertoire RAW devient acceptable (environ x5 plus vite)

Citation de: titroy le Avril 19, 2012, 18:16:13
La base de données aurait besoin d'être réorganisée de temps à autre comme toute Database.

Je rectifierais: les bases de données qui ont été programmées comme des cochons doit être réorganisées de temps à autre.
Dans une autre vie où j'étais programmeur, on avait des bases de données de plusieurs millions d'entrées et pas questions que rame... m'enfin...

fabco

#23
Avril 19, 2012, 20:19:03
je l'ai signalé à dxo, je vais bien voir leur réponse.

poloox

#24
Avril 19, 2012, 20:27:04
Citation de: fabco le Avril 19, 2012, 20:19:03
je l'ai signalé à dxo, je vais bien voir leur réponse.
;D Génial ;D
Espérons qu'ils réagissent ... et embauchent des programmeurs... ;)
Imprimer
En haut Pages1 2 Toutes
Actions de l'utilisateur