IA deep learning : config pour exploiter les nouveaux logiciels

Démarré par restoc, Novembre 20, 2020, 14:53:27

« précédent - suivant »
Imprimer
En bas Pages1 2 Toutes
Actions de l'utilisateur

restoc

Novembre 20, 2020, 14:53:27
Une époque se tourne.
Les logiciels de PT exploitant  le Deep Learning ou Machine learning pour certains de leurs algorithmes deviennent la base : Photoshop 2021, Topaz , Luminar  et récemment le Deep Prime de DXO. De vrais progrés en matière de débruitage , d'up et downscaling , de re-stabilisation d'images bougées, de détourage automatique etc. : un saut en qualité avec trés peu d'artefacts résiduels et qui disparaitront au fur et à mesure... du learning !

Sauf que ces traitements ne sont pas prévus pour les plates formes trés viellles ...d'il y a à peine 12 ou 18 mois. Les  temps de traitement sont incompatibles avec des flux de 20, 50, 200 photos.
Se pose donc le pb de réfléchir à des config HW adaptées.
Autant partager qqs connaissances dans ce domaine un peu opaque où pas mal de "vieux" de l'informatique classique re-débutent de presque 0 en la matière

Juste pour lancer un peu le sujet trois infos de base :

-Windows 10 incorpore déjà et met à disposition des constructeurs la base logicielle de développement Windows ML ( Machine Learnnig) . Permet de faire tourner du DL sur l'OS Windows 10 mais permet surtout de répartir au mieux le travail entre les GPU supportant le DL (ou d'autres circuits spécialisés) selon la puissance CPU et l'architecture de la carte mère.
-Les cartes GPU intégrant déjà du DL sont assez nombreuses chez Nvidia , un peu moins AMD mais évidemment dans les plus récentes type 3070 et +. D'autres constructeurs inconnus se lancent sur le créneau. A ce jour on sait que le temps sur un débruitage  Topaz AI peut être divisé par 10  par rapport à une config HX classique de Core I7 ou I9.
-Mesurer les gains ne pourra pas se faire au doigt mouillé dés lors qu'une photo incorporera un mix de traitements ( Non DL et DL compatibles ): ainsi si on prend un dé bruitage du raw  avant dé matriçage ( pas du tiff hein !) 10 ou 20  Upoints ou détourage IA de DXO ou Photoshop, suivi de qqs améliorations IA : taille du fichier,  complexité du contenu de la photo, nb de zones à traiter séparémment etc font vite grimper le temps de calcul. Autrement dit il faudra surveiller les " moi avec mon pentium de 2005 je sors un jpeg en 3 secondes" en expliquant qu'il manque qqs étapes  ;D ;D

Bref si çà vous dit de partager ...

egtegt²

#1
Novembre 20, 2020, 15:19:30
Pour moi c'est un faux problème, en tout cas en tant qu'amateur. Une fois mon PT fait, je lance l'export et ça peut tourner toute la nuit s'il le faut, ça n'est pas dramatique. Le principal souci est plus de prévisualiser les modifications. Par exemple avec DXO et Prime ou DeepPrime, tu ne vois une prévisualisation que sur une toute petite vignette et de plus elle est loin d'être instantanée.

jesus

#2
Novembre 20, 2020, 15:28:26
C'est peut être valable pour la vidéo, mais pour la photo une machine récente doit être suffisante.
C'est certain qu'une machine de 2005 est forcement dépassée et difficilement adaptable.

kochka

#3
Novembre 20, 2020, 17:19:46
A raison de 10-20 secondes pour un export jpg plein pot, en exporter 200 ne prendra que 4.000 secondes maxi, soit un peu plus d'une heure de travail de nuit.
Quelle raison y aurait-il d'être pressé pour sortir un pareil volume?
Technophile Père Siffleur

jesus

#4
Novembre 21, 2020, 11:52:56
Citation de: kochka le Novembre 20, 2020, 17:19:46
A raison de 10-20 secondes pour un export jpg plein pot, en exporter 200 ne prendra que 4.000 secondes maxi, soit un peu plus d'une heure de travail de nuit.
Quelle raison y aurait-il d'être pressé pour sortir un pareil volume?
2 mn 35 pour exporter 100 fichiers à partir de raw de 5dm4, c'est quand même plus court et agréable.

restoc

#5
Novembre 21, 2020, 17:07:30

Clairement le sujet ne s'adresse pas à la photo unitaire de loisir mais à des séries significatives. N'oubliez pas que la photo inclue la photo de documentation, d'inventaire, de compilation diverses où on ne regarde pas le nb de clichés : On archive ce qui doit être capté ou sauvé. On est dans la gamme 50 000 à 300 000 photos, pas qqs unes par semaine et deux paquets de 300 en vacances.

De plus annoncer des temps de 10 sec ou d' une minute par fichier sans donner la liste des traitements effectués , éventuellement dans que l'ordre, combien de zones d'interêt sous masques ou Upoints, par que logiciel et sur quelle configuration ne permet aucune comparaison utile.

Si on parle d'AI on doit indiquer quel enchainement d'algorithmes pour quel produit fini  et au moins de la taille du fichier d'entrée qui est déterminante. Sinon on compare des espadrilles et des boulons de 12.

Vous imaginez bien que si Microsoft , Intel Nvidia , AMD et autres développent à l'heure actuelle à la fois les OS et le HW des ordinateurs ce n'est pas pour sortir un jpeg en 10 secondes ! On fait çà depuis 25 ans.

nickos_fr

#6
Novembre 21, 2020, 21:09:59
avec mon macbook pro mid 2012 il me fallait 6 min avec deep prime pour un raw de 42 mpx et là mince tu as oublié de traiter x ou x chose rebelotte pour 6 min.
une petite serie de photo d'un week end 5h pour 50 photos  ;D, avec une machine qui gère le deep learning maintenant un raw de 42mpx me prends 9 sec soit pour 50 photos moins de 8 min

restoc

#7
Novembre 22, 2020, 10:55:53
Citation de: nickos_fr le Novembre 21, 2020, 21:09:59
avec mon macbook pro mid 2012 il me fallait 6 min avec deep prime pour un raw de 42 mpx et là mince tu as oublié de traiter x ou x chose rebelotte pour 6 min.
une petite serie de photo d'un week end 5h pour 50 photos  ;D, avec une machine qui gère le deep learning maintenant un raw de 42mpx me prends 9 sec soit pour 50 photos moins de 8 min

CQFD .

Sur quelle machine récente,  çà peut interesser les utilisateurs Mac ?

RolandH

#8
Novembre 22, 2020, 13:45:31
Bonjour,

dans la revue PC UPDATE (109 NOVEMBRE/DECEMBRE 2020), un article sur les configs pour les créateurs

sam spad

#9
Novembre 22, 2020, 16:36:16
Il semble que les processeurs ARM enterrent Intel et autres dans des proportions hallucinantes, à voir avec le deep Learning.

juninho

#10
Novembre 22, 2020, 19:24:17
Très belle revue, la dernière Hardware Mag.

nickos_fr

#11
Novembre 22, 2020, 22:37:55
Citation de: restoc le Novembre 22, 2020, 10:55:53
CQFD .

Sur quelle machine récente,  çà peut interesser les utilisateurs Mac ?
non c'est un pc portable asus ;)

restoc

#12
Novembre 23, 2020, 08:49:24
Citation de: nickos_fr le Novembre 22, 2020, 22:37:55
non c'est un pc portable asus ;)

Si c'est un Asus récent il  peut déjà incorporer du Win WL et un multicore qui va bien avec Deep Prime.

Sur Deep prime, la taille de fichier et le niveau de bruit commandent directement le temps de traitement. Il faut donc comparer par ex du D850 64 isos pleine taille et plein soleil ( environ 50 MB avec du D850 12800 isos par basses lumières et temps gris ( environ 64 MB) . Bien sûr il faut enlever les réducteurs de bruit de façon identique dans le boîtier et le logiciel.

Pour tester les détourages auto cette fois  comme avec Topaz MAsk AI ou son équivalent Photoshop 2021 il est probable que la compexité du contenu de la photo aura un impact dimensionnant en plus  (trous dans un feuillage trés fragmenté couvrant tt le cadre  vs 60 % de ciel  bleu ou murs blancs !)

D'où la nécessité pour comparer valablement des configs de bien décrire toute les conditions , les tailles etc.... depuis l'intérieur du boîtier photo et ... travailler sur le même set de photos.

egtegt²

#13
Novembre 23, 2020, 09:37:44
Citation de: sam spad le Novembre 22, 2020, 16:36:16
Il semble que les processeurs ARM enterrent Intel et autres dans des proportions hallucinantes, à voir avec le deep Learning.
Je pense que c'est l'inverse : les processeurs ARM sont des processeurs bas de gamme peu puissants. Ils sont par contre utilisés dans des grosses fermes de calcul parce que le rapport qualité-prix est meilleur que celui d'intel, mais ça suppose d'en installer des milliers, aucun intérêt pour un particulier.

Dub

#14
Novembre 23, 2020, 09:50:36
Citation de: egtegt² le Novembre 23, 2020, 09:37:44
Je pense que c'est l'inverse : les processeurs ARM sont des processeurs bas de gamme peu puissants. Ils sont par contre utilisés dans des grosses fermes de calcul parce que le rapport qualité-prix est meilleur que celui d'intel, mais ça suppose d'en installer des milliers, aucun intérêt pour un particulier.

:D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D

Puisque tu n'as pas l'air d'être au courant...  ;D

https://www.chassimages.com/forum/index.php/topic,313875.0/all.html

nickos_fr

#15
Novembre 23, 2020, 10:10:23
Citation de: restoc le Novembre 23, 2020, 08:49:24
Si c'est un Asus récent il  peut déjà incorporer du Win WL et un multicore qui va bien avec Deep Prime.

Sur Deep prime, la taille de fichier et le niveau de bruit commandent directement le temps de traitement. Il faut donc comparer par ex du D850 64 isos pleine taille et plein soleil ( environ 50 MB avec du D850 12800 isos par basses lumières et temps gris ( environ 64 MB) . Bien sûr il faut enlever les réducteurs de bruit de façon identique dans le boîtier et le logiciel.

Pour tester les détourages auto cette fois  comme avec Topaz MAsk AI ou son équivalent Photoshop 2021 il est probable que la compexité du contenu de la photo aura un impact dimensionnant en plus  (trous dans un feuillage trés fragmenté couvrant tt le cadre  vs 60 % de ciel  bleu ou murs blancs !)

D'où la nécessité pour comparer valablement des configs de bien décrire toute les conditions , les tailles etc.... depuis l'intérieur du boîtier photo et ... travailler sur le même set de photos.
sur les raw de mon a7RIII je suis entre 5 et 9 secondes avec des iso entre 200 et 80 000, 80 000 c'était pour tester  ;)
c'est ce model

https://www.boulanger.com/ref/1146836

egtegt²

#16
Novembre 23, 2020, 10:42:59
Citation de: Dub le Novembre 23, 2020, 09:50:36
:D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D :D

Puisque tu n'as pas l'air d'être au courant...  ;D

https://www.chassimages.com/forum/index.php/topic,313875.0/all.html
Alors je n'ai toujours pas compris, où est-ce que ça parle d'ARM plus puissants qu'une puce Intel ?

sam spad

#17
Novembre 23, 2020, 11:03:26
Citation de: egtegt² le Novembre 23, 2020, 10:42:59
Alors je n'ai toujours pas compris, où est-ce que ça parle d'ARM plus puissants qu'une puce Intel ?

Le nouveau processeur M1 est un processeur ARM et apparemment il est BEAUCOUP plus puissant que son équivalent Intel, même avec beaucoup moins de Ram :)

egtegt²

#18
Novembre 23, 2020, 14:18:25
Citation de: sam spad le Novembre 23, 2020, 11:03:26
Le nouveau processeur M1 est un processeur ARM et apparemment il est BEAUCOUP plus puissant que son équivalent Intel, même avec beaucoup moins de Ram :)
Je ne connaissais pas, je dois avouer que je ne m'intéresse pas beaucoup à Apple ;)

Cela dit, apparemment la différence est loin d'être si importante que ça
https://laptopmedia.com/comparisons/preliminary-apple-m1-vs-intel-core-i9-10980hk-the-m1-is-better-in-single-core-but-loses-in-multi-core/
En gros il est équivalent à un Core I9 pour ordinateur portable, ce qui reste quand même un cran en dessous des core I9 pour fixe.

Mais c'est vrai que c'est pas mal comparé à ce que faisait ARM jusqu'à maintenant. Mais c'est juste pour cette puce qui vient juste de sortir, d'une façon générale, ce que j'ai écrit reste vrai : les puces ARM sont plutôt des puces basse consommation dédiées aux matériels sans refroidissement, type téléphone, tablettes, box internet ... Et certains les utilisent pour faire du calcul intensif justement parce que ça permet d'en mettre en parallèle des milliers sans avoir un refroidissement important ou une consommation électrique démesurée.

Dub

#19
Novembre 23, 2020, 14:36:46
Citation de: egtegt² le Novembre 23, 2020, 14:18:25
Cela dit, apparemment la différence est loin d'être si importante que ça
https://laptopmedia.com/comparisons/preliminary-apple-m1-vs-intel-core-i9-10980hk-the-m1-is-better-in-single-core-but-loses-in-multi-core/
En gros il est équivalent à un Core I9 pour ordinateur portable, ce qui reste quand même un cran en dessous des core I9 pour fixe.

Ceci dit, c'est plutôt pas mal pour du bas de gamme avec 20h d'autonomie...  ;D

egtegt²

#20
Novembre 23, 2020, 15:49:39
Citation de: Dub le Novembre 23, 2020, 14:36:46
Ceci dit, c'est plutôt pas mal pour du bas de gamme avec 20h d'autonomie...  ;D
Dans le principe, les processeurs AMD sont très intéressants, avoir un PC sans ventilateur et une grosse autonomie est loin d'être idiot. Et si en plus ça se fait sans perte notable de performance, c'est encore mieux. D'autant plus qu'il n'y a pas tant de cas que ça où on a vraiment besoin de performances énormes.

restoc

#21
Novembre 23, 2020, 17:49:45
 A mon avis il doit y avoir une belle confusion entre les puces ARM et les CPU AMD  !!

restoc

#22
Novembre 23, 2020, 18:00:52
Bon histoire de ne pas trouver des " moi sur ma config je fais tourner Deep Prime en 2 secondes sur un PC vieux de 4 ou 5 ans ...

VOIR  CETTE  COMPARAISON DE TEMPS DE TRAITEMENT  DXO DEEP PRIME ( images D850 unitaire et par lot) sur une grande variété de plate formes

https://docs.google.com/spreadsheets/d/1Yx-3n_8D3OreyVwQLA-RVqiQCAgNdXDkxScpXTur1Gs/edit#gid=0

On voit bien que  même avec les plates formes les plus récentes et puissantes , pas un laptop  ( Ryzen 3900 12 cores + Nvidia 3080-90 ) on ne sort pas une image de D850 en 3 secondes ...
Attention on voit que les photos tests fournies de D850 sont croppées à  36 MB au lieu de 48 -54 Mbytes plein cadre et selon les isos.

Conclusion Rien que pour l'algo Deep Prime on voit bien qu'il n'est pas soutenable de traiter des lots de 45-50 Mpix sans une config récente.
Imaginons qu'on enchaine deux ou trois algos du m^me type sur 100 images ...

jesus

#23
Novembre 23, 2020, 19:40:22
Citation de: restoc le Novembre 23, 2020, 18:00:52

Conclusion Rien que pour l'algo Deep Prime on voit bien qu'il n'est pas soutenable de traiter des lots de 45-50 Mpix sans une config récente.
Imaginons qu'on enchaine deux ou trois algos du m^me type sur 100 images ...
Tous les algorithmes ne sont pas aussi gourmands, dans Photoshop pour les détourages par exemple cela va très vite, mais la qualité a été fortement augmenté, cela peut être juste la façon de faire qui est différente et plus adaptée.
Je pense même que prime est une exception dans la demande de calcul. Est-ce vraiment nécessaire sur de nombreuses images si la différence ne se voit que sur un tirage géant ?

egtegt²

#24
Novembre 24, 2020, 08:30:47
Citation de: jesus le Novembre 23, 2020, 19:40:22
Tous les algorithmes ne sont pas aussi gourmands, dans Photoshop pour les détourages par exemple cela va très vite, mais la qualité a été fortement augmenté, cela peut être juste la façon de faire qui est différente et plus adaptée.
Je pense même que prime est une exception dans la demande de calcul. Est-ce vraiment nécessaire sur de nombreuses images si la différence ne se voit que sur un tirage géant ?
Prime ne se voit pas que sur des tirages géants, loin de là, il y a un gain en bruit important mais également sur la colorimétrie, ça dépend bien évidemment de la sensibilité mais sur des photos avec une sensibilité à partir de 3200 ISO pour mon D750, ça se voit même sur un format 10x15.
Ce qui est intéressant avec DeepPrime, c'est que la qualité est supérieure mais surtout, avec une carte graphique adaptée, le temps de calcul est fortement amélioré. Sur un lot c'est assez appréciable, avec Prime j'avais des temps de traitement supérieurs à une minute par photo, avec DeepPrime, je suis plutôt à 20 secondes (Et pas 3 secondes ;)). Par contre effectivement il semble que si tu n'as pas une carte graphique compatible c'est l'inverse et DeepPrime est très lent.
Imprimer
En haut Pages1 2 Toutes
Actions de l'utilisateur