Colorisation automatique par IA intelligence artificielle de photographies N&B

[PHOTOGOGUE]

au début il y avait cela

[PHOTOGOGUE]

http://demos.algorithmia.com/colorize-photos/?utm_content=buffer02cbc&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer

maintenant il y a ceci sur Twitter

https://www.youtube.com/watch?v=n-A8-j98Kaw   la vidéo

[PHOTOGOGUE]

le créateur a 17 ans

[PHOTOGOGUE]

le petit génie de l'IA photographique, Photoshop prend un sacré coup de vieux

[Maraudeur13]

Bonjour,
Je ressors ce vieux sujet dont le titre correspond assez bien à ma demande.
Je viens d'essayer un logiciel de généalogie appelé MyHeritage. Ce logiciel propose, entre autres, une double fonction de colorisation de photos N&B et d'amélioration de ces photos, spécialement au niveau des visages. Cette dernière fonction est particulièrement spectaculaire et, sauf erreur, doit utiliser des procédés d'IA.
Ce logiciel de généalogie ne doit pas être le seul à mettre en oeuvre cette technologie. Avez-vous connaissance de logiciels (en ligne)  spécialisés dans ce type de traitement? Merci, Patrick.

Un exemple joint

[Zaphod]

Ca n'est pas vraiment la question mais je ne trouve pas l'exemple vraiment probant.
La colorisation n'est pas naturelle, le visage est beaucoup trop net par rapport au reste (on dirait un collage) et son expression est significativement différente.

[Maraudeur13]

Merci de ta réponse Zaphod. Oui tu as raison, tes remarques sont intéressantes. Pour autant, ce n'est pas la colorisation qui me motive ici, peut-être n'ai pas été assez précis. C'est l'amélioration du traitement du visage qui m'interpelle. Malgré quelques recherches sur le net, je ne trouve pas de mention de logiciels (autres que le site désigné ci-dessus) qui réalisent des traitements comme celui-là. Comme tu peux l'imaginer, l'idée c'est la conservation de témoignages familiaux anciens sous forme de photos papier que l'on scanne, répare au mieux, colorise pourquoi pas, et transmet aux proches. L'important à mes yeux est de retrouver les visages de nos aïeux avec un meilleur degré de "réalisme" que la simple retouche que je peux y apporter. Mes qualités de dessinateur et de peintre sont inexistantes, je dois malheureusement y substituer des artifices logiciels comme celui-là. Quant à la colorisation, elle est plus facilement modifiable, et même facultative, bien entendu. 

[Zaphod]

Justement même sans l'aspect couleur je trouve la photo beaucoup moins réaliste.
On dirait une poupée, tout l'aspect vivant de l'image initiale semble s'être évaporé.

J'ai récupéré récemment des photos de famille (mal) scannées et l'exercice est difficile.
Pour bien faire, il faudrait corriger les défauts venant du scan et du vieillissement de la photo, mais ne pas toucher au reste.

C'est sur, la netteté de l'image ne correspond plus au standard actuel, mais c'est très compliqué de récupérer des détails qui n'existent pas sans donner un aspect artificiel.

Ce qui est marrant, c'est qu'on fait des filtres sur les photos numériques actuelles pour qu'elles ressemblent aux photos d'avant (simu de pellicule) et on fait des algos pour enlever toute leur personnalité aux photos d'avant
C'est juste mon avis... mais dans ton exemple, je n'ai aucune hésitation et je prends la photo d'origine, qui mis à part un manque de netteté me semble très correcte.

[Maraudeur13]

Je pense que l'idée que tu en as est biaisé par le fait que l'amélioration en question ne porte que sur le visage, et comme tu le soulignes il y a un effet "plaqué" sur un support plus flou qui n'est pas agréable. On peut imaginer que le logiciel ne se contente pas du visage, mais serait tout a fait capable de sublimer de la même façon le reste de la photographie.
A titre personnel, j'ai tendance à considérer que la couleur, c'est la vie. Sauf quelques exceptions, je ressens moins d'émotion devant une photo n&b. On est dans le subjectif...

A signaler quand même que dans l'exemple précédent, la personne en question, 65 ans plus tard donc, est restée "scotchée" devant le résultat obtenu, c'est déjà pas mal. 

Cela étant, cela ne résout pas mon problème de savoir quel(s) logiciel(s) permettrait d'arriver à ça... Je ne vais pas payer un abonnement d'un an à un logiciel de généalogie pour n'en utiliser que cette simple fonction!

[Zaphod]

Je pense que l'idée que tu en as est biaisé par le fait que l'amélioration en question ne porte que sur le visage, et comme tu le soulignes il y a un effet "plaqué" sur un support plus flou qui n'est pas agréable.

Ca joue, mais pas seulement.
L'amélioration du visage lui-même, indépendamment du reste, n'est pas une réussite, l'effet est beaucoup trop poussé.

A titre personnel, j'ai tendance à considérer que la couleur, c'est la vie. Sauf quelques exceptions, je ressens moins d'émotion devant une photo n&b. On est dans le subjectif...

Absolument.
Sauf que là d'un côté tu as une photo nb, de l'autre quelque chose qui ressemble à un dessin en couleur.
Ca peut être l'effet voulu, mais ça ne ressemble pas à une photo.

A mon avis il doit exister beaucoup mieux que ça.

[Maraudeur13]

A mon avis il doit exister beaucoup mieux que ça.

D'où ma requête sur le présent fil, mais qui ne soulève pas (en dehors de ta contribution) un enthousiasme démesuré! 

[Zaphod]

Je ne sais pas si ce que tu cherches existe encore, mais en tous cas certains travaillent dessus :
https://www.digitalinformationworld.com/2020/07/this-new-ai-based-algorithm-created-by-microsoft-helps-to-restore-old-photos.html

[Maraudeur13]

Merci, je vais regarder ça!

[egtegt²]

Il y a topaze gigapixel qui fait quelque chose d'approchant. Mais j'ai juste testé une fois donc c'est difficile de dire si c'est vraiment comparable. Pour moi le principal risque, c'est que le logiciel te sorte un visage très net mais qui ne ressemble pas tellement à l'original.

[Maraudeur13]

Bonjours egtegt². Ce n'est pas exactement ce que je recherche, mais cela semble un (ensemble de) logiciel de qualité, c'est toujours bon à noter quelque part.
Je ne regarde pas les images avec vos yeux, mais il ne me semble pas qu'il y ait une telle distorsion par rapport au modèle initial... Quand bien même l'expression serait légèrement différente, ça n'altère pas la ressemblance générale de la personne, selon moi, et en jugeant sur l'ensemble de la photo ( et sur d'autres exemples) et pas seulement sur le crop comparatif ci-dessus. Merci de ta contribution, en tous cas. 

[ChatOuille]

Je ne vais pas entrer dans la colorisation car c’est une question de goût et je ne suis pas l’évangile. En revanche, je constate que la photo est «nettement» floue. Mon avis est qu’avant de passer à la colorisation ou autre traitement, il faut partir d’une photo techniquement le plus correcte possible. Donc s’occuper du contraste et de la netteté.
On ne peut pas faire des miracles, mais j’ai essayé ceci. Ce n’est pas probablement la méthode idéale, mais c’est mieux. J’ai d’abord agrandi la photo 6x avec Topaz Gigapixel AI (pas très apprécié ici, je sais). Puis j’ai renforcé légèrement l’accentuation avec Photoshop. Évidemment j’ai dû passer par PS pour cropper et réduire.
Les dimensions sont encore trop grandes, mais si on passe au format initial, c'est nettement mieux.

[ChatOuille]

Voilà en 600 pxl.

[Maraudeur13]

Bonjour ChatOuille,
Tu as fait un travail intéressant qui me plaît bien. N'oublions pas que l'on part d'une photo prise avec on ne sait quel appareil, vraisemblablement basique, sur un support papier, conservée en vrac avec d'autres sans précautions particulières, scannée avec un matériel courant... Les conditions de départ sont loin d'être optimales. Si j'ai bien compris ton traitement, tu agrandis 6 fois avec Gigapixel, retouche l'image et le restitue dans son format initial. Le passage dans Topaze était avec l'option standard?

[ChatOuille]

N’imagine pas que je te fais des reproches parce que la photo est floue. Je sais ce que c’est ces vieilles photos. Parfois elles sont même inutilisables, ce qui n’est pas le cas avec ta photo. Une fois on m’a demandé de voir si je pouvais tirer quelque chose d’une vieille photo couleur. J’ai dû décliner la proposition car la photo était terne, floue et on ne voyait même pas les yeux des sujets. On ne peut pas recréer ce qui n’existe pas. Je conseille toujours de faire de son mieux avec le scanner. Si on la scanne en format TIFF c’est toujours cela de gagné. Cela ne changera pas grande chose, mais on aura un éventail de possibilités plus large pour le traitement.

J’ai opté par Topaz parce que je sais qu’on peut agrandir sans créer des artefacts. Il est vraiment très pur. Ce logiciel n’est pas aimé car il est très exigeant en ressources. Maintenant (c’est récent) j’ai un nouvel ordi et j’ai constaté que ce logiciel tourne avec fluidité. Puis on rétorque que d’autres logiciels font tout aussi bien le boulot, mais c’est juste lorsqu’il s’agit des Raw. Malheureusement j’ai dû partir d’un JPEG et là LR et DxO sont bien plus limités. Ce n’est pas le traitement miracle que j’ai utilisé car il y en a certainement beaucoup d’autres. Mais je suis parti de l’idée que si j’agrandissais la photo sans créer des artefacts (ce qui est le cas avec Topaz), je pourrais poursuivre le traitement plus facilement.

Je ne sais plus les réglages que j’ai utilisé, mais il y en a très peu. Je comparais les deux images (originelle et corrigée) en temps réel. Maintenant je dispose d’un écran 32" qui permet de voir l’image agrandie. J’ai choisi les réglages qui avaient un meilleur rendu. Je crois avoir sauvegardé l’image en TIFF et passé sur Photoshop. Là j’ai continué le traitement (essentiellement crop, rédimensionnement et accentuation). Le tout n’a duré que 10 ou 15 minutes mais si on veut y consacrer du temps on peut faire mieux. On peut, par exemple, lisser mieux le visage de la fille, mais c’est du travail manuel un peu plus long car il ne faut pas lisser à tout bout de champ, mais obtenir quelque chose de réaliste.

[Zaphod]

En tous cas je trouve le résultat propre, à partir d'un fichier avec peu de pixels, ça donne quelque chose de très correct.
Ca aurait même pu être un chouilla moins accentué, mais ça rend bien.