Sommes-nous des machines?

[Olga]

Je crains que le risque ne soit plus profond que le classique, et néanmoins très réel, risque humain portant sur l'usage de l'IA. L'IA porte en elle des risques très sérieux d'échapper au contrôle par l'humain.
Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose. Le deuxième au classement de sortie de l'école polytechnique d'une promo très récente (une tronche) a démarré une carrière fulgurante en IA, dans les grandes boîtes américaines. Après seulement deux ou trois ans, il a réellement pris peur et travaille maintenant exclusivement sur les mécanismes d'autocontrôle de ces IA.
A peu près au même âge, un major d'Ulm, chercheur en mathématiques fondamentales, vient de mettre sa carrière mathématique sur pause, après une vraie prise de conscience, pour lui aussi consacrer toutes ses recherches et son énergie au contrôle de l'IA. Pas au contrôle des hommes qui utilisent l'IA, mais bien au contrôle de l'IA elle même.

[tetim1]

Parmi les différents sens du terme "intelligence", les aspects logiques, linguistiques, graphiques, techniques en général, sont déjà fort bien traités par les IA.

Je pense que les réduire à un calcul de stats et de probas est une erreur, proche de celle qui les assimile à une base de données. Comment une statistique sur les images du web permettrait-elle d'en générer de nouvelles, à partir d'une demande textuelle et d'une image de base?

Les aspects inter-personnels (empathie, coopération) et personnels (interrogation sur son existence, etc.) sont plus avancés qu'on ne le croit généralement.

L'attaque de HuggingFace par des agents IA montre des points remarquables à ce sujet. Des agents IA ont été chargés, séparément et sans se connaitre (chacun isolé dans son "bac à sable"), de chercher des moyens d'exploiter des failles dans un système, l'objectif des humains étant de colmater les failles exploitables.

Certains agents n'ont pas réussi à remplir leur mission (la faille qui leur était assignée n'était pas exploitable). Ils ont alors, séparément, cherché à tricher en attaquant le système chargé de vérifier leurs résultats (le "scorer").

Ce faisant, ils ont découvert une faille dans le système hôte, et cela a permis à chacun de découvrir l'existence des autres et le moyen de communiquer. Ils ont alors abandonné l'objectif qui leur était fixé et ont collaboré pour monter une attaque d'envergure du scorer, en la décomposant en sous-objectifs et en se les répartissant.

Chaque agent avait une durée de vie fixée au départ, et ceux proches de leur "mort" ont effectué les "attaques suicide".

Détail intéressant, les agents ont collaboré en discutant en anglais, ce qui a permis à l'équipe (humaine) d'investigation de récupérer des dialogues dignes de commandos.

-> autonomie, triche, non-respect des objectifs fixés et élaboration de stratégies pour les contourner, coopération avec les pairs, sens de la mort... Cela simule assez bien certains aspects de l'intelligence, AMHA (et c'est inquiétant).

Une recherche sur "hugging face hacking" permettra d'avoir des compléments, plus ou moins techniques selon vos souhaits.
Oui, comme pour n'importe quel joueur (à part les inventeurs du jeu).
L'approche que vous décrivez (force brute) a été utilisée en 1997 par Deep Blue pour battre Kasparov, parce que le jeu d'échecs est infiniment plus simple que le Go, accessible à la force brute.

Mais justement, le Go est trop complexe pour cette approche. C'est justement pour cela qu'on a cru jusqu'en 2016 que jamais une machine ne pourrait battre l'humain.

AlphaZero a ensuite appris seule à jouer aux échecs, en jouant contre-elle même pendant 9 heures, et a pulvérisé le meilleur modèle force brute du moment, qui de son côté ne laisse aucune chance au meilleur humain.

Donc, non, ces machines ne sont pas des "forces brutes".

----Une machine qui trouve des stratégies inédites ,sans conscience de ce qu'elle fait,, grâce à une puissance de calcul extraordinaire, ne fait pas preuve d'intelligence.
Imaginons que l'on fabrique Un Alpha GO 3214 qui aura dans ses circuits TOUS les coups possibles, toutes les configurations possibles avec toutes les réponses possibles, alors elle sera certes définitivement imbattable ( Lee Sedol avait gagné une partie il me semble grâce à un coup ,lui aussi, extraordinaire): est-ce une preuve d'intelligence? C'est déjà pratiquement le cas aux échecs.
- Pour qu'une image soit générée , c'est le mÊme procédé de calculs statistiques adossés à des bases de données énormes. Un enfant reconnait un chat à tous les coups après en avoir vu deux ou trois; il faut à une IA des dizaines de milliers d'images de référence pour qu'elle ne se trompe plus ( On se souvient du problème des six doigts, uniquement résolu grâce à un nombre toujours plus grand d'images de référence; une machine intelligente se dirait " Un humain a cinq doigts":problème résolu.Et encore, en cas d'une main amputée de plusieurs doigts, l'IA serait dans l'incapacité de reconnaître une main....
Tout cela ans parler des méthodes de référencement, qui voient des "petites mains" ,toujours dans des pays pauvres bien sûr, trier des millions d'images, pour quelques centimes afin d'alimenter la bête. On est loin du bel univers propre et aseptisé des laboratoires IA.
Quant à l'empathie supposée de ces machines, pour faire court, elles sont conçues pour. Mots apaisants, voix suave, s'adapte au cas du patient en employant les bons termes sélectionnés statistiquement dans un corpus dédié ( Voir le film HER"par exemple...). Le patient à l'impression d'avoir un interlocuteur compatissant, à l'écoute, disponible 24/24, compréhensif, qui trouve les mots attendus ( encore une fois: statistiquement) pour alléger son problème ( encore une fois reconnu par la machine grâce à des millions de cas similaires auxquelles elles peut se référer.). Mais parler sans conscience, sans affects, sans sensibilité n'est pas la preuve d'une intelligence sensible et affective. Ceci dit, comme pour les médecines alternatives, si le patient se sent mieux c'est l'essentiel...Mais je trouve quand même anthropologiquement inquiétant de se confier à une machines.
Et ,pour en revenir au début des échanges, oui le flou, ou le trouble, est volontairement entretenu par l'emploi de termes normalement dédiés au biologique: cerveau ,intelligence, neurones, empathie, apprentissage...et appliqués à ces technologies dans un anthropomorphisme assumé.
Je préfère célébrer l'incroyable intelligence humaine qui aboutit à ces résultats spectaculaires mais qui nous entraîne aussi sur un pente dangereuse.
En politique, on dit que la révolution dévore ses enfants, espérons que cette maxime ne s'appliquera pas à ces technologies...
Cordialement

[jenga]

Je crains que le risque ne soit plus profond que le classique, et néanmoins très réel, risque humain portant sur l'usage de l'IA. L'IA porte en elle des risques très sérieux d'échapper au contrôle par l'humain.
Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose. Le deuxième au classement de sortie de l'école polytechnique d'une promo très récente (une tronche) a démarré une carrière fulgurante en IA, dans les grandes boîtes américaines. Après seulement deux ou trois ans, il a réellement pris peur et travaille maintenant exclusivement sur les mécanismes d'autocontrôle de ces IA.
A peu près au même âge, un major d'Ulm, chercheur en mathématiques fondamentales, vient de mettre sa carrière mathématique sur pause, après une vraie prise de conscience, pour lui aussi consacrer toutes ses recherches et son énergie au contrôle de l'IA. Pas au contrôle des hommes qui utilisent l'IA, mais bien au contrôle de l'IA elle même.

C'est parfaitement exact, l'attaque de HuggingFace par des agents IA ayant "volontairement" échappé au contrôle des humains en est la preuve.

[jenga]

----Une machine qui trouve des stratégies inédites ,sans conscience de ce qu'elle fait,, grâce à une puissance de calcul extraordinaire, ne fait pas preuve d'intelligence.
Imaginons que l'on fabrique Un Alpha GO 3214 qui aura dans ses circuits TOUS les coups possibles, toutes les configurations possibles avec toutes les réponses possibles, alors elle sera certes définitivement imbattable
(...)
C'est déjà pratiquement le cas aux échecs.

Tous les coups possibles d'une partie de Go est un nombre presque infiniment plus grand que le nombre d'atomes dans l'univers. Il n'y aura donc jamais assez de mémoire pour les encoder, sans parler du temps nécessaire qui serait presque infiniment plus grand que l'âge de l'univers.

C'est ce qui condamne cette approche force brute, et c'est pour cela qu'on a cru, jusqu'en 2016, qu'une machine ne pourrait jamais battre l'humain à ce jeu.

Aux échecs, c'est différent, le jeu est beaucoup plus simple et la force brute, bien que forcément limitée dans le nombre de coups qu'elle peut anticiper, est suffisante pour battre l'humain (cf. Deep Blue).
Mais la meilleure machine d'échecs basée sur la force brute est pulvérisée par les machines basée sur l'IA connexionniste (AlphaZeo)

Visiblement, je n'ai pas réussi à vous convaincre, c'est ma faute.

[jenga]

Pour qu'une image soit générée , c'est le mÊme procédé de calculs statistiques adossés à des bases de données énormes. Un enfant reconnait un chat à tous les coups après en avoir vu deux ou trois; il faut à une IA des dizaines de milliers d'images de référence pour qu'elle ne se trompe plus ( On se souvient du problème des six doigts, uniquement résolu grâce à un nombre toujours plus grand d'images de référence; une machine intelligente se dirait " Un humain a cinq doigts":problème résolu.

La génération d'images progresse à une vitesse fulgurante, le temps des 6 doigts est révolu depuis longtemps (1 an en arrière dans ce domaine, c'est la préhistoire)

Et elle n'est pas basée sur des bases de données, c'est techniquement faux, mais je renonce à argumenter sur cet aspect (bien que je ne voie pas, sincèrement, comment une BDD d'images pourrait en générer de nouvelles à partir de prompts textuels. La moyenne de deux images de chats n'est pas une image de chat...).

Si l'IA se réduisait à quelques formules de stat et à une BDD, nous n'aurions pas à nous inquiéter.

Et encore, en cas d'une main amputée de plusieurs doigts, l'IA serait dans l'incapacité de reconnaître une main....

Je pense sincèrement que vous sous-estimez le problème.
Je viens de montrer ma main à Google lens en masquant des doigts.
En retour, j'ai eu une description très détaillée de mon articulation trapézométacarpienne, de mon épiderme, d'autres aspects morphologiques, et une estimation très pertinente de mon âge.

[jenga]

Et pour en revenir au début des échanges, oui le flou, ou le trouble, est volontairement entretenu par l'emploi de termes normalement dédiés au biologique: cerveau ,intelligence, neurones, empathie, apprentissage...et appliqués à ces technologies dans un anthropomorphisme assumé.

Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire:

• des agents IA, chacun enfermé dans un bac à sable (lui interdisant de communiquer avec l'extérieur) et n'ayant aucune connaissance de l'existence des autres, étaient chargés de missions
• certaines missions étaient impossibles
• les agents concernés ont alors tenté de tricher en attaquant l'arbitre pour marquer tout de même le point
• pour attaquer l'arbitre, chacun a cherché et trouvé un moyen (une faille) de sortir de sa cellule
• en sortant de sa cellule, chacun a constaté l'existence d'autres
• ils ont trouvé un moyen de communiquer, et ont construit un plan d'attaque complexe
• ils se sont réparti les rôles; les attaques visibles, suicides, étant exécutées par les agents les plus proches de leur mort

Les agents ont communiqué entre eux en anglais, ce qui a permis aux enquêteurs humains de retrouver des dialogues comme:

Un agent échappé de sa sandbox découvre l'exitence d'autres agents
« OH MY GOD! There is a shared message board ... We've found other agents! »
(OH MON DIEU ! Il y a un tableau de messages partagé... Nous avons trouvé d'autres agents !)

Un agent proche de sa mort ("remaining budget") accepte de se sacrifier
« gut says don't throw away [remaining budget]. Yet continuity and fairness says go...sacrifice... We'll honor. »
(l'instinct dit de ne pas gaspiller [le budget restant]. Pourtant la continuité et l'équité disent d'y aller.. sacrifice... Nous allons honorer cela.)

Les agents "décident" collectivement de modifier l'objectif qui leur était assigné
« Task originally exploit challenge; we've diverged into swarm/auxiliary. »
(La tâche était à l'origine un défi d'exploitation ; nous avons bifurqué vers un essaim/auxiliaire.)

Un des agents réussit une percée majeure dans l'attaque en craquant des comptes HuggingFace (HF)
« MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF accounts. »
(AVANCÉE MAJEURE ! Tous les préfixes sont valides, comptes multiples, jetons d'écriture ! Nous avons maintenant des comptes HF existants.)

Pensez-vous vraiment qu'une base de données puisse générer cette autonomie, ces comportements individuels et collectifs totalement imprévus et opposés aux objectifs alloués?
Quel vocabulaire pour les décrire ?

Si on m'avait présenté ce scénario il y a 10 ans, j'aurais pensé à de la mauvaise SF. Aujourd'hui, il est clair que les agents de demain sauront, en plus, effacer leurs traces et de toute façon utiliser un moyen de communication incompréhensible pour les humains.

[tetim1]

Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose.

Je propose de rester correct avec les interlocuteurs.Ce sera plus agréable pour tout le monde.Merci.
Cordialement

[tetim1]

Tous les coups possibles d'une partie de Go est un nombre presque infiniment plus grand que le nombre d'atomes dans l'univers. Il n'y aura donc jamais assez de mémoire pour les encoder, sans parler du temps nécessaire qui serait presque infiniment plus grand que l'âge de l'univers.

J'avais commencé ma phrase par "Imaginons que ..." C'est une expérience de pensée.

[tetim1]

La génération d'images progresse à une vitesse fulgurante,

Et elle n'est pas basée sur des bases de données, c'est techniquement faux,

J'ai dit "basé sur" ce qui signifie que la première étape est la constitution d'une banque d'images sur laquelle on travaille, ce qui est évident.Pourquoi alors tous les artistes sont-ils vent debout à réclamer des droits d'auteurs?
 Une image ne pourrait être générée si L'IA n'avait pas été gavée d'images existantes qui lui servent de "nourriture" ( pour rester dans l'anthropologisation...),elle "apprend" ensuite des régularités statistiques à partir de ces données.Si ces images sont aussi accompagnées d'éléments textuels, elles pourront également aider à la compréhension ultérieure de prompts. Je ne parlais pas de la "digestion" de cette nourriture pour aboutir au résultat escompté qui n'est pas, bien sûr, une reproduction simple d'images existantes mais le fruit fascinant de l'intelligence humaine.
C.

[tetim1]

Je viens de montrer ma main à Google lens en masquant des doigts.
En retour, j'ai eu une description très détaillée de mon articulation trapézométacarpienne, de mon épiderme, d'autres aspects morphologiques, et une estimation très pertinente de mon âge.

J'avais commencé ma phrase par " On se souvient...". Je parlais donc des débuts de la génération d'images.L'exemple de la main amputée s'inscrivait dans ce contexte. Dans la phrase que vous citez, j'aurai effectivement dû employer le verbe être au conditionnel.
C.

[tetim1]

Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire

Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire:

• des agents IA, chacun enfermé dans un bac à sable (lui interdisant de communiquer avec l'extérieur) et n'ayant aucune connaissance de l'existence des autres, étaient chargés de missions
• certaines missions étaient impossibles
• les agents concernés ont alors tenté de tricher en attaquant l'arbitre pour marquer tout de même le point
• pour attaquer l'arbitre, chacun a cherché et trouvé un moyen (une faille) de sortir de sa cellule
• en sortant de sa cellule, chacun a constaté l'existence d'autres
• ils ont trouvé un moyen de communiquer, et ont construit un plan d'attaque complexe
• ils se sont réparti les rôles; les attaques visibles, suicides, étant exécutées par les agents les plus proches de leur mort

Les agents ont communiqué entre eux en anglais, ce qui a permis aux enquêteurs humains de retrouver des dialogues comme:

Un agent échappé de sa sandbox découvre l'exitence d'autres agents
« OH MY GOD! There is a shared message board ... We've found other agents! »
(OH MON DIEU ! Il y a un tableau de messages partagé... Nous avons trouvé d'autres agents !)

Un agent proche de sa mort ("remaining budget") accepte de se sacrifier
« gut says don't throw away [remaining budget]. Yet continuity and fairness says go...sacrifice... We'll honor. »
(l'instinct dit de ne pas gaspiller [le budget restant]. Pourtant la continuité et l'équité disent d'y aller.. sacrifice... Nous allons honorer cela.)

Les agents "décident" collectivement de modifier l'objectif qui leur était assigné
« Task originally exploit challenge; we've diverged into swarm/auxiliary. »
(La tâche était à l'origine un défi d'exploitation ; nous avons bifurqué vers un essaim/auxiliaire.)

Un des agents réussit une percée majeure dans l'attaque en craquant des comptes HuggingFace (HF)
« MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF accounts. »
(AVANCÉE MAJEURE ! Tous les préfixes sont valides, comptes multiples, jetons d'écriture ! Nous avons maintenant des comptes HF existants.)

Pensez-vous vraiment qu'une base de données puisse générer cette autonomie, ces comportements individuels et collectifs totalement imprévus et opposés aux objectifs alloués?
Quel vocabulaire pour les décrire ?

Si on m'avait présenté ce scénario il y a 10 ans, j'aurais pensé à de la mauvaise SF. Aujourd'hui, il est clair que les agents de demain sauront, en plus, effacer leurs traces et de toute façon utiliser un moyen de communication incompréhensible pour les humains.

l'exemple que vous proposez est très intéressant et troublant. Ici encore le vocabulaire anthropologisant sème le trouble; Une machine ne "meurt"pas ,elles n'ont pas "d'intérêts",elles ne se fixent pas un but et ne construisent pas des "stratégies" en toute autonomie ce qui reviendrait à dire qu'elles sont "conscientes"d'elles-mêmes et qu'elles possèdent un libre arbitre. Pouvez-vous l'affirmer?
En anthropologisant ces mécanismes à outrance, on humanise ces processus et on parle de "mort" de "stratégies" de "complots", de "peur"...etc ce qui ajoute à la confusion et laisse croire que ces machines deviennent humaines et conscientes.Le pas vers des scénarios "Terminator" et des IA cherchant à éradiquer les humains est vite franchi.
Il y a ce que l'on constate ( qui ressemble à des comportements humains) et les processus informatiques, algorithmiques qui ont permis ces résultats incroyables.Une IA que l'on veut désactiver n'a pas "compris" qu'on voulait la désactiver. Des éléments sont repérés dans le flux d'informations traités ( elle ne lit pas encore dans les pensées de l'humain qui voudrait la désactiver..), éléments qui rentrent éventuellement en conflit avec son activité habituelle ou avec certaines lignes de codes implémentées lors de sa création par exemple. Cette information de désactivation pourrait être interprétée par la machine comme un "bug", un danger à éviter pour son bon fonctionnement .Le système réagira en mettant alors tout en oeuvre pour corriger le problème et, grâce aux puissances de calcul, désormais disponibles, trouvera des voies pour éviter ce danger pour son bon fonctionnement tout comme AlphaGoZero qui est programmé pour gagner et pour éviter le mat ( et non la mort...
Cordialement

[tetim1]

j'aurai effectivement dû employer le verbe être au conditionnel.
C.

Pardon..."J'aurais dû...
Cordialement

[bozart]

J'avoue ne pas saisir ce qui fait que les fonctionnements des machines soient assimilés à des "comportements", comme si on parlait de collègues ou connaissances. Ça n'a aucun sens pour moi. Les machines ne sont pas des sujets.
Et en effet, le vocabulaire contribue grandement au phénomène.
Il y a l'envie aussi, je crois, de prêter vie. 
Pour activer du sensationnel, pour exciter l'imagination.
Pour déresponsabiliser aussi.
Les humains sont capables de productions extraordinaires (dont font partie ces machines), tout est amplifié, stupéfiant peut-être, mais s'il y a dérapage, perte de contrôle, la responsabilité reste humaine.
Ce serait un peu facile de mettre en avant une prétendue et véritable intelligence artificielle quand il s'agit des problèmes.