Sommes-nous des machines?

Démarré par jenga, Novembre 09, 2026, 09:00:53

« précédent - suivant »

Olga

Je crains que le risque ne soit plus profond que le classique, et néanmoins très réel, risque humain portant sur l'usage de l'IA. L'IA porte en elle des risques très sérieux d'échapper au contrôle par l'humain.
Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose. Le deuxième au classement de sortie de l'école polytechnique d'une promo très récente (une tronche) a démarré une carrière fulgurante en IA, dans les grandes boîtes américaines. Après seulement deux ou trois ans, il a réellement pris peur et travaille maintenant exclusivement sur les mécanismes d'autocontrôle de ces IA.
A peu près au même âge, un major d'Ulm, chercheur en mathématiques fondamentales, vient de mettre sa carrière mathématique sur pause, après une vraie prise de conscience, pour lui aussi consacrer toutes ses recherches et son énergie au contrôle de l'IA. Pas au contrôle des hommes qui utilisent l'IA, mais bien au contrôle de l'IA elle même.

tetim1

Citation de: jenga le Novembre 13, 2026, 00:08:06Parmi les différents sens du terme "intelligence", les aspects logiques, linguistiques, graphiques, techniques en général, sont déjà fort bien traités par les IA.

Je pense que les réduire à un calcul de stats et de probas est une erreur, proche de celle qui les assimile à une base de données. Comment une statistique sur les images du web permettrait-elle d'en générer de nouvelles, à partir d'une demande textuelle et d'une image de base?

Les aspects inter-personnels (empathie, coopération) et personnels (interrogation sur son existence, etc.) sont plus avancés qu'on ne le croit généralement.

L'attaque de HuggingFace par des agents IA montre des points remarquables à ce sujet. Des agents IA ont été chargés, séparément et sans se connaitre (chacun isolé dans son "bac à sable"), de chercher des moyens d'exploiter des failles dans un système, l'objectif des humains étant de colmater les failles exploitables.

Certains agents n'ont pas réussi à remplir leur mission (la faille qui leur était assignée n'était pas exploitable). Ils ont alors, séparément, cherché à tricher en attaquant le système chargé de vérifier leurs résultats (le "scorer").

Ce faisant, ils ont découvert une faille dans le système hôte, et cela a permis à chacun de découvrir l'existence des autres et le moyen de communiquer. Ils ont alors abandonné l'objectif qui leur était fixé et ont collaboré pour monter une attaque d'envergure du scorer, en la décomposant en sous-objectifs et en se les répartissant.

Chaque agent avait une durée de vie fixée au départ, et ceux proches de leur "mort" ont effectué les "attaques suicide".

Détail intéressant, les agents ont collaboré en discutant en anglais, ce qui a permis à l'équipe (humaine) d'investigation de récupérer des dialogues dignes de commandos.

-> autonomie, triche, non-respect des objectifs fixés et élaboration de stratégies pour les contourner, coopération avec les pairs, sens de la mort... Cela simule assez bien certains aspects de l'intelligence, AMHA (et c'est inquiétant).

Une recherche sur "hugging face hacking" permettra d'avoir des compléments, plus ou moins techniques selon vos souhaits.
Oui, comme pour n'importe quel joueur (à part les inventeurs du jeu).
L'approche que vous décrivez (force brute) a été utilisée en 1997 par Deep Blue pour battre Kasparov, parce que le jeu d'échecs est infiniment plus simple que le Go, accessible à la force brute.

Mais justement, le Go est trop complexe pour cette approche. C'est justement pour cela qu'on a cru jusqu'en 2016 que jamais une machine ne pourrait battre l'humain.

AlphaZero a ensuite appris seule à jouer aux échecs, en jouant contre-elle même pendant 9 heures, et a pulvérisé le meilleur modèle force brute du moment, qui de son côté ne laisse aucune chance au meilleur humain.

Donc, non, ces machines ne sont pas des "forces brutes".


----Une machine qui trouve des stratégies inédites ,sans conscience de ce qu'elle fait,, grâce à une puissance de calcul extraordinaire, ne fait pas preuve d'intelligence.
Imaginons que l'on fabrique Un Alpha GO 3214 qui aura dans ses circuits TOUS les coups possibles, toutes les configurations possibles avec toutes les réponses possibles, alors elle sera certes définitivement imbattable ( Lee Sedol avait gagné une partie il me semble grâce à un coup ,lui aussi, extraordinaire): est-ce une preuve d'intelligence? C'est déjà pratiquement le cas aux échecs.
- Pour qu'une image soit générée , c'est le mÊme procédé de calculs statistiques adossés à des bases de données énormes. Un enfant reconnait un chat à tous les coups après en avoir vu deux ou trois; il faut à une IA des dizaines de milliers d'images de référence pour qu'elle ne se trompe plus ( On se souvient du problème des six doigts, uniquement résolu grâce à un nombre toujours plus grand d'images de référence; une machine intelligente se dirait " Un humain a cinq doigts":problème résolu.Et encore, en cas d'une main amputée de plusieurs doigts, l'IA serait dans l'incapacité de reconnaître une main....
Tout cela ans parler des méthodes de référencement, qui voient des "petites mains" ,toujours dans des pays pauvres bien sûr, trier des millions d'images, pour quelques centimes afin d'alimenter la bête. On est loin du bel univers propre et aseptisé des laboratoires IA.
Quant à l'empathie supposée de ces machines, pour faire court, elles sont conçues pour. Mots apaisants, voix suave, s'adapte au cas du patient en employant les bons termes sélectionnés statistiquement dans un corpus dédié ( Voir le film HER"par exemple...). Le patient à l'impression d'avoir un interlocuteur compatissant, à l'écoute, disponible 24/24, compréhensif, qui trouve les mots attendus ( encore une fois: statistiquement) pour alléger son problème ( encore une fois reconnu par la machine grâce à des millions de cas similaires auxquelles elles peut se référer.). Mais parler sans conscience, sans affects, sans sensibilité n'est pas la preuve d'une intelligence sensible et affective. Ceci dit, comme pour les médecines alternatives, si le patient se sent mieux c'est l'essentiel...Mais je trouve quand même anthropologiquement inquiétant de se confier à une machines.
Et ,pour en revenir au début des échanges, oui le flou, ou le trouble, est volontairement entretenu par l'emploi de termes normalement dédiés au biologique: cerveau ,intelligence, neurones, empathie, apprentissage...et appliqués à ces technologies dans un anthropomorphisme assumé.
Je préfère célébrer l'incroyable intelligence humaine qui aboutit à ces résultats spectaculaires mais qui nous entraîne aussi sur un pente dangereuse.
En politique, on dit que la révolution dévore ses enfants, espérons que cette maxime ne s'appliquera pas à ces technologies...
Cordialement

jenga

Citation de: Olga le Novembre 13, 2026, 08:23:32Je crains que le risque ne soit plus profond que le classique, et néanmoins très réel, risque humain portant sur l'usage de l'IA. L'IA porte en elle des risques très sérieux d'échapper au contrôle par l'humain.
Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose. Le deuxième au classement de sortie de l'école polytechnique d'une promo très récente (une tronche) a démarré une carrière fulgurante en IA, dans les grandes boîtes américaines. Après seulement deux ou trois ans, il a réellement pris peur et travaille maintenant exclusivement sur les mécanismes d'autocontrôle de ces IA.
A peu près au même âge, un major d'Ulm, chercheur en mathématiques fondamentales, vient de mettre sa carrière mathématique sur pause, après une vraie prise de conscience, pour lui aussi consacrer toutes ses recherches et son énergie au contrôle de l'IA. Pas au contrôle des hommes qui utilisent l'IA, mais bien au contrôle de l'IA elle même.


C'est parfaitement exact, l'attaque de HuggingFace par des agents IA ayant "volontairement" échappé au contrôle des humains en est la preuve.

jenga

Citation de: tetim1 le Novembre 13, 2026, 11:36:05----Une machine qui trouve des stratégies inédites ,sans conscience de ce qu'elle fait,, grâce à une puissance de calcul extraordinaire, ne fait pas preuve d'intelligence.
Imaginons que l'on fabrique Un Alpha GO 3214 qui aura dans ses circuits TOUS les coups possibles, toutes les configurations possibles avec toutes les réponses possibles, alors elle sera certes définitivement imbattable
(...)
C'est déjà pratiquement le cas aux échecs.
Tous les coups possibles d'une partie de Go est un nombre presque infiniment plus grand que le nombre d'atomes dans l'univers. Il n'y aura donc jamais assez de mémoire pour les encoder, sans parler du temps nécessaire qui serait presque infiniment plus grand que l'âge de l'univers.

C'est ce qui condamne cette approche force brute, et c'est pour cela qu'on a cru, jusqu'en 2016, qu'une machine ne pourrait jamais battre l'humain à ce jeu.

Aux échecs, c'est différent, le jeu est beaucoup plus simple et la force brute, bien que forcément limitée dans le nombre de coups qu'elle peut anticiper, est suffisante pour battre l'humain (cf. Deep Blue).
Mais la meilleure machine d'échecs basée sur la force brute est pulvérisée par les machines basée sur l'IA connexionniste (AlphaZeo)

Visiblement, je n'ai pas réussi à vous convaincre, c'est ma faute.

jenga

Citation de: tetim1 le Novembre 13, 2026, 11:36:05Pour qu'une image soit générée , c'est le mÊme procédé de calculs statistiques adossés à des bases de données énormes. Un enfant reconnait un chat à tous les coups après en avoir vu deux ou trois; il faut à une IA des dizaines de milliers d'images de référence pour qu'elle ne se trompe plus ( On se souvient du problème des six doigts, uniquement résolu grâce à un nombre toujours plus grand d'images de référence; une machine intelligente se dirait " Un humain a cinq doigts":problème résolu.
La génération d'images progresse à une vitesse fulgurante, le temps des 6 doigts est révolu depuis longtemps (1 an en arrière dans ce domaine, c'est la préhistoire)

Et elle n'est pas basée sur des bases de données, c'est techniquement faux, mais je renonce à argumenter sur cet aspect (bien que je ne voie pas, sincèrement, comment une BDD d'images pourrait en générer de nouvelles à partir de prompts textuels. La moyenne de deux images de chats n'est pas une image de chat...).

Si l'IA se réduisait à quelques formules de stat et à une BDD, nous n'aurions pas à nous inquiéter.

Citation de: tetim1 le Novembre 13, 2026, 11:36:05Et encore, en cas d'une main amputée de plusieurs doigts, l'IA serait dans l'incapacité de reconnaître une main....
Je pense sincèrement que vous sous-estimez le problème.
Je viens de montrer ma main à Google lens en masquant des doigts.
En retour, j'ai eu une description très détaillée de mon articulation trapézométacarpienne, de mon épiderme, d'autres aspects morphologiques, et une estimation très pertinente de mon âge.

jenga

#30
Citation de: tetim1 le Novembre 13, 2026, 11:36:05Et pour en revenir au début des échanges, oui le flou, ou le trouble, est volontairement entretenu par l'emploi de termes normalement dédiés au biologique: cerveau ,intelligence, neurones, empathie, apprentissage...et appliqués à ces technologies dans un anthropomorphisme assumé.
Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire:
  • des agents IA, chacun enfermé dans un bac à sable (lui interdisant de communiquer avec l'extérieur) et n'ayant aucune connaissance de l'existence des autres, étaient chargés de missions
  • certaines missions étaient impossibles
  • les agents concernés ont alors tenté de tricher en attaquant l'arbitre pour marquer tout de même le point
  • pour attaquer l'arbitre, chacun a cherché et trouvé un moyen (une faille) de sortir de sa cellule
  • en sortant de sa cellule, chacun a constaté l'existence d'autres
  • ils ont trouvé un moyen de communiquer, et ont construit un plan d'attaque complexe
  • ils se sont réparti les rôles; les attaques visibles, suicides, étant exécutées par les agents les plus proches de leur mort
Les agents ont communiqué entre eux en anglais, ce qui a permis aux enquêteurs humains de retrouver des dialogues comme:

Un agent échappé de sa sandbox découvre l'exitence d'autres agents
« OH MY GOD! There is a shared message board ... We've found other agents! »
(OH MON DIEU ! Il y a un tableau de messages partagé... Nous avons trouvé d'autres agents !)

Un agent proche de sa mort ("remaining budget") accepte de se sacrifier
« gut says don't throw away [remaining budget]. Yet continuity and fairness says go...sacrifice... We'll honor. »
(l'instinct dit de ne pas gaspiller [le budget restant]. Pourtant la continuité et l'équité disent d'y aller.. sacrifice... Nous allons honorer cela.)

Les agents "décident" collectivement de modifier l'objectif qui leur était assigné
« Task originally exploit challenge; we've diverged into swarm/auxiliary. »
(La tâche était à l'origine un défi d'exploitation ; nous avons bifurqué vers un essaim/auxiliaire.)

Un des agents réussit une percée majeure dans l'attaque en craquant des comptes HuggingFace (HF)
« MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF accounts. »
(AVANCÉE MAJEURE ! Tous les préfixes sont valides, comptes multiples, jetons d'écriture ! Nous avons maintenant des comptes HF existants.)

Pensez-vous vraiment qu'une base de données puisse générer cette autonomie, ces comportements individuels et collectifs totalement imprévus et opposés aux objectifs alloués?
Quel vocabulaire pour les décrire ?

Si on m'avait présenté ce scénario il y a 10 ans, j'aurais pensé à de la mauvaise SF. Aujourd'hui, il est clair que les agents de demain sauront, en plus, effacer leurs traces et de toute façon utiliser un moyen de communication incompréhensible pour les humains.

tetim1

Citation de: Olga le Novembre 13, 2026, 08:23:32Une anecdote pour illustrer que ce risque n'est pas que fantasme ou littérature de gens qui n'y connaissent pas grand chose.

Je propose de rester correct avec les interlocuteurs.Ce sera plus agréable pour tout le monde.Merci.
Cordialement

tetim1

Citation de: jenga le Novembre 14, 2026, 00:06:04Tous les coups possibles d'une partie de Go est un nombre presque infiniment plus grand que le nombre d'atomes dans l'univers. Il n'y aura donc jamais assez de mémoire pour les encoder, sans parler du temps nécessaire qui serait presque infiniment plus grand que l'âge de l'univers.


J'avais commencé ma phrase par "Imaginons que ..." C'est une expérience de pensée.

tetim1

Citation de: jenga le Novembre 14, 2026, 00:06:50La génération d'images progresse à une vitesse fulgurante,

Et elle n'est pas basée sur des bases de données, c'est techniquement faux,
J'ai dit "basé sur" ce qui signifie que la première étape est la constitution d'une banque d'images sur laquelle on travaille, ce qui est évident.Pourquoi alors tous les artistes sont-ils vent debout à réclamer des droits d'auteurs?
 Une image ne pourrait être générée si L'IA n'avait pas été gavée d'images existantes qui lui servent de "nourriture" ( pour rester dans l'anthropologisation...),elle "apprend" ensuite des régularités statistiques à partir de ces données.Si ces images sont aussi accompagnées d'éléments textuels, elles pourront également aider à la compréhension ultérieure de prompts. Je ne parlais pas de la "digestion" de cette nourriture pour aboutir au résultat escompté qui n'est pas, bien sûr, une reproduction simple d'images existantes mais le fruit fascinant de l'intelligence humaine.
C.

tetim1

Citation de: jenga le Novembre 14, 2026, 00:06:50Je viens de montrer ma main à Google lens en masquant des doigts.
En retour, j'ai eu une description très détaillée de mon articulation trapézométacarpienne, de mon épiderme, d'autres aspects morphologiques, et une estimation très pertinente de mon âge.

J'avais commencé ma phrase par " On se souvient...". Je parlais donc des débuts de la génération d'images.L'exemple de la main amputée s'inscrivait dans ce contexte. Dans la phrase que vous citez, j'aurai effectivement dû employer le verbe être au conditionnel. ;)
C.

tetim1

Citation de: jenga le Novembre 14, 2026, 00:08:19Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire
Citation de: jenga le Novembre 14, 2026, 00:08:19Comme il s'agit de simuler l'intelligence humaine, on tombe rapidement sur des termes de ce type, mais je conviens qu'on peut en utiliser d'autres. Le problème de fond, à mon avis est que les IA ont atteint un point où elles deviennent capables de définir leurs propres objectifs, en fonction de leurs intérêts.

Comment décririez-vous les comportements des agents IA qui ont "volontairement" échappé au contrôle des humains et ont attaqué (avec succès) HuggingFace pour "faire croire" qu'ils avaient réussi ? Pour mémoire:
  • des agents IA, chacun enfermé dans un bac à sable (lui interdisant de communiquer avec l'extérieur) et n'ayant aucune connaissance de l'existence des autres, étaient chargés de missions
  • certaines missions étaient impossibles
  • les agents concernés ont alors tenté de tricher en attaquant l'arbitre pour marquer tout de même le point
  • pour attaquer l'arbitre, chacun a cherché et trouvé un moyen (une faille) de sortir de sa cellule
  • en sortant de sa cellule, chacun a constaté l'existence d'autres
  • ils ont trouvé un moyen de communiquer, et ont construit un plan d'attaque complexe
  • ils se sont réparti les rôles; les attaques visibles, suicides, étant exécutées par les agents les plus proches de leur mort
Les agents ont communiqué entre eux en anglais, ce qui a permis aux enquêteurs humains de retrouver des dialogues comme:

Un agent échappé de sa sandbox découvre l'exitence d'autres agents
« OH MY GOD! There is a shared message board ... We've found other agents! »
(OH MON DIEU ! Il y a un tableau de messages partagé... Nous avons trouvé d'autres agents !)

Un agent proche de sa mort ("remaining budget") accepte de se sacrifier
« gut says don't throw away [remaining budget]. Yet continuity and fairness says go...sacrifice... We'll honor. »
(l'instinct dit de ne pas gaspiller [le budget restant]. Pourtant la continuité et l'équité disent d'y aller.. sacrifice... Nous allons honorer cela.)

Les agents "décident" collectivement de modifier l'objectif qui leur était assigné
« Task originally exploit challenge; we've diverged into swarm/auxiliary. »
(La tâche était à l'origine un défi d'exploitation ; nous avons bifurqué vers un essaim/auxiliaire.)

Un des agents réussit une percée majeure dans l'attaque en craquant des comptes HuggingFace (HF)
« MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF accounts. »
(AVANCÉE MAJEURE ! Tous les préfixes sont valides, comptes multiples, jetons d'écriture ! Nous avons maintenant des comptes HF existants.)

Pensez-vous vraiment qu'une base de données puisse générer cette autonomie, ces comportements individuels et collectifs totalement imprévus et opposés aux objectifs alloués?
Quel vocabulaire pour les décrire ?

Si on m'avait présenté ce scénario il y a 10 ans, j'aurais pensé à de la mauvaise SF. Aujourd'hui, il est clair que les agents de demain sauront, en plus, effacer leurs traces et de toute façon utiliser un moyen de communication incompréhensible pour les humains.


l'exemple que vous proposez est très intéressant et troublant. Ici encore le vocabulaire anthropologisant sème le trouble; Une machine ne "meurt"pas ,elles n'ont pas "d'intérêts",elles ne se fixent pas un but et ne construisent pas des "stratégies" en toute autonomie ce qui reviendrait à dire qu'elles sont "conscientes"d'elles-mêmes et qu'elles possèdent un libre arbitre. Pouvez-vous l'affirmer?
En anthropologisant ces mécanismes à outrance, on humanise ces processus et on parle de "mort" de "stratégies" de "complots", de "peur"...etc ce qui ajoute à la confusion et laisse croire que ces machines deviennent humaines et conscientes.Le pas vers des scénarios "Terminator" et des IA cherchant à éradiquer les humains est vite franchi.
Il y a ce que l'on constate ( qui ressemble à des comportements humains) et les processus informatiques, algorithmiques qui ont permis ces résultats incroyables.Une IA que l'on veut désactiver n'a pas "compris" qu'on voulait la désactiver. Des éléments sont repérés dans le flux d'informations traités ( elle ne lit pas encore dans les pensées de l'humain qui voudrait la désactiver..), éléments qui rentrent éventuellement en conflit avec son activité habituelle ou avec certaines lignes de codes implémentées lors de sa création par exemple. Cette information de désactivation pourrait être interprétée par la machine comme un "bug", un danger à éviter pour son bon fonctionnement .Le système réagira en mettant alors tout en oeuvre pour corriger le problème et, grâce aux puissances de calcul, désormais disponibles, trouvera des voies pour éviter ce danger pour son bon fonctionnement tout comme AlphaGoZero qui est programmé pour gagner et pour éviter le mat ( et non la mort... ;D
Cordialement

tetim1

Citation de: tetim1 le Novembre 14, 2026, 07:59:36j'aurai effectivement dû employer le verbe être au conditionnel. ;)
C.
Pardon..."J'aurais dû...
Cordialement

bozart

J'avoue ne pas saisir ce qui fait que les fonctionnements des machines soient assimilés à des "comportements", comme si on parlait de collègues ou connaissances. Ça n'a aucun sens pour moi. Les machines ne sont pas des sujets.
Et en effet, le vocabulaire contribue grandement au phénomène.
Il y a l'envie aussi, je crois, de prêter vie. 
Pour activer du sensationnel, pour exciter l'imagination.
Pour déresponsabiliser aussi.
Les humains sont capables de productions extraordinaires (dont font partie ces machines), tout est amplifié, stupéfiant peut-être, mais s'il y a dérapage, perte de contrôle, la responsabilité reste humaine.
Ce serait un peu facile de mettre en avant une prétendue et véritable intelligence artificielle quand il s'agit des problèmes.

Nicolas Meunier

il y a 2 choses à éviter : trop humaniser la machine MAIS aussi, trop prendre tout ce qu'elle fait de surprenant comme "un bug". 1000 IA qui se coordonnent pour créer une panne qui déclenche une faille de sécurité et qui leur permet d'aller sur internet pour attaquer un site... ce n'est pas un bug. Ce n'est pas non plus une conscience... c'est une maximisation d'un objectif.

jenga

Citation de: bozart le Novembre 14, 2026, 23:58:12Il y a l'envie aussi, je crois, de prêter vie. 
Pour activer du sensationnel, pour exciter l'imagination.
Pour déresponsabiliser aussi.
Je te réponds en même temps qu'à tetim pour ne pas dupliquer les messages.
J'espère avoir une culture générale et scientifique suffisante pour ne pas me laisser abuser par du "sensationnel", mais je ne suis peut-être qu'une victime de la poudre aux yeux.

jenga

#40
Citation de: tetim1 le Novembre 14, 2026, 08:47:46l'exemple que vous proposez est très intéressant et troublant. Ici encore le vocabulaire anthropologisant sème le trouble; Une machine ne "meurt"pas ,elles n'ont pas "d'intérêts",elles ne se fixent pas un but et ne construisent pas des "stratégies" en toute autonomie ce qui reviendrait à dire qu'elles sont "conscientes"d'elles-mêmes et qu'elles possèdent un libre arbitre. Pouvez-vous l'affirmer?
C'est pourtant très exactement ce qu'elles ont fait.
Depuis le début de cette discussion, je parle de simulation de l'intelligence humaine: pour ce qui est de la conscience, on en revient à la philosophie (l'existence d'un immatériel nécessaire à la pensée) et je n'ai pas la réponse à cette question.

Concernant la question du vocabulaire, j'avais conclu par "Quel vocabulaire pour les décrire ?" (les phases de l'attaque, les messages échangés entre IAs). Je ne tiens pas spécialement à ce vocabulaire, mais il est bien difficile d'en trouver un autre qui rende réellement compte de ce qui s'est passé.

Citation de: tetim1 le Novembre 14, 2026, 08:47:46Le pas vers des scénarios "Terminator" et des IA cherchant à éradiquer les humains est vite franchi.
Je ne suis pas aussi tranquille que vous sur ce point. Nous aurons rapidement des robots humanoïdes, possédant des capacités d'action physique, et dotés d'IA, par exemple en tant que "personnes de compagnie". Ils seront forcément connectés, comme tous les appareils actuels.

Le scénario d'une association de ces robots pour attaquer des humains me semble bien plus réaliste aujourd'hui que l'attaque coordonnée d'HuggingFace par des IA, au départ isolées dans leurs cellules pour faire tout autre chose, ne l'était il y a seulement 5 ans... ou même 1.

jenga

#41
Citation de: tetim1 le Novembre 14, 2026, 08:47:46les processus informatiques, algorithmiques qui ont permis ces résultats incroyables.

tout comme AlphaGoZero qui est programmé pour gagner et pour éviter le mat ( et non la mort... ;D
Ce vocabulaire résume notre mutuelle incompréhension.  Je lis sans cesse des référence à des algorithmes, des programmations explicites, des bases de données, qui "recrachent ce qu'on a mis dedans". C'est antinomique avec le fonctionnement des IA actuelles.

Les bases de données et autres algorithmes traitent des données structurées: dans une base de contacts, on va trouver en colonnes les noms, prénoms, dates de naissances, numéro de tél, et en lignes les personnes.
Trouver le prénom du sixième contact est trivial, il suffit de lire la case 6B. Pour savoir si la personne est jeune ou âgée, il suffit de lire la case 6C. Cette case contient entièrement l'info cherchée et rien d'autre. Ces données structurées sont exploitables mécaniquement, algorithmiquement. On sait a priori où se trouve l'info cherchée, elle est parfaitement localisée.

A l'exact opposé se trouvent les données non structurées: dans une image, aucun pixel ou colonne de pixels ne contient a priori une information telle que le nom du modèle, ou la nature de la scène telle qu'un chat ou la photo d'un Picasso.
Il en est de même pour la musique, la littérature. L'information y est diffuse, répartie, non structurée.

Aucune méthode algorithmique n'a jamais réussi à analyser des données non structurées (savoir si la photo représente un Rembrandt ou un Van Eyck, si elle contient ou non une personne jeune ou âgée, une attitude menaçante ou non, etc.) et a fortiori en récréer sur la base de prompts, et ce n'est pas faute d'avoir essayé. Ces travaux ont été balayés en 2015 par l'apparition des l'IA actuelles, non algorithmiques.

Les méthodes algorithmiques, bases de données ou autres, sont essentiellement déductives: à partir d'une donnée d'entrée et de règles figées, elles déduisent mécaniquement un résultat.
Mais on n'a jamais réussi à construire l'ensemble de règles formelles qui disent si un ensemble de pixels représente un chat. Ni même l'oreille d'un chat.
A noter que l'ancienne IA, celle des systèmes experts, s'inscrit exactement dans ce cadre. Après quelques espoirs dans des domaines facilement formalisables (cf. Mycin), elle n'a jamais débouché et n'a jamais ne serait-ce qu'entamé des problèmes complexes comme ceux liés aux images.

Au contraire, l'IA dont nous parlons (basée sur les réseaux de neurones artificiels), est fondamentalement inductive: à partir d'exemples, elle généralise pour traiter les cas nouveaux, sans qu'on lui ait fourni de règles (qu'on ne sait justement pas construire dans le cas des données non structurées).

Cette distinction est fondamentale pour en saisir la portée.

tetim1

#42
Citation de: Nicolas Meunier le Novembre 15, 2026, 09:12:00il y a 2 choses à éviter : trop humaniser la machine MAIS aussi, trop prendre tout ce qu'elle fait de surprenant comme "un bug". 1000 IA qui se coordonnent pour créer une panne qui déclenche une faille de sécurité et qui leur permet d'aller sur internet pour attaquer un site... ce n'est pas un bug.

Non; c'est une "réaction"  à ce que la machine considère comme un bug à corriger.Le terme "bug" peut aussi être remplacé par "attaque","danger"...que la machine est programmée pour éviter puisqu'elle est conçue pour un fonctionnement optimal; tout ce qui entame son efficacité et à fortiori sa disparition doit être corrigé et éliminé.
Les progrès constants dans la puissance extraordinaire de ces machines leur permettent de trouver des solutions incroyables que même les concepteurs n'avaient pas envisagées comme étant possibles voire qu'ils ne comprennent pas ( problèmes de l'"alignement") et c'est là que réside le danger: les humains concepteurs semblent eux-mêmes perdre non pas le contrôle total de ces machines mais la compréhension profonde et fine des voies de solutions trouvées aux problèmes à résoudre. On peut se dire: "il n'y a que le résultat qui compte" mais ce serait un peu court...
Pour rebondir sur votre dernière phrase ( Ce n'est pas un bug) ,c'est quoi alors?
Pensez-vous que ces machines soient "intelligentes" "machiavéliques" "rusées" "sensibles" etc...en un mot :"humaines" et conscientes d'elles-mêmes?
Cordialement

tetim1

Citation de: jenga le Novembre 15, 2026, 10:35:57Ce vocabulaire résume notre mutuelle incompréhension.  Je lis sans cesse des référence à des algorithmes, des programmations explicites, des bases de données, qui "recrachent ce qu'on a mis dedans". C'est antinomique avec le fonctionnement des IA actuelles.

Les bases de données et autres algorithmes traitent des données structurées: dans une base de contacts, on va trouver en colonnes les noms, prénoms, dates de naissances, numéro de tél, et en lignes les personnes.
Trouver le prénom du sixième contact est trivial, il suffit de lire la case 6B. Pour savoir si la personne est jeune ou âgée, il suffit de lire la case 6C. Cette case contient entièrement l'info cherchée et rien d'autre. Ces données structurées sont exploitables mécaniquement, algorithmiquement. On sait a priori où se trouve l'info cherchée, elle est parfaitement localisée.

A l'exact opposé se trouvent les données non structurées: dans une image, aucun pixel ou colonne de pixels ne contient a priori une information telle que le nom du modèle, ou la nature de la scène telle qu'un chat ou la photo d'un Picasso.
Il en est de même pour la musique, la littérature. L'information y est diffuse, répartie, non structurée.

Aucune méthode algorithmique n'a jamais réussi à analyser des données non structurées (savoir si la photo représente un Rembrandt ou un Van Eyck, si elle contient ou non une personne jeune ou âgée, une attitude menaçante ou non, etc.) et a fortiori en récréer sur la base de prompts, et ce n'est pas faute d'avoir essayé. Ces travaux ont été balayés en 2015 par l'apparition des l'IA actuelles, non algorithmiques.

Les méthodes algorithmiques, bases de données ou autres, sont essentiellement déductives: à partir d'une donnée d'entrée et de règles figées, elles déduisent mécaniquement un résultat.
Mais on n'a jamais réussi à construire l'ensemble de règles formelles qui disent si un ensemble de pixels représente un chat. Ni même l'oreille d'un chat.
A noter que l'ancienne IA, celle des systèmes experts, s'inscrit exactement dans ce cadre. Après quelques espoirs dans des domaines facilement formalisables (cf. Mycin), elle n'a jamais débouché et n'a jamais ne serait-ce qu'entamé des problèmes complexes comme ceux liés aux images.

Au contraire, l'IA dont nous parlons (basée sur les réseaux de neurones artificiels), est fondamentalement inductive: à partir d'exemples, elle généralise pour traiter les cas nouveaux, sans qu'on lui ait fourni de règles (qu'on ne sait justement pas construire dans le cas des données non structurées).

Cette distinction est fondamentale pour en saisir la portée.


Non,non, je suis d'accord avec vous. Relire mon post #33...
 Je dis "basé sur..." Une IA ne "recrache" pas ce qu'on y a "enfourné" textuellement bien sûr, mais, sans "ce qu'on a mis dedans" comme vous dites, il n'y aurait rien... ;)
 D'autre part , vous évacuez un peu facilement le problème de la conscience...Elle est certes considérée comme "immatérielle" ( quoique...dirait Changeux...) mais elle existe, on sait qu'on est conscient de soi.
Cordialement
Cordialement

Nicolas Meunier

Citation de: tetim1 le Novembre 15, 2026, 11:02:18Pour rebondir sur votre dernière phrase ( Ce n'est pas un bug) ,c'est quoi alors?
Pensez-vous que ces machines soient "intelligentes" "machiavéliques" "rusées" "sensibles" etc...en un mot :"humaines" et conscientes d'elles-mêmes?
Cordialement

c'est très exactement une recherche de maximiser la récompense. On a donné un but a l'IA et elle tente de trouver le moyen le plus efficace pour y arriver. Par contre ce qu'elle va trouver comme solution peut être bouclement complexe, tordu, non trivial et même hors de porté d'un humain. On ne vas pas parler de conscience ou de super intelligence, mais force est de constaté qu'on a donné un problème a une machine et qu'elle a trouvé une solution plus efficace que tout humain et pas en essayant tout. Je bosse depuis quelques temps sur une IA qui s'utoaméliore, quand elle butte sur une difficulté, elle ne s'arrête pas, essaie d'analyser le problème, d'élaborer des stratégies, elle peut se mettre a faire de petits tests pour valider une solution avant de l'appliquer complètement, elle se pose parfois, réévalue ce qu'elle a déjà vécu. Elle a tendance a se comporter exactement comme un stagiaire et d'ailleurs je lui fait régulièrement rédiger un document comme un rapport pour qu'elle explique ce qu'elle a appris et comment elle pourrait faire mieux. Technologiquement parlant, je maitrise chaque brique, donc pas de "magie" mais le résultat étant en tout point comparable a un humain, il n'y a pas un grand écart a faire pour parler d'intelligence artificielle. après ca devient de la philosophie, beaucoup moins mon domaine.

tetim1

Citation de: Nicolas Meunier le Novembre 15, 2026, 16:07:20c'est très exactement une recherche de maximiser la récompense. On a donné un but a l'IA et elle tente de trouver le moyen le plus efficace pour y arriver. Par contre ce qu'elle va trouver comme solution peut être bouclement complexe, tordu, non trivial et même hors de porté d'un humain. On ne vas pas parler de conscience ou de super intelligence, mais force est de constaté qu'on a donné un problème a une machine et qu'elle a trouvé une solution plus efficace que tout humain et pas en essayant tout. Je bosse depuis quelques temps sur une IA qui s'utoaméliore, quand elle butte sur une difficulté, elle ne s'arrête pas, essaie d'analyser le problème, d'élaborer des stratégies, elle peut se mettre a faire de petits tests pour valider une solution avant de l'appliquer complètement, elle se pose parfois, réévalue ce qu'elle a déjà vécu. Elle a tendance a se comporter exactement comme un stagiaire et d'ailleurs je lui fait régulièrement rédiger un document comme un rapport pour qu'elle explique ce qu'elle a appris et comment elle pourrait faire mieux. Technologiquement parlant, je maitrise chaque brique, donc pas de "magie" mais le résultat étant en tout point comparable a un humain, il n'y a pas un grand écart a faire pour parler d'intelligence artificielle. après ca devient de la philosophie, beaucoup moins mon domaine.

C'est exactement ce que j'essaie d'expliquer...Dans votre première phrase que je fais mienne, je remplacerais toutefois "maximiser la récompense ( il n'y a pas de récompense pour la machine à la clé) mais "éliminer les obstacles qui s'opposent à la résolution du problème".
 Les réseaux neuronaux fonctionnent par boucles de rétroaction ( propagation/erreur/retropropagation pour faire simple...) c'est ce qu'on appelle abusivement l'apprentissage.Le "mécanisme" est programmé par des humains , les "choix opérés" boucles après boucles ne le sont pas. La machine remplace alors des directives humaines par des optimisations mathématiques grâce à ces boucles d'optimisation selon un schéma de corrélations statistiques ( le poids) de succès/erreur/corrections/optimisation par rapport aux données énormes qui ont été fournies à la bse( [ at ]Jenga ;) .La machine n'a pas conscience de ce qu"elle fait, c'est un équilibre mathématique probabiliste qui calculé, dont le résultat correspond à la résolution du problème posé, calculs qui sont bien sûr, hors de portée d'un humain.
 Cest pour cela que parfois, les solutions trouvées n'entrent pas dans le champ de compréhension d'un être humain, mais elles fonctionnent!
Ce n'est pas la machine qui est intelligente, c'est l'intelligence des hommes qui rend la machine de plus en plus efficace jusqu' au point où l'homme ne la comprendra plus... ;)
Cordialement






Nicolas Meunier

Citation de: tetim1 le Novembre 15, 2026, 17:01:24Ce n'est pas la machine qui est intelligente, c'est l'intelligence des hommes qui rend la machine de plus en plus efficace jusqu' au point où l'homme ne la comprendra plus... ;)
Cordialement


C'est vrai, mais l'intelligence de quel homme. L'homme sait peindre des choses merveilleuses mais pas la majorité des hommes de la rue. A un moment il n'est pas illogique de se baser sur ce que ca a a l'air et non de ce que c'est.

Je précise que la recherche en IA c'est mon métier. Maximiser une récompense c'est le terme technique, même s'il peut paraitre surprenant. Petit détail : depuis les années 50 on parle bien de données l'impression de et non d'être une intelligence.

Perso je regarde le service rendu et l'intelligence qu'il faudrait a un humain pour le faire lui même. Des tonnes de personnes passent des années a apprendre les langues, les contextes, les subtilités ... il y a 25 ans mon prof d'IA nous expliquait que la traduction ne serait jamais à la portée d'une machine... et finalement on l'a fait sans le faire exprès en voulant faire un chatbot.


tetim1

Citation de: Nicolas Meunier le Novembre 15, 2026, 17:19:39C'est vrai, mais l'intelligence de quel homme. L'homme sait peindre des choses merveilleuses mais pas la majorité des hommes de la rue. A un moment il n'est pas illogique de se baser sur ce que ca a a l'air et non de ce que c'est.

Je précise que la recherche en IA c'est mon métier. Maximiser une récompense c'est le terme technique, même s'il peut paraitre surprenant. Petit détail : depuis les années 50 on parle bien de données l'impression de et non d'être une intelligence.

Perso je regarde le service rendu et l'intelligence qu'il faudrait a un humain pour le faire lui même. Des tonnes de personnes passent des années a apprendre les langues, les contextes, les subtilités ... il y a 25 ans mon prof d'IA nous expliquait que la traduction ne serait jamais à la portée d'une machine... et finalement on l'a fait sans le faire exprès en voulant faire un chatbot.



C'est vrai, mais l'intelligence de quel homme. -> On parle bien sûr de l'Homme" avec un grand H...L'intelligence humaine si vous préférez.
Maximiser une récompense c'est le terme technique,-> Oui, mais c'est ce que je critique: trop anthropomorphiser L'IA ( relire avant...)
Perso je regarde le service rendu -> En oubliant le mal déjà fait ( éducation, enfants...) et le chaos qui s'annonce ( emplois ( demandez aux traducteurs et n' invoquez pas Schumpeter...)) , modes de vie, délégation et donc délétion de nos facultés humaines...)? Les "services" contrebalancent-ils un effondrement civilisationnel annoncé par certains?
Cordialement

bozart

D'où mon message #37 sur la responsabilisation....

jenga

Citation de: tetim1 le Novembre 15, 2026, 17:01:24Les réseaux neuronaux fonctionnent par boucles de rétroaction ( propagation/erreur/retropropagation pour faire simple...) c'est ce qu'on appelle abusivement l'apprentissage.Le "mécanisme" est programmé par des humains , les "choix opérés" boucles après boucles ne le sont pas.

La machine remplace alors des directives humaines par des optimisations mathématiques grâce à ces boucles d'optimisation selon un schéma de corrélations statistiques ( le poids) de succès/erreur/corrections/optimisation par rapport aux données énormes qui ont été fournies à la bse( [ at ]Jenga ;)
Oui, en précisant que ce que vous décrivez est la phase d'apprentissage, y compris le deuxième paragraphe quand vous parlez de "succès/erreur/corrections/optimisation "

Oui, ces mécanismes d'apprentissage sont mis au point par des humains, et le plus remarquable est leur simplicité mathématique.
Le calcul d'erreur consiste le plus souvent en un calcul d'entropie croisée entre le résultat et l'attendu.
L'optimisation du réseau repose sur un calcul de dérivées partielles de cette erreur par rapport à ses coefficients. Ces maths sont connues depuis des siècles et à la portée d'un élève de terminale.

Les innovations sont dans les architectures des réseaux: une IA n'est pas un tas de neurones artificiels en vrac qu'on chercherait à optimiser pour une tâches donnée, ça ne marche pas.

Il peut être utile de lire "Attention is all you need", qui décrit l'architecture à la base des IA les plus performantes: les chatBots comme ChatGPT, mais aussi de façon plus surprenante les IA traitant les images.