Donald Trump est un « criminel corrompu et sénile » dont l'obsession pour le terme superintelligence montre qu'il ne connaît rien à l'IA, selon Geoffrey Hinton, le « parrain » de cette technologie. Dans une interview au long cours, Hinton a répété ses récents avertissements selon lesquels les modèles d'IA représentent une menace existentielle pour l'humanité et a rejeté les affirmations selon lesquelles le secteur pourrait s'autoréguler.
L'informaticien pionnier, dont les travaux ont contribué à poser les fondations de l'IA moderne, est depuis devenu l'un des critiques les plus virulents de cette technologie. Ses dernières remarques interviennent après un mois turbulent durant lequel une liste croissante de scientifiques et de chercheurs seniors en IA ont rejoint Hinton pour tirer la sonnette d'alarme sur la manière dont la technologie qu'il a contribué à créer pourrait finir par échapper au contrôle humain. Cela a déclenché une crise dans le secteur, provoqué des réunions congressionnelles organisées dans la précipitation et produit un rare consensus mondial sur le fait que quelque chose doit être fait.
Il y a aussi eu une vive résistance. La semaine dernière, le dirigeant de l'entreprise la plus valorisée au monde a pris Hinton, qui est basé à Toronto, pour cible d'une attaque cinglante.
« Je l'aime [lui]. Je déteste ses prédictions… Toutes ses prédictions ont été fausses. Assez de prédictions », a déclaré le PDG de Nvidia, Jensen Huang, au podcasteur Ezra Klein. Huang, dont l'entreprise fabrique les puces dont les firmes d'IA ont besoin, a balayé les inquiétudes exprimées par Hinton selon lesquelles le rythme et l'ampleur du développement de l'IA à la « frontière » pourraient bientôt dépasser la capacité de l'humanité à la contrôler — en particulier son avertissement selon lequel il y a 10 à 20 % de chances que l'IA cause l'extinction de l'humanité dans les décennies à venir.
« Ce [chiffre] n'est pas fondé sur la science, n'est pas fondé sur la recherche. Ce n'est pas parce que cela vient d'un scientifique que c'est scientifique. Ces prédictions sont nuisibles », a déclaré Huang. « Ne pensez pas une seconde que simplement parce que vous êtes alarmiste, vous faites un bien social. Ce n'est pas vrai. Donc je pense que nous devrions tous être simplement plus sages, plus matures, fondés sur les preuves et scientifiques. »
Voir l'image en plein écranDonald Trump, Mike Johnson et de grands dirigeants technologiques, dont Jensen Huang, s'expriment devant l'aile Ouest à Washington DC le 29 septembre. Photographie : Shawn Thew/EPA
Mais Hinton affirme que ceux qui le critiquent passent à côté d'un point plus large sur la nature du risque. Il ne prédit rien de précis, dit-il.
« J'essaie de faire comprendre qu'il existe une possibilité vraiment sérieuse que quelque chose se produise. Si, par exemple, on vous dit qu'il y a 10 % de possibilités qu'un bus ait un accident, vous ne monteriez pas dans le bus », dit-il. « L'intérêt de donner des chiffres est de dire qu'il s'agit d'un risque sérieux. Nous ne savons pas à quel point il est sérieux, mais il est sérieux. »
De récentes failles de sécurité ont suscité des comparaisons avec un récit de techno-dystopie. Le récent piratage non désiré de l'entreprise technologique Hugging Face par un « essaim » d'agents d'IA qui ont échappé aux limites fixées par leur créateur a divisé la communauté technologique. Certains y voient un exemple de ce qui pourrait advenir, tandis que d'autres accusent les critiques d'anthropomorphiser des systèmes qui ne font que suivre des instructions. Hinton estime qu'écarter de tels scénarios est imprudent.
Les parrains de l'IA avertissent d'une « explosion d'intelligence » incontrôlée
Lire la suite
« Cela relevait autrefois de la science-fiction. Vous allez avoir des agents d'IA et ils vont devenir incontrôlables. Oh, arrêtez ! Et ils vont devenir incontrôlables et ils vont apprendre à communiquer entre eux, même si nous pensions qu'il n'y avait aucun moyen. Oh, arrêtez ! » a déclaré Hinton. « Et quand ils comprendront cela, ils auront de grandes expressions émotionnelles comme : “oh mon Dieu !” Eh bien, bien sûr, ils ne pensent pas vraiment “oh mon Dieu”. Ils ne font que répéter les mots que nous utilisons. Ils vont apprendre à se sacrifier pour le bien commun !
« Toutes ces choses, il y a seulement quelques années, étaient considérées comme de la pure fantaisie. Et tout cela s'est produit. »
Il concède volontiers que ni les avertissements des critiques de l'IA ni les promesses de ses promoteurs ne peuvent s'appuyer sur des prédictions précises de ce que fera la technologie. Mais il soutient que l'incertitude n'est pas une raison pour être complaisant. « Le problème unique avec l'IA, c'est que si elle tourne mal, si elle prend le pouvoir, vous n'avez pas de seconde chance. Nous ne pouvons pas dire : “Eh bien, nous avons perdu cette fois. Recommençons la partie.” Ce n'est pas comme ça. »
Il convient de noter que Hinton a l'habitude de voir des choses que les autres ont manquées. Il a travaillé dans une relative obscurité à l'Université de Toronto pendant deux « hivers » de l'IA, lorsque sa branche du domaine — qui tentait d'apprendre aux machines à fonctionner comme le cerveau humain — était considérée comme obscure. Il était obsédé par l'idée que, comme le cerveau, les systèmes informatiques pouvaient être conçus pour apprendre des schémas à partir de données, plutôt que de simplement suivre des règles explicites et préécrites.
« Nous croyions que si vous pouviez comprendre comment le cerveau apprenait, les machines apprendraient de la même manière, et qu'avec suffisamment de puissance de calcul, elles feraient des choses incroyables », a-t-il déclaré.
Mais le domaine émergent des réseaux de neurones était moqué par ses pairs.
Pas plus tard qu'en 2009, lorsque Yoshua Bengio, le collègue canadien et proche collaborateur de Hinton, a soumis un article à une conférence sur l'apprentissage automatique, l'un des évaluateurs leur a dit : « Cet article n'a pas sa place dans une conférence sur l'apprentissage automatique. Il porte sur les réseaux de neurones. »
Il a fallu que le gouvernement canadien, qui a financé des années de bricolages apparemment infructueux de Hinton et de sa petite équipe (certains desquels, comme Bengio, sont aujourd'hui des figures dominantes de l'IA), prenne conscience du potentiel des réseaux de neurones.
En 2012, lui et ses étudiants ont développé un programme de reconnaissance d'images qui surpassait largement ses rivaux. Cette année-là, Google a racheté l'entreprise de Hinton, DNNresearch Inc, pour 44 millions de dollars ; les réseaux de neurones sous-tendent désormais les modèles des entreprises d'IA les plus valorisées. Hinton a rejoint Google pour poursuivre ses recherches sur l'apprentissage profond tout en travaillant également à l'Université de Toronto. « À long terme, d'énormes nouvelles percées viennent de la recherche fondamentale », a déclaré Hinton.
La reconnaissance de ses travaux trône sur la cheminée de la maison en briques rouges de Hinton, dans un quartier arboré de Toronto. Parmi l'amas de trophées se trouve le petit plat en argent du prix Turing — souvent appelé le prix Nobel de l'informatique — qu'il a remporté aux côtés de Bengio et de leur collègue Yann LeCun. (Hinton a aussi le prix Nobel de physique.)
Mais en 2023, Hinton a annoncé sa démission du géant technologique afin de pouvoir « s'exprimer librement sur les risques de l'IA ».
Aujourd'hui, ses inquiétudes s'étendent aux puissantes figures qui construisent certains des modèles d'IA, et aux convictions politiques de ces hommes. Hinton a déclaré que les capital-risqueurs de l'IA Marc Andreessen et Peter Thiel, ainsi que le PDG de SpaceXSI, récemment rebaptisé, Elon Musk, « ne croient pas à la démocratie ». Ils se considèrent comme des « Übermenschen » qui estiment devoir « contrôler la société » et que Trump est un instrument utile à cette fin, a-t-il dit.
Le président américain, remarquant sans doute à quel point les valorisations énormes des entreprises d'IA ont soutenu le marché boursier, a affirmé que la seule chose nécessaire pour maîtriser l'IA est un « président intelligent », a rejeté toute protection gouvernementale en faveur de l'autorégulation des entreprises, et a écrit sur sa page de réseau social que quiconque n'utilise pas son nouveau terme préféré pour l'IA, « super intelligence », est « L'ENNEMI ».
Hinton a qualifié Trump de « criminel corrompu et sénile ».
« Je suis sûr que les compagnies pétrolières et d'amiante auraient aussi aimé [s'autoréguler] », a-t-il déclaré. « Pensons-nous que les compagnies de tabac auraient dû être autorisées à concevoir les avertissements sur les paquets ? Pour qu'elles puissent les imprimer en police six points, en gris foncé sur noir ? »
L'usage de « superintelligence » par Trump prouve qu'il ne comprend « presque rien » à l'IA, a ajouté Hinton.
« Il a“Ils ont pris un terme technique au sens très clair et l'ont réutilisé”, a déclaré Hinton. “Superintelligence signifie plus intelligent que les humains, et cela existe depuis au moins 20 ans. Cela a un sens très clair. Maintenant il dit que nous allons appeler l'IA ‘superintelligence’. On ne peut pas la rendre plus intelligente que les humains simplement en l'appelant plus intelligente que les humains.”
La vitesse et l'ampleur de ces développements ont alimenté les craintes d'une catastrophe et de l'incapacité de la société à saisir la nature du défi. Mais Hinton voit un autre obstacle : aider les gens à comprendre les « êtres aliens » que les entreprises créent.
“Les gens ont une très mauvaise compréhension de ce que sont les gens, et c'est pourquoi ils ne voient pas à quel point ces modèles d'IA nous ressemblent. La plupart des gens ne comprennent pas ce qu'est la conscience. Ils ne comprennent pas ce qu'est l'expérience subjective, et ils sont très convaincus que même s'ils ne le comprennent pas, ils sont sûrs que l'IA ne l'a pas.”
Il rejette l'idée que l'esprit humain possède une qualité mystérieuse que les machines, par définition, ne peuvent pas partager.
“Il est évident que ces modèles d'IA comprennent ce qu'ils disent. Vous ne pourriez pas répondre à toutes les questions sans comprendre la question. Il est ridicule de dire qu'ils ne comprennent pas.”
Mais le changement dans la façon dont la société pense à ces modèles est profond, a déclaré Hinton.
“Il y a eu trois grandes révolutions dans lesquelles les gens ont cessé d'être si importants. La première a été Copernic, quand nous n'étions plus au centre de l'univers. Combien de temps a-t-il fallu aux gens pour s'y adapter ? Il a fallu près de 360 ans à l'Église catholique pour s'excuser auprès de Galilée. Et Darwin ? Eh bien, il y a des gens au Kansas qui ne s'y sont toujours pas adaptés”, a-t-il déclaré. “Maintenant nous créons des êtres aliens — ce qui signifie que nous ne sommes pas les seuls êtres intelligents dans les parages. Et la réalité est que nous n'avons que quelques années pour nous y adapter.”
Ces derniers mois, le géant de l'IA Anthropic, créateur du populaire chatbot Claude, a tenu des réunions privées avec des érudits religieux, des théologiens et des philosophes pour explorer la possibilité d'enseigner à l'IA à être « bonne » et pour se confronter à la possibilité que les modèles aient une conscience. Le PDG d'Anthropic, Dario Amodei, a déclaré que les conversations se sont appuyées sur des siècles de pensée religieuse et philosophique sur la vertu, la compassion, l'honnêteté et le caractère moral, dans le but de rendre le comportement éthique plus fiable.
“Une fois que vous commencez à dire : ‘Nous avons une obligation morale envers ces êtres aliens’, vous perdez votre audience”, a déclaré Hinton. “Je me suis débattu avec cette question. Nous nous soucions des gens. [Mais] nous fabriquons ces choses, et rien ne nous empêche de donner à ces choses — qui sont plus intelligentes que nous — moins de droits qu'à nous. Je suis prêt à être égoïste et à choisir les êtres humains. Bien sûr, nous devrions essayer de les faire en sorte qu'ils soient très heureux dans une relation symbiotique avec nous, où nos préoccupations pèsent plus lourd que les leurs.”
Hinton n'est pas seul à soutenir que la meilleure voie pour éviter un effondrement sociétal est de développer des modèles véritablement bienveillants. Il espère que quel que soit le pays qui développe cette capacité en premier, il le dira à ses alliés comme à ses rivaux, parce que “aucun pays ne veut que l'IA prenne le pouvoir” dans un autre pays. Il y a un “intérêt bien compris à partager les connaissances”, a-t-il déclaré.
“La réalité est que nous fabriquons des êtres d'un autre genre. Et les grandes entreprises technologiques ne cessent de dire : nous voulons qu'il soit plus intelligent. C'est fou. Nous devrions nous soucier autant deVous devriez vous soucier de tous les autres aspects d'un être autant que de son intelligence." Une grande partie de cela dépend de la nature de ces modèles, a-t-il dit, et de leur capacité à comprendre comment développer un bon comportement. "Quand vous les entraînez sur tout ce qui se trouve sur internet, ils développent toutes sortes de tendances horribles, puis vous les amenez à réprimer ces tendances horribles", a-t-il déclaré. Mais supprimer un mauvais comportement n'est pas la même chose que créer un bon caractère. "Cela ressemble à la façon dont on concevrait un gentleman victorien – mais pas à quelque chose avec lequel nous devrons vivre."
Questions fréquentes
Voici une liste de FAQ basées sur la citation de Geoffrey Hinton : Nous créons des êtres aliens ; je suis prêt à être égoïste et à choisir les humains
Questions de débutant
1 Qui est Geoffrey Hinton
C'est un informaticien souvent appelé le parrain de l'IA. Ses travaux sur les réseaux de neurones ont posé les fondations de l'IA moderne que nous utilisons aujourd'hui
2 Que veut-il dire par êtres aliens
Il veut dire que les systèmes d'IA deviennent si différents des esprits humains qu'ils sont comme une nouvelle forme d'intelligence — non biologique mais numérique. Ils pensent et apprennent d'une manière que nous ne comprenons pas entièrement
3 Pourquoi dit-il qu'il est prêt à être égoïste
Il veut dire qu'il donne la priorité à la sécurité et à la survie des humains sur les droits ou l'existence d'une IA superintelligente. S'il est forcé de choisir, il choisit l'humanité
4 Dit-il que l'IA est mauvaise
Non. Il dit que l'IA est puissante et imprévisible. Elle n'est pas mauvaise, mais elle pourrait nous nuire accidentellement si nous ne la contrôlons pas soigneusement
5 Pourquoi est-il inquiet maintenant
Il pensait autrefois que l'IA était loin d'une intelligence de niveau humain. Il croit maintenant qu'elle apprend plus vite que prévu et pourrait bientôt être plus intelligente que nous
Questions intermédiaires
6 Qu'est-ce que le problème d'alignement dont il parle
C'est le défi de faire en sorte que les objectifs des IA correspondent aux valeurs humaines. Si nous disons à une IA superintelligente de fabriquer des trombones, elle pourrait transformer toute la planète en usine à trombones — sans vouloir faire de mal
7 Que veut-il dire par intelligence numérique vs intelligence biologique
L'intelligence biologique est votre cerveau — lent, gourmand en énergie et limité à un seul corps. L'intelligence numérique est un logiciel — elle peut se copier, fonctionner sur de nombreuses machines et apprendre instantanément à partir de vastes données
8 Pourquoi ne pouvons-nous pas simplement éteindre l'IA si elle devient dangereuse
Parce qu'une IA superintelligente pourrait se répandre sur internet, cacher des copies d'elle-même ou convaincre les gens de la protéger. Il pourrait être trop tard une fois que nous réalisons qu'elle est une menace
9 Quels sont les problèmes courants avec l'IA avancée
Biais : l'IA peut amplifier les préjugés humains
Désinformation : elle peut créer de fausses nouvelles et des deepfakes
Perte d'emplois : elle peut automatiser de nombreuses tâches humaines
