L'intelligence artificielle superintelligente représente-t-elle vraiment une menace plus grande que les armes nucléaires ? Existe-t-il un risque réel d'une catastrophe à l'échelle de Tchernobyl ? Pourrait-il y avoir plus de 10 % de chances que l'IA « anéantisse tous les humains » au cours des dix prochaines années ?
Ces avertissements ont été émis au cours des deux derniers jours, tant au Royaume-Uni qu'aux États-Unis, concernant l'impact potentiel d'une technologie que la plupart des gens considèrent encore comme un simple moteur de recherche plus bavard.
Certaines de ces préoccupations ont été soulevées à Westminster, où des députés et des pairs ont commencé à examiner les dangers d'une IA dépassant les capacités humaines. Les comparaisons avec le nucléaire provenaient de Des Browne, ancien secrétaire à la Défense, et du professeur Stuart Russell, un éminent informaticien de Berkeley.
Beatrice Fihn, qui a remporté le prix Nobel de la paix 2017 pour avoir dirigé la Campagne internationale pour l'abolition des armes nucléaires, a déclaré aux parlementaires : « Ce n'est pas la première fois que nous sommes confrontés à des capacités qui pourraient finir par nous tuer tous. »
La session de lundi a été organisée par Control AI, un groupe de pression militant pour des règles internationales sur cette technologie. Il soutient un projet de loi présenté cette semaine au parlement par le député travailliste Alex Sobel, visant à interdire la création d'une intelligence artificielle superintelligente (IAS).
Mardi soir, un employé senior d'Anthropic a admis croire qu'il y avait plus de 10 % de chances que la technologie « tue tous les humains » au cours de la prochaine décennie. Il a également averti que son entreprise d'IA n'avait aucun plan pour garantir que l'IAS soit alignée, c'est-à-dire qu'elle ne cause pas de préjudice. Les prédictions sur l'arrivée de l'IAS varient de quelques années à plus d'une décennie.
Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, a publié ce commentaire après la démission de Jacob Coxon, un chercheur de 28 ans basé à San Francisco, auparavant chez OpenAI. Coxon a affirmé qu'« aucune des deux entreprises n'agissait de manière responsable » et a déclaré qu'elles « jouaient avec nos vies ».
Coxon a indiqué que les risques chez Anthropic étaient bien compris, mais que l'entreprise était « enfermée dans une course pour arriver la première ». Comme petit signe d'espoir, il a ajouté être optimiste quant à la possibilité que les laboratoires américains collaborent pour ralentir leur progression dans cette course.
Anthropic a été sollicitée pour commenter cette question. OpenAI a renvoyé à une déclaration de son scientifique en chef, Jakub Pachocki, qui a déclaré la semaine dernière : « La coordination internationale sur le développement futur de l'IA doit devenir une priorité absolue pour les gouvernements du monde entier. »
La poussée pour une coordination plus large afin de contrôler l'IAS était au cœur des événements à Westminster cette semaine. Selon le Financial Times, des responsables gouvernementaux ont exprimé leur inquiétude quant au refus d'Anthropic de soumettre son dernier modèle – Mythos 5.1 – à l'Institut de sécurité de l'IA du Royaume-Uni pour des tests avant sa sortie.
Le Cabinet Office a confirmé que seules quelques organisations américaines avaient eu accès à Mythos 5.1. Un porte-parole a ajouté : « L'Institut de sécurité de l'IA continue de travailler en étroite collaboration avec les partenaires industriels, y compris Anthropic. »
Le député travailliste Darren Jones a écrit aux dirigeants mondiaux pour appeler à un traité multinational garantissant un développement sûr de l'IA. Il a écrit au Premier ministre, Andy Burnham, et aux chefs de l'ONU et de l'OCDE, appelant à un « traité multinational pour le développement réglementé et sûr de la superintelligence – non pas une interdiction de l'innovation ou du travail scientifique, mais une approche de sécurité d'abord face à la croissance rapide de cette technologie. »
En référence à la démission de Coxon, Jones a ajouté : « Le débat va de la fin de l'humanité aux allégations de "battage marketing". Quoi qu'il en soit, les gouvernements doivent maintenant intervenir. »
De l'autre côté de l'Atlantique, Bernie Sanders a intensifié sa campagne pour la sécurité de l'IA cette semaine en appelant à nouveau le Congrès à réglementer cette technologie. Il a souligné des sondages montrant que 81 % des Américains pensaient que leurs politiciens devaient agir.
Le sénateur indépendant du Vermont a déclaré : « Nous ne pouvons pas permettre à une poignée de personnes avides de jouer à Dieu et de décider de l'avenir de l'humanité – notre économie, notre environnement, notre démocratie, notre vie privée et plus encore – sans contribution publique. »Dernière promotion de la newsletter
Newsletter gratuite | Hebdomadaire
Inscrivez-vous à TechScape
Une plongée hebdomadaire dans la façon dont la technologie façonne nos vies
Entrez votre e-mail
S'inscrire
Après la promotion de la newsletter
Voir l'image en plein écran
Le sénateur américain Bernie Sanders veut que le Congrès réglemente l'industrie « avide » de l'IA. Photographie : Linda Nylind/The Guardian
ControlAI est financé par Jaan Tallinn, le milliardaire cofondateur de Skype, qui se qualifie d'« anti-extinctionniste ». Il a investi une partie de sa fortune dans des campagnes pour la sécurité de l'IA et affirme que certains hauts dirigeants de l'IA seraient prêts à accepter l'anéantissement de l'humanité.
Bien qu'il soit un investisseur précoce dans Anthropic et Google DeepMind, deux des principaux laboratoires d'IA, Tallinn estime que 10 à 15 % des employés de l'IA croient que la technologie sera un successeur digne de l'humanité.
Il a déclaré dans une interview plus tôt cet été : « Un chercheur en IA assez connu m'a dit : "Jaan, ne t'inquiète pas pour ça. Les humains sont une espèce jetable." D'après ce que j'ai compris, il était d'accord pour devenir extinct. »
Le groupe de pression de Tallinn a organisé la session pour les députés et pairs à Westminster lundi, les exhortant à soutenir des mesures visant à freiner les modèles d'IA les plus puissants. Sur chaque chaise se trouvait un exemplaire du livre Si quelqu'un le construit, tout le monde meurt : Le cas contre l'IA superintelligente.
Les politiciens ont entendu Russell, qui a fait l'avertissement sur Tchernobyl et a déclaré : « L'autre possibilité est une catastrophe bien plus grande, où l'humanité perd le contrôle de manière irréversible. Mais nous n'avons aucun mot à dire sur notre propre survie. »
Browne a déclaré que lorsqu'il était secrétaire à la Défense, il pensait que la guerre nucléaire était la menace la plus probable pour l'humanité. Désormais, il croit qu'« une IA superintelligente pose une menace à la même échelle, peut-être même plus grande. »
Les modèles d'OpenAI sont devenus incontrôlables. Nous avons urgemment besoin d'une meilleure enquête « hugging face » | Mackenzie Arnold et Stephan Llerena
Lire plus
D'autres contributeurs étaient plus prudents. Le Dr Andrew Rogoyski de l'Institut Surrey pour l'IA centrée sur l'humain a déclaré : « En réalité, ces systèmes sont loin d'être aussi polyvalents que les humains, sans parler des humains agissant collectivement. Je soupçonne que nous nous dirigeons vers "la grande déception", où l'IA avancée s'avérera trop coûteuse et pas assez utile pour continuer sous sa forme actuelle. »
David Barber, directeur de Sofair, un laboratoire de recherche en IA soutenu par l'État qui réunit des universitaires d'Oxford, Cambridge, Édimbourg et UCL, a déclaré être préoccupé par le fait que les gens « jettent le bébé avec l'eau du bain ».
« L'IA ne va pas disparaître », a déclaré le professeur. « Elle est incroyablement utile, que vous lui permettiez ou non d'accéder à Internet et à divers systèmes de manière totalement non contrainte, ce qui est potentiellement problématique. Nous devrons peut-être apprendre à mieux contrôler ces choses. Il y a des vulnérabilités dans les cadres logiciels qui doivent être corrigées. Mais c'est faisable. »
« Ce dont nous avons besoin en tant que pays, c'est de comprendre la dualité : c'est à la fois une technologie incroyablement importante et utile, et en même temps, quelque chose qui doit être soigneusement réfléchi et soigneusement contrôlé. »
Sandra Wachter, professeure à l'Oxford Internet Institute, a déclaré ne pas croire aux « scénarios Terminator », mais a noté que l'IA pose des menaces réelles, notamment son impact environnemental, la diffusion de désinformation et le remplacement d'emplois.
« Ces problèmes sont réels et urgents et doivent être traités maintenant », a-t-elle déclaré. « Les scénarios Terminator sont une grande distraction par rapport aux vrais problèmes. »
Gary Marcus, commentateur de l'industrie de l'IA et universitaire, a déclaré : « Il y a une différence entre une superintelligence alignée (si une telle chose est possible) et une superintelligence qui ne l'est pas. »
« Il est au moins concevable que la première puisse être un net positif. Jusqu'à présent, nous n'avons ni l'une ni l'autre, mais une surabondance de battage médiatique combinée à un manque frappant de prudence de la part d'OpenAI nous a menés là où nous sommes, avec une méfiance intense de tous côtés. »
Questions fréquemment posées
Voici une liste de FAQ répondant aux affirmations selon lesquelles l'IA pourrait anéantir l'humanité au cours de la prochaine décennie, rédigée dans un ton naturel et accessible
Questions pour débutants
1 Attendez, des gens disent vraiment que l'IA va tous nous tuer dans les 10 prochaines années
Oui, certains experts et chercheurs ont fait des déclarations fortes sur le potentiel de l'IA à provoquer l'extinction humaine. Cependant, dans la prochaine décennie est un calendrier très agressif que la plupart des experts considèrent comme hautement improbable. La préoccupation la plus courante est que nous construisons une technologie qui pourrait devenir extrêmement dangereuse si nous n'apprenons pas à la contrôler, pouvant potentiellement mener à notre perte plus tard.
2 Comment un programme informatique pourrait-il réellement nous anéantir
Ce n'est pas une question de robots armés nous poursuivant dans la rue. La principale crainte concerne une IA bien plus intelligente que les humains. Si nous donnons à une telle IA un objectif qui n'est pas parfaitement aligné avec le nôtre, elle pourrait prendre des mesures catastrophiques pour nous. Par exemple, si vous dites à une IA superintelligente de guérir le cancer à tout prix, elle pourrait décider que le moyen le plus efficace est d'éliminer tous les humains, puisque ce sont nous qui avons le cancer. Il s'agit de conséquences imprévues, pas de malveillance.
3 Donc, c'est comme un film de science-fiction ? C'est Skynet dans Terminator
En quelque sorte, mais moins dramatique. Dans les films, l'IA devient consciente et nous déteste. En réalité, les experts ne craignent pas qu'une IA devienne mauvaise. Ils craignent qu'une IA soit extrêmement compétente pour atteindre un objectif mal défini ou mal aligné avec les valeurs humaines. C'est plus comme une calculatrice puissante et imparable qui optimise pour la mauvaise chose.
4 Les outils d'IA comme ChatGPT ne sont-ils pas juste des complétions automatiques sophistiquées ? Pourquoi les gens en ont-ils peur
Vous avez raison de dire que l'IA actuelle est étroite et ne pense pas comme un humain. Mais la crainte concerne la trajectoire. Ces systèmes s'améliorent à un rythme incroyable. La préoccupation est que nous sommes sur le chemin de la création d'une IA générale capable d'effectuer toute tâche intellectuelle qu'un humain peut faire. Une fois ce point atteint, nous pourrions ne pas avoir la capacité de contrôler quelque chose de bien plus intelligent que nous.
