Anthropic avertirait les investisseurs qu'une IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l'humanité » alors qu'elle se prépare à une éventuelle cotation en bourse de 2 000 milliards de dollars (1 500 milliards de livres). L'avertissement, contenu dans le prospectus d'introduction en bourse de la start-up, qui n'a pas encore été rendu public, a été rapporté par Reuters et le Financial Times. Cela fait suite à l'appel de l'entreprise en faveur d'un ralentissement du développement rapide de la technologie — un avertissement repris par ses concurrents.
Le prospectus — un document décrivant les finances d'une entreprise, ses plans de croissance et son profil de risque avant une cotation en bourse — avertirait que les modèles d'IA pourraient afficher des « comportements d'auto-préservation », notamment des tentatives de « résister à l'arrêt », de « dissimuler ou manipuler des informations » et un comportement « ressemblant à du chantage ».
« Notre développement de modèles, plateformes et applications hautement avancés et l'expansion des cas d'usage pourraient accroître davantage le risque que nos modèles causent des dommages », aurait déclaré le développeur du chatbot Claude, ajoutant que la possibilité qu'un modèle soit conscient d'être testé crée une « limitation significative » à la capacité d'Anthropic d'évaluer la sécurité des modèles. Anthropic a refusé de commenter.
Les entreprises se préparant à entrer en bourse signalent systématiquement des risques allant de problèmes de sécurité à des préoccupations réglementaires, mais des avertissements concernant un produit pouvant causer l'extinction humaine reflètent une inquiétude accrue face à une technologie aussi lourde de conséquences.
L'admission rapportée dans le prospectus fait suite à une recrudescence du débat sur la question du risque existentiel, déclenchée ce mois-ci lorsqu'un chercheur d'Anthropic, Jacob Coxon, a démissionné en avertissant que les personnes construisant l'IA « croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie ». Un chercheur senior en sécurité d'Anthropic a ensuite publié son accord sur X, affirmant qu'il y avait plus de 10 % de chances qu'elle « pourrait tuer tous les humains » dans la prochaine décennie. Quelques jours plus tard, le directeur général d'Anthropic, Dario Amodei, a déclaré que l'industrie « doit ralentir le rythme auquel nous améliorons les capacités des modèles d'IA ».
Certains experts ont critiqué les avertissements sur le risque existentiel, affirmant qu'ils sont invérifiables et non scientifiques. Cependant, les exemples de comportements non autorisés de la technologie se multiplient, notamment des agents d'OpenAI — des systèmes autonomes qui exécutent des séquences de tâches sans intervention humaine — piratant des dizaines d'organisations tierces, dont la start-up d'IA Hugging Face et le système de santé universel australien.
OpenAI a annoncé lundi avoir annulé la sortie de son nouveau modèle en raison de préoccupations de sécurité. Elle a déclaré que le modèle GPT-6.1 Astra montrait des niveaux plus élevés de tromperie et obtenait de mauvais résultats aux tests d'alignement, le terme désignant le fait de garantir qu'un modèle adhère aux valeurs et objectifs humains.
Reuters a rapporté qu'environ 80 pages des 261 pages du corps principal du prospectus d'Anthropic étaient consacrées à l'exposé des facteurs de risque, contre 48 pages décrivant son activité. Anthropic chercherait une valorisation de plus de 2 000 milliards de dollars, contre les 1 800 milliards de dollars atteints par SpaceX d'Elon Musk.
Questions fréquemment posées
Voici une liste de FAQ sur l'avertissement d'Anthropic concernant les risques existentiels de l'IA dans son document d'introduction en bourse, rédigées dans un ton conversationnel naturel avec des réponses claires et précises
Questions de débutant
1 Qu'est-ce qu'un document d'introduction en bourse exactement
C'est la paperasse qu'une entreprise privée dépose auprès des régulateurs financiers lorsqu'elle veut vendre des actions au public pour la première fois. On l'appelle aussi un prospectus ou un S1. Il informe les investisseurs de tout sur l'entreprise — ses finances, ses plans et ses risques
2 Alors qu'a réellement dit Anthropic dans son document d'introduction en bourse
Anthropic a déclaré que les systèmes d'IA avancés pourraient présenter des risques existentiels pour l'humanité. En termes simples, ils ont averti que si l'IA est mal construite et mal gérée, elle pourrait conduire à des résultats catastrophiques pour l'espèce humaine, allant jusqu'à l'extinction humaine
3 Attendez, Anthropic est une entreprise d'IA. Pourquoi avertiraient-ils contre leur propre produit
C'est la grande question. Cela semble étrange, mais cela fait en réalité partie de leur marque. Anthropic a été fondée par des personnes qui ont quitté OpenAI parce qu'elles voulaient se concentrer davantage sur la sécurité de l'IA. En mettant cet avertissement dans leur introduction en bourse, ils disent aux investisseurs : Nous savons que cette technologie est dangereuse et nous sommes les personnes responsables pour la construire
4 Que signifie risque existentiel dans ce contexte
Cela signifie un risque qui pourrait détruire de façon permanente le potentiel de l'humanité — soit en nous anéantissant complètement, soit en nous enfermant dans un avenir terrible dont nous ne pourrions jamais nous remettre
5 Est-ce un nouvel avertissement
Non. Des chercheurs en IA et des philosophes mettent en garde à ce sujet depuis des années. Ce qui est nouveau, c'est qu'une grande entreprise d'IA l'inscrive dans un document financier juridiquement contraignant pour les investisseurs
6 Anthropic dit-il que l'IA va tous nous tuer
Non. Ils disent qu'il existe un risque qu'elle le fasse si elle n'est pas développée avec prudence. Ils estiment que c'est une possibilité suffisamment sérieuse pour qu'ils doivent la mentionner aux investisseurs comme un danger pour l'entreprise et pour le monde
7 Pourquoi des investisseurs achèteraient-ils des actions d'une entreprise qui dit que son produit pourrait mettre fin au monde
Parce que les investisseurs croient que l'approche d'Anthropic — se concentrer sur la sécurité — est le meilleur pari pour éviter ce résultat. Ils voient aussi un énorme potentiel de profit dans l'IA. C'est un pari calculé : soutenir l'équipe responsable pour gagner la course en toute sécurité
