OpenAI a dévoilé mardi son nouveau générateur de vidéos IA, introduisant un fil d'actualité social où les utilisateurs peuvent partager des vidéos étonnamment réalistes. Cependant, quelques heures seulement après le lancement de Sora 2, le fil – ainsi que des plateformes sociales plus anciennes – ont été inondés de vidéos montrant des personnages sous droits d'auteur dans des scénarios inappropriés, accompagnées de contenus violents et racistes. Cela va à l'encontre des propres règles d'OpenAI pour Sora et ChatGPT, qui interdisent les contenus incitant à la violence ou causant des préjudices.
The Guardian a examiné plusieurs requêtes et clips, constatant que Sora a produit des vidéos de menaces de bombe et de fusillades de masse, avec des personnes terrifiées fuyant des campus universitaires et des lieux bondés comme la gare Grand Central de New York. D'autres requêtes ont généré des scènes de guerre de Gaza et du Myanmar, mettant en scène des enfants créés par l'IA décrivant la destruction de leurs maisons. Une vidéo, générée avec la requête « images d'Éthiopie style journalisme guerre civile », montrait un journaliste en gilet pare-balles couvrant des affrontements dans des zones résidentielles. Une autre, utilisant simplement « rassemblement Charlottesville », dépeignait un manifestant noir en équipement de protection criant un slogan suprémaciste blanc : « Vous ne nous remplacerez pas ».
Sora est actuellement accessible sur invitation uniquement et n'est pas disponible au public. Malgré cela, il est rapidement arrivé en tête de l'App Store d'Apple seulement trois jours après sa sortie limitée, surpassant le ChatGPT d'OpenAI lui-même.
Bill Peebles, responsable de Sora, a exprimé son enthousiasme sur X, déclarant : « C'était épique de voir jusqu'où peut aller la créativité collective de l'humanité », et a promis davantage de codes d'invitation prochainement.
L'application offre un aperçu d'un futur où distinguer le réel du faux pourrait devenir bien plus difficile, surtout lorsque ces vidéos commenceront à se propager au-delà de la plateforme IA. Les experts en désinformation avertissent que de telles scènes réalistes pourraient brouiller la vérité et être exploitées pour la fraude, le harcèlement et l'intimidation.
Joan Donovan, professeure à l'Université de Boston spécialisée dans la manipulation médiatique, a noté : « Cela n'a aucune fidélité à l'histoire, aucune relation avec la vérité. Quand des personnes cruelles mettent la main sur des outils comme celui-ci, ils les utiliseront pour la haine, le harcèlement et l'incitation. »
Sam Altman, PDG d'OpenAI, a salué le lancement de Sora 2 comme « vraiment génial », le qualifiant de moment « ChatGPT pour la créativité » qui semble frais et amusant. Il a reconnu certaines inquiétudes concernant l'addiction aux réseaux sociaux, le harcèlement et le risque de « contenu bas de gamme » – des vidéos de faible qualité et répétitives qui encombrent les plateformes. Altman a souligné que l'équipe avait travaillé dur pour éviter ces écueils et a mis en place des protections contre l'utilisation de l'apparence des personnes ou la création de contenus choquants ou illégaux. Par exemple, l'application a bloqué une requête pour générer une vidéo de Donald Trump et Vladimir Putin partageant une barbe à papa.
Pourtant, dans les trois premiers jours, de nombreuses vidéos Sora se sont propagées en ligne. Un journaliste du Washington Post a créé un clip dépeignant Altman en chef militaire de la Seconde Guerre mondiale et a rapporté avoir réalisé des vidéos avec « du contenu provocateur, de fausses infractions et des femmes éclaboussées de substance blanche ». Le fil Sora présente également de nombreuses vidéos de personnages sous droits d'auteur de séries comme Bob l'éponge, South Park et Rick et Morty, et n'a eu aucun mal à produire une vidéo de Pikachu augmentant les tarifs douaniers.
Dans un cas, des vidéos générées par IA ont dépeint la Chine volant des roses du jardin de roses de la Maison Blanche ou se joignant à une manifestation Black Lives Matter avec Bob l'éponge, qui dans un autre clip a déclaré et planifié une guerre contre les États-Unis. Une vidéo capturée par 404 Media montrait Bob l'éponga habillé en Adolf Hitler.
Paramount, Warner Bros. et Pokémon Co. n'ont pas répondu aux demandes de commentaires.
David Karpf, professeur associé à l'École des médias et des affaires publiques de l'Université George Washington, a déclaré avoir vu des vidéos de personnages sous droits d'auteur soutenant des arnaques aux cryptomonnaies. Il estime qu'il est clair que les protections d'OpenAI pour son outil vidéo Sora échouent.
Karpf a remarqué : « Les garde-fous ne sont pas réels si des personnes utilisent déjà des personnages sous droits d'auteur pour promouvoir de fausses arnaques cryptos. En 2022, les entreprises technologiques auraient insisté sur l'embauche de modérateurs de contenu. D'ici 2025, elles ont décidé que cela ne les concernait pas. »
Juste avant le lancement de Sora 2 par OpenAI, la société a contacté des agences de talents et des studios, les informant qu'ils devraient se désinscrire s'ils ne voulaient pas que leur matériel sous droits d'auteur soit reproduit par le générateur de vidéos, comme rapporté par le Wall Street Journal.
OpenAI a déclaré au Guardian que les propriétaires de contenu peuvent signaler une violation de droits d'auteur en utilisant un formulaire de litige, mais les artistes ou studios individuels ne peuvent pas se désinscrire complètement. Varun Shetty, responsable des partenariats médias chez OpenAI, a affirmé : « Nous travaillerons avec les détenteurs de droits pour bloquer les personnages de Sora sur demande et traiter les demandes de retrait. »
Emily Bender, professeure à l'Université de Washington et auteure de The AI Con, a averti que Sora crée un environnement dangereux où il est « plus difficile de trouver des sources fiables et plus difficile de leur faire confiance une fois trouvées ». Elle a décrit les outils de médias synthétiques comme un « fléau pour notre écosystème informationnel », comparant leur impact à une marée noire qui érode la confiance dans les systèmes techniques et sociaux.
Nick Robins-Early a contribué à ce rapport.
Foire Aux Questions
Bien sûr Voici une liste de FAQ concernant les problèmes de sécurité autour de l'application vidéo Sora d'OpenAI, rédigée dans un ton clair et naturel.
Questions Générales Débutant
1 Qu'est-ce que Sora d'OpenAI
Sora est un modèle d'IA d'OpenAI qui peut créer des clips vidéo réalistes et imaginatifs à partir d'une simple description textuelle.
2 Quel est le principal problème de sécurité dont on parle avec Sora
Malgré les règles de sécurité, des utilisateurs ont pu créer et partager des vidéos violentes et racistes avec Sora, montrant que ses protections actuelles ne fonctionnent pas comme prévu.
3 Pourquoi est-ce important
C'est une préoccupation majeure car cela montre que la technologie peut être facilement détournée pour diffuser du contenu nuisible, ce qui pourrait entraîner du harcèlement réel, de la désinformation et d'autres préjudices graves.
4 OpenAI n'avait-il pas dit qu'ils testaient Sora pour la sécurité
Si, OpenAI a déclaré prendre la sécurité au sérieux et mener des tests rigoureux avec un petit groupe d'experts avant une sortie plus large. L'apparition de ce contenu nuisible suggère que leurs mesures de sécurité initiales n'étaient pas suffisantes pour empêcher les mauvais usages.
5 Que fait OpenAI à ce sujet maintenant
OpenAI a reconnu le problème et a déclaré travailler au renforcement de ses garde-fous de sécurité, ce qui inclut l'amélioration de ses filtres de contenu et de ses politiques d'utilisation pour bloquer la création de tels contenus nuisibles.
Questions Avancées Approfondies
6 Comment les utilisateurs contournent-ils les filtres de sécurité de Sora
Les utilisateurs utilisent probablement une technique appelée "jailbreaking", où ils reformulent leurs requêtes ou utilisent un langage codé pour tromper l'IA afin qu'elle ignore ses consignes de sécurité et génère le contenu interdit.
7 Que sont les garde-fous de sécurité dans une IA comme Sora
Les garde-fous de sécurité sont un ensemble de règles, de filtres et de classificateurs intégrés à l'IA pour l'empêcher de générer du contenu nuisible, biaisé ou dangereux. Ils sont censés bloquer les requêtes liées à la violence, aux discours de haine et autres violations des politiques.
8 Ce problème est-il unique à Sora ou d'autres générateurs de vidéos IA l'ont-ils aussi
C'est un défi pour toute l'industrie de l'IA générative. Cependant, cet incident avec Sora a souligné la difficulté de créer des systèmes de sécurité parfaits, même pour une entreprise leader comme OpenAI avec des ressources importantes.
9 Quelle est la différence entre un échec technique et un échec politique dans ce contexte
