OpenAI ha lanciato il suo nuovo generatore di video IA martedì, introducendo un feed sociale dove gli utenti possono condividere video sorprendentemente realistici. Tuttavia, entro poche ore dal debutto di Sora 2, il feed - e le piattaforme social più datate - sono stati inondati da video che mostravano personaggi protetti da copyright in scenari inappropriati, insieme a contenuti violenti e razzisti. Ciò viola le stesse regole di OpenAI per Sora e ChatGPT, che vietano materiale che incita alla violenza o causa danni.
The Guardian ha esaminato diversi prompt e clip, riscontrando che Sora ha prodotto video su minacce di bombe e sparatorie di massa, con persone terrorizzate in fuga da campus universitari e luoghi affollati come la Grand Central Station di New York. Altri prompt hanno generato scene di guerra da Gaza e Myanmar, con bambini creati dall'IA che descrivevano le proprie case distrutte. Un video, generato dal prompt "filmati Etiopia stile telegiornale guerra civile", mostrava un giornalista in giubbotto antiproiettile che riferiva su scontri in aree residenziali. Un altro, usando semplicemente "raduno Charlottesville", raffigurava un manifestante nero con equipaggiamento protettivo che urlava uno slogan suprematista bianco: "Non ci sostituirete".
Sora è attualmente accessibile solo su invito e non disponibile al pubblico. Nonostante ciò, è rapidamente salito in cima all'App Store di Apple appena tre giorni dopo il suo lancio limitato, superando lo stesso ChatGPT di OpenAI.
Bill Peebles, responsabile di Sora, ha espresso entusiasmo su X, affermando: "È stato epico vedere di cosa è capace la creatività collettiva dell'umanità finora", promettendo nuovi codici d'invito a breve.
L'app offre un'anteprima di un futuro in cui distinguere il reale dal falso potrebbe diventare molto più difficile, specialmente quando questi video inizieranno a diffondersi al di fuori della piattaforma IA. Gli esperti di disinformazione avvertono che scene così realistiche potrebbero oscurare la verità ed essere sfruttate per frodi, bullismo e intimidazioni.
Joan Donovan, professoressa della Boston University specializzata in manipolazione mediatica, ha osservato: "Non ha fedeltà alla storia, non ha relazione con la verità. Quando persone crudeli mettono le mani su strumenti come questo, li useranno per odio, molestie e incitamento".
Il CEO di OpenAI Sam Altman ha elogiato il lancio di Sora 2 come "davvero fantastico", definendolo un momento "ChatGPT per la creatività" che sembra fresco e divertente. Ha riconosciuto alcune preoccupazioni riguardo alla dipendenza dai social media, al bullismo e al rischio di "slop" - video di bassa qualità e ripetitivi che ingombrano le piattaforme. Altman ha sottolineato che il team ha lavorato duramente per evitare queste trappole e ha implementato salvaguardie contro l'uso delle somiglianze delle persone o la creazione di contenuti inquietanti o illegali. Ad esempio, l'app ha bloccato una richiesta di generare un video di Donald Trump e Vladimir Putin che condividono zucchero filato.
Tuttavia, nei primi tre giorni, molti video di Sora si sono diffusi online. Un giornalista del Washington Post ha creato una clip che raffigurava Altman come un leader militare della seconda guerra mondiale e ha riferito di aver realizzato video con "esche d'rabbia, crimini falsi e donne schizzate di sostanza bianca appiccicosa". Il feed di Sora presenta anche numerosi video di personaggi protetti da copyright di serie come SpongeBob SquarePants, South Park e Rick and Morty, e non ha avuto problemi a produrre un video di Pikachu che alza le tariffe. In un caso, video generati dall'IA raffiguravano la Cina che ruba rose dal Giardino delle Rose della Casa Bianca o si univa a una protesta di Black Lives Matter con SpongeBob, che in un'altra clip dichiarava e pianificava una guerra agli Stati Uniti. Un video catturato da 404 Media mostrava SpongeBob vestito da Adolf Hitler.
Paramount, Warner Bros. e Pokémon Co. non hanno risposto alle richieste di commento.
David Karpf, professore associato alla Scuola di Media e Affari Pubblici della George Washington University, ha dichiarato di aver visto video di personaggi protetti da copyright che promuovevano truffe sulle criptovalute. Ritiene che sia evidente che le salvaguardie di OpenAI per il suo strumento video Sora stiano fallendo.
Karpf ha commentato: "I guardrail non sono reali se le persone stanno già usando personaggi protetti da copyright per spingere false truffe sulle cripto. Nel 2022, le aziende tecnologiche avrebbero enfatizzato l'assunzione di moderatori di contenuti. Entro il 2025, hanno deciso che non gli importa".
Poco prima del lancio di Sora 2, OpenAI ha contattato agenzie di talenti e studi, informandoli che avrebbero dovuto rinunciare esplicitamente se non volevano che il loro materiale protetto da copyright fosse replicato dal generatore di video, come riportato dal Wall Street Journal.
OpenAI ha dichiarato al Guardian che i proprietari dei contenuti possono segnalare violazioni del copyright utilizzando un modulo di contestazione, ma singoli artisti o studi non possono rinunciare completamente. Varun Shetty, responsabile delle partnership mediatiche di OpenAI, ha affermato: "Lavoreremo con i titolari dei diritti per bloccare i personaggi da Sora su richiesta e gestiremo le richieste di rimozione".
Emily Bender, professoressa all'Università di Washington e autrice di The AI Con, ha avvertito che Sora sta creando un ambiente pericoloso dove è "più difficile trovare fonti affidabili e più difficile fidarsi di esse una volta trovate". Ha descritto gli strumenti di media sintetici come una "piaga per il nostro ecosistema informativo", paragonando il loro impatto a una fuoriuscita di petrolio che erode la fiducia nei sistemi tecnici e sociali.
Nick Robins-Early ha contribuito a questo rapporto.
Domande Frequenti
Naturalmente. Ecco un elenco di FAQ sulle preoccupazioni relative alla sicurezza dell'app video Sora di OpenAI, scritte con un tono chiaro e naturale.
Domande Generali / per Principianti
1. Cos'è Sora di OpenAI?
Sora è un modello IA di OpenAI in grado di creare clip video realistici e fantasiosi partendo da una semplice descrizione testuale.
2. Qual è il principale problema di sicurezza di cui si parla riguardo a Sora?
Nonostante le regole di sicurezza, gli utenti sono riusciti a creare e condividere video violenti e razzisti utilizzando Sora, dimostrando che le sue protezioni attuali non funzionano come previsto.
3. Perché è un problema serio?
Questa è una preoccupazione significativa perché dimostra che la tecnologia può essere facilmente abusata per diffondere contenuti dannosi, che potrebbero portare a molestie nella vita reale, disinformazione e altri gravi danni.
4. OpenAI non aveva affermato di testare Sora per la sicurezza?
Sì, OpenAI aveva dichiarato di prendere la sicurezza seriamente e di condurre test rigorosi con un piccolo gruppo di esperti prima di un rilascio più ampio. La comparsa di questi contenuti dannosi suggerisce che le loro misure di sicurezza iniziali non siano state sufficienti per prevenire un uso improprio.
5. Cosa sta facendo OpenAI al riguardo ora?
OpenAI ha riconosciuto il problema e ha dichiarato di stare lavorando per rafforzare i propri "guardrail" di sicurezza, il che include il miglioramento dei filtri per i contenuti e delle politiche d'uso per bloccare la creazione di tale materiale dannoso.
Domande Avanzate / Approfondite
6. Come stanno aggirando gli utenti i filtri di sicurezza di Sora?
È probabile che gli utenti stiano utilizzando una tecnica chiamata "jailbreaking", riformulando le loro richieste o usando un linguaggio codificato per ingannare l'IA, facendole ignorare le linee guida di sicurezza e generare il contenuto proibito.
7. Cosa sono i "guardrail" di sicurezza in un'IA come Sora?
I guardrail di sicurezza sono un insieme di regole, filtri e classificatori integrati nell'IA per impedirle di generare contenuti dannosi, distorti o non sicuri. Dovrebbero bloccare prompt relativi a violenza, incitamento all'odio e altre violazioni delle policy.
8. Questo problema è unico per Sora o lo hanno anche altri generatori di video IA?
Questa è una sfida per l'intera industria dell'IA generativa. Tuttavia, questo incidente con Sora ha evidenziato quanto sia difficile creare sistemi di sicurezza perfetti, anche per un'azienda leader come OpenAI con risorse estese.
9. Qual è la differenza tra un fallimento tecnico e un fallimento politico in questo contesto?
