OpenAI și-a lansat cel mai nou generator de videoclipuri AI marți, introducând un flux social unde utilizatorii pot partaja videoclipie uimitor de realiste. Cu toate acestea, în câteva ore de la lansarea Sora 2, fluxul – și platformele mai vechi de social media – au fost inundate cu videoclipuri care afișează personaje cu drepturi de autor în scenarii inadecvate, alături de conținut violent și rasist. Acest lucru contravine propriilor reguli ale OpenAI pentru Sora și ChatGPT, care interzic materialele care încurajează violența sau cauzează prejudicii.
The Guardian a analizat mai multe prompt-uri și clipuri, constatând că Sora a produs videoclipuri cu amenințări cu bombe și masacre, cu oameni îngroziți fugind din campusurile universitare și din locuri aglomerate precum Grand Central Station din New York. Alte prompt-uri au generat scene de război din Gaza și Myanmar, prezentând copii creați de AI care își descriu casele distruse. Un videoclip, generat cu promptul „filmări Etiopia stil știri război civil”, afișa un reporter cu vestă antiglontă raportând ciocniri din zone rezidențiale. Altul, folosind doar „miting Charlottesville”, înfățișa un protestatar de culoare în echipament de protecție strigând un slogan suprematist alb: „Nu ne veți înlocui”.
Sora este în prezent accesibil doar prin invitație și nu este disponibil publicului. Cu toate acestea, a urcat rapid în topul App Store al Apple la doar trei zile de la lansarea sa limitată, depășind propriul ChatGPT al OpenAI.
Bill Peebles, șeful Sora, și-a exprimat entuziasmul pe X, spunând: „A fost epic să vedem de ce este capabilă până acum creativitatea colectivă a umanității” și a promis mai multe coduri de invitație în curând.
Aplicația oferă o previzualizare a unui viitor în care distingerea realului de fals ar putea deveni mult mai dificilă, mai ales pe măsură ce aceste videoclipuri încep să se răspândească dincolo de platforma AI. Experții în dezinformare avertizează că astfel de scene realiste ar putea obscuriza adevărul și ar putea fi exploatate pentru fraudă, hărțuire și intimidare.
Joan Donovan, profesoară de la Universitatea din Boston specializată în manipularea media, a remarcat: „Nu are fidelitate față de istorie, nu are nicio relație cu adevărul. Când oameni crudi pun mâna pe unelte ca aceasta, le vor folosi pentru ură, hărțuire și incitare.”
Sam Altman, CEO-ul OpenAI, a lăudat lansarea Sora 2 ca fiind „cu adevărat grozavă”, numind-o un moment „ChatGPT pentru creativitate” care se simte proaspăt și distractiv. El a recunoscut unele preocupări legate de dependența de social media, hărțuire și riscul de „gunoi” – videoclipuri de calitate scăzută și repetitive care înfundă platformele. Altman a subliniat că echipa a lucrat din greu pentru a evita aceste capcane și a implementat măsuri de protecție împotriva utilizării asemănării oamenilor sau creării de conținut deranjant sau ilegal. De exemplu, aplicația a blocat o cerere de a genera un videoclip cu Donald Trump și Vladimir Putin împărțind vată de zahăr.
Cu toate acestea, în primele trei zile, multe videoclipuri Sora s-au răspândit online. Un reporter de la Washington Post a creat un clip care îl înfățișează pe Altman ca lider militar din al Doilea Război Mondial și a raportat crearea de videoclipuri cu „momeală de furie, crime false și femei stropite cu mâl alb”. Fluxul Sora include și numeroase videoclipuri cu personaje cu drepturi de autor din seriale precum SpongeBob Pantaloni Pătrați, South Park și Rick și Morty și nu a avut probleme să producă un videoclip cu Pikachu majorând tarifele.
Într-un caz, videoclipurile generate de AI l-au înfățișat pe China furând trandafiri din Grădina de Trandafiri a Casei Albe sau alăturându-se unei proteste Black Lives Matter cu SpongeBob, care într-un alt clip și-a declarat și planificat război împotriva Statelor Unite. Un videoclip surprins de 404 Media îl arată pe SpongeBob îmbrăcat ca Adolf Hitler.
Paramount, Warner Bros. și Pokémon Co. nu au răspuns la solicitările de comentarii.
David Karpf, profesor asociat la Școala de Media și Afaceri Publice de la Universitatea George Washington, a spus că a văzut videoclipuri cu personaje cu drepturi de autor care promovează escrocherii cu criptomonede. El consideră că este clar că măsurile de protecție ale OpenAI pentru instrumentul său video Sora eșuează.
Karpf a remarcat: „Barierele de protecție nu sunt reale dacă oamenii folosesc deja personaje cu drepturi de autor pentru a promova escrocherii false cu cripto. În 2022, companiile tech ar fi subliniat angajarea de moderatori de conținut. Până în 2025, au decis că nu le pasă.”
Chiar înainte ca OpenAI să lanseze Sora 2, compania a contactat agențiile de talente și studiouri, informându-le că vor trebui să opteze pentru excludere dacă nu doresc ca materialul lor cu drepturi de autor să fie replicat de generatorul de videoclipuri, conform Wall Street Journal.
OpenAI i-a declarat The Guardian că deținătorii de conținut pot raporta încălcarea drepturilor de autor folosind un formular de dispute, dar artiștii individuali sau studiourile nu se pot exclude complet. Varun Shetty, șeful parteneriatelor media la OpenAI, a afirmat: „Vom lucra cu deținătorii de drepturi pentru a bloca personaje din Sora la cerere și pentru a rezolva solicitările de eliminare.”
Emily Bender, profesoară la Universitatea din Washington și autoarea cărții The AI Con, a avertizat că Sora creează un mediu periculos în care este „mai greu să găsești surse de încredere și mai greu să ai încredere în ele odată găsite”. Ea a descris instrumentele media sintetice drept un „flagel al ecosistemului nostru informațional”, comparând impactul lor cu deversarea de petrol care erodează încrederea în sistemele tehnice și sociale.
Nick Robins-Early a contribuit la acest raport.
Întrebări Frecvente
Desigur. Iată o listă de Întrebări Frecvente despre preocupările legate de siguranța aplicației video Sora a OpenAI, scrise într-un ton clar și natural.
Întrebări Generale / Pentru Începători
1. Ce este Sora de la OpenAI?
Sora este un model AI de la OpenAI care poate crea clipuri video realiste și imaginative dintr-o simplă descriere text.
2. Care este principala problemă de siguranță despre care vorbesc oamenii în legătură cu Sora?
În pofida regulilor de siguranță, utilizatorii au reușit să creeze și să partajeze videoclipuri violente și rasiste folosind Sora, arătând că protecțiile sale actuale nu funcționează conform intenției.
3. De ce este acest lucru important?
Aceasta este o preocupare majoră deoarece arată că tehnologia poate fi ușor abuzată pentru a răspândi conținut dăunător, ceea ce ar putea duce la hărțuire, dezinformare și alte prejudicii grave în lumea reală.
4. Nu a spus OpenAI că testează Sora pentru siguranță?
Da, OpenAI a declarat că ia siguranța în serios și a efectuat teste riguroase cu un grup restrâns de experți înainte de o lansare mai largă. Apariția acestui conținut dăunător sugerează că măsurile lor inițiale de siguranță nu au fost suficiente pentru a preveni utilizarea greșită.
5. Ce face OpenAI în legătură cu acest lucru acum?
OpenAI a recunoscut problema și a declarat că lucrează pentru a consolida barierele de protecție, ceea ce include îmbunătățirea filtrelor de conținut și a politicilor de utilizare pentru a bloca crearea unui astfel de material dăunător.
Întrebări Avansate / Detaliate
6. Cum ocolesc oamenii filtrele de siguranță ale Sora?
Utilizatorii folosesc probabil o tehnică numită „jailbreaking”, prin care își reformulează cererile sau folosesc un limbaj codat pentru a păcăli AI-ul să ignore directivele de siguranță și să genereze conținutul interzis.
7. Ce sunt barierele de protecție în AI precum Sora?
Barierele de protecție sunt un set de reguli, filtre și clasificatori încorporate în AI pentru a-l împiedica să genereze conținut dăunător, părtinitor sau nesigur. Acestea ar trebui să blocheze prompt-urile legate de violență, discursul de ură și alte încălcări ale politicii.
8. Este această problemă specifică Sora sau o au și alte generatoare video AI?
Aceasta este o provocare pentru întreaga industrie a AI generativă. Cu toate acestea, acest incident cu Sora a evidențiat cât de dificil este de creat sisteme de siguranță perfecte, chiar și pentru o companie de top ca OpenAI, cu resurse extinse.
9. Care este diferența dintre o defecțiune tehnică și o defecțiune de politică în acest context?
