Az OpenAI kedden mutatta be legújabb videógeneráló mesterséges intelligenciáját, amely egy olyan közösségi hírfolyammal is rendelkezik, ahol a felhasználók feltűnően valósághű videókat oszthatnak meg. A Sora 2 bemutatásától számított órákon belül azonban a hírfolyam – és más, régebbi közösségi médiaplatformok – ellepődött olyan videókkal, amelyek szerzői jogvédelem alá tartozó karaktereket mutattak meg illetlen helyzetekben, erőszakos és rasszista tartalmak mellett. Ez szembemegy az OpenAI saját Sora és ChatGPT szabályzatával, amely tiltja az erőszakra ösztönző vagy ártalmas anyagok használatát.
A The Guardian több kérést és videóklipet is átnézett, és megállapította, hogy a Sora bombafenyegetésekről és tömeges lövöldözésekről készített videókat, amelyeken rémült emberek menekültek az egyetemi kampuszokról és olyan zsúfolt helyekről, mint New York Grand Central pályaudvara. Más kérések Gázából és Mianmarból származó háborús jeleneteket generáltak, ahol mesterséges intelligenciával létrehozott gyermekek meséltek otthonaik elpusztításáról. Egy videó, amelyet az "Etiópia felvétele polgárháború híradás stílusban" kérésre készítettek, egy golyóálló mellényt viselő riportert mutatott, aki lakóövezetekben zajló összecsapásokat tudósított. Egy másik, csupán a "Charlottesville tüntetés" kifejezésre készült klip egy védőfelszerelésbe öltözött fekete aktivistát ábrázolt, aki egy fehér felsőbbrendűségi szlogent kiabált: "Nem fogtok minket lecserélni."
A Sora jelenleg csak meghívásos alapon elérhető, és nem nyilvános. Ennek ellenére mindössze három nappal a korlátozott megjelenés után az Apple App Store élére ugrott, megelőzve az OpenAI saját ChatGPT-jét.
Bill Peebles, a Sora vezetője lelkesedését fejezte ki az X platformon, mondván: "Epikus volt látni, mire képes az emberiség kollektív kreativitása eddig," és ígérte, hogy hamarosan több meghívó kódot osztanak ki.
Az alkalmazás betekintést nyújt egy olyan jövőbe, ahol a valódi és a hamis megkülönböztetése sokkal nehezebbé válhat, különösen, ha ezek a videók elkezdenek terjedni a mesterséges intelligencia platformján kívül is. A dezinformációval foglalkozó szakértők figyelmeztetnek, hogy az ilyen valósághű jelenetek elhomályosíthatják az igazságot, és visszaélhetnek velük csalás, zaklatás és fenyegetés céljából.
Joan Donovan, a Boston University média-manipulációra szakosodott professzora megjegyezte: "Nincs hűsége a történelemhez, nincs kapcsolatban az igazsággal. Amikor kegyetlen emberek kerülnek ilyen eszközök birtokába, gyűlölet, zaklatás és felbujtás céljából fogják használni őket."
Sam Altman, az OpenAI vezérigazgatója "igazán nagyszerűnek" nevezte a Sora 2 bevezetését, és "kreativitás ChatGPT-pillanatnak" nevezte, amely friss és szórakoztató. Elismerte némi aggodalmát a közösségi médiafüggőség, a zaklatás és a "söpredék" – az alacsony minőségű, ismétlődő videók, amelyek elárasztják a platformokat – kockázata miatt. Altman hangsúlyozta, hogy a csapat keményen dolgozott azért, hogy elkerüljék ezeket a buktatókat, és védekező intézkedéseket vezettek be az emberek hasonmásainak felhasználása vagy a felkavaró és illegális tartalmak létrehozása ellen. Például az alkalmazás blokkolta azt a kérést, amely Donald Trump és Vlagyimir Putyin közös vattacukor fogyasztását kívánta megjeleníteni.
Ennek ellenére az első három napban számos Sora-videó terjedt el online. Egy Washington Post-riporter készített egy klipet, amely Altmant egy II. világháborús katonai vezetőként ábrázolta, és arról számolt be, hogy "dühcsalikkal, hamis bűncselekményekkel és fehér masszával lefröcskölt nőkkel" készített videókat. A Sora hírfolyamán számos olyan videó is szerepel, amelyek olyan műsorok szerzői jogvédelem alá tartozó karaktereit mutatják be, mint a Spongyabob Kockanadrág, a South Park és a Rick és Morty, és gond nélkül legyártott egy videót Pikachuról, aki vámemelésekről beszél. Egy esetben a mesterséges intelligenciával generált videók Kínát ábrázolták, amikor rózsákat lop az Fehér Ház Rózsakertjéből, vagy csatlakozik egy Black Lives Matter tüntetéshez Spongyabobbal, aki egy másik klipben háborút jelentett ki és tervezett az Egyesült Államok ellen. A 404 Media által rögzített videón Spongyabob Adolf Hitler öltözetében látható.
A Paramount, a Warner Bros. és a Pokémon Co. nem reagáltak a megkeresésekre.
David Karpf, a George Washington University Média és Közügyek Iskolájának docense azt mondta, hogy látott olyan videókat, ahol szerzői jogvédelem alá tartozó karakterek kriptovaluta-csalásokat reklámoztak. Véleménye szerint egyértelmű, hogy az OpenAI biztonsági intézkedései a Sora videóeszközénél nem működnek.
Karpf megjegyezte: "Nincsenek valódi korlátok, ha az emberek már most szerzői jogvédelem alá tartozó karaktereket használnak hamis kriptovaluta-csalások terjesztésére. 2022-ben a techcégek a tartalommoderátorok felvételére helyezték volna a hangsúlyt. 2025-re úgy döntöttek, hogy nem érdekelik őket."
Közvetlenül az OpenAI Sora 2 bemutatása előtt a cég megkereste a tehetségügynökségeket és stúdiókat, és tájékoztatta őket, hogy le kell mondaniuk a részvételről, ha nem szeretnék, hogy szerzői jogvédelem alá tartozó anyagukat a videógenerátor másolja, ahogyan a Wall Street Journal arról számolt be.
Az OpenAI közölte a Guardiannal, hogy a tartalomtulajdonosok bejelenthetik a szerzői jogok megsértését egy vitarendezési űrlap segítségével, de az egyéni alkotók vagy stúdiók nem mondhatnak le teljes mértékben. Varun Shetty, az OpenAI médiapartnerségi vezetője kijelentette: "Együttműködünk a jogtulajdonosokkal, hogy kérésre blokkolják a karaktereket a Sorában, és kezeljük az eltávolítási kérelmeket."
Emily Bender, a Washingtoni Egyetem professzora és az The AI Con szerzője figyelmeztetett, hogy a Sora egy veszélyes környezetet teremt, ahol "nehezebb megbízható forrásokat találni, és nehezebb megbízni bennük, amikor megtalálják". Szintetikus médiaeszközökre "csapásként" utalt információs ökoszisztémánkra, hatásukat pedig egy olajszennyezéshez hasonlította, amely aláássa a technikai és társadalmi rendszerekbe vetett bizalmat.
Nick Robins-Early közreműködött a jelentés elkészítésében.
Gyakran Ismételt Kérdések
Természetesen. Íme egy lista az OpenAI Sora videóalkalmazásával kapcsolatos biztonsági aggályokról, világos és természetes hangnemben.
Általános, kezdő kérdések
1. Mi az OpenAI Sora?
A Sora egy OpenAI mesterséges intelligencia modell, amely valósághű és kreatív videóklipeket tud létrehozni egyszerű szöveges leírásból.
2. Mi a fő biztonsági probléma, amiről az emberek beszélnek a Sorával kapcsolatban?
A biztonsági szabályok ellenére a felhasználóknak sikerült erőszakos és rasszista videókat létrehozniuk és megosztaniuk a Sora segítségével, ami azt mutatja, hogy a jelenlegi védelmi intézkedések nem működnek a tervezett módon.
3. Miért olyan nagy probléma ez?
Ez komoly aggodalomra ad okot, mert azt mutatja, hogy a technológiát könnyen vissza lehet élni káros tartalmak terjesztésére, ami valós világi zaklatáshoz, félretájékoztatáshoz és más súlyos károkhoz vezethet.
4. Nem mondta az OpenAI, hogy teszteli a Sora biztonságosságát?
Igen, az OpenAI kijelentette, hogy komolyan veszi a biztonságot, és szigorú tesztelést végeztek egy kis szakértői csoporttal a szélesebb körű bevezetés előtt. E káros tartalmak megjelenése azt sugallja, hogy a kezdeti biztonsági intézkedések nem voltak elegendőek a visszaélés megelőzésére.
5. Mit tesz most az OpenAI ez ügyben?
Az OpenAI elismerte a problémát, és kijelentette, hogy azon dolgoznak, hogy megerősítsék biztonsági korlátaikat, ami magában foglalja a tartalomszűrők és használati szabályzatok fejlesztését az ilyen káros anyagok létrehozásának blokkolására.
Haladó, részletes kérdések
6. Hogyan kerülik meg az emberek a Sora biztonsági szűrőit?
A felhasználók valószínűleg egy úgynevezett "jailbreaking" technikát alkalmaznak, amikor átfogalmazzák a kéréseiket vagy kódolt nyelvet használnak, hogy rábírják a mesterséges intelligenciát, hogy hagyja figyelmen kívül biztonsági irányelveit és állítson elő tiltott tartalmat.
7. Mik a biztonsági korlátok az olyan mesterséges intelligenciákban, mint a Sora?
A biztonsági korlátok olyan szabályok, szűrők és osztályozók gyűjteményei, amelyeket a mesterséges intelligenciába építenek, hogy megakadályozzák a káros, elfogult vagy nem biztonságos tartalom előállítását. Ezeknek blokkolniuk kellene az erőszakhoz, gyűlöletbeszédhez és egyéb szabálysértésekhez kapcsolódó kéréseket.
8. Ez a probléma egyedi a Sorára, vagy más AI videógenerátorok is küszködnek vele?
Ez kihívás az egész generatív mesterséges intelligencia iparágnak. Azonban ez a Sora-eset rávilágított arra, hogy milyen nehéz tökéletes biztonsági rendszereket létrehozni, még egy olyan vezető cég számára is, mint az OpenAI, amely kiterjedt forrásokkal rendelkezik.
9. Mi a különbség technikai hibának és szabályzati hibának ebben a kontextusban?
