Společnost OpenAI ve středu představila svůj nejnovější generátor videí Sora 2, který obsahuje sociální feed, kde uživatelé mohou sdílet překvapivě realistická videa. Již během několika hodin od spuštění však byly tento feed i starší sociální platformy zaplaveny videy zobrazujícími autorsky chráněné postavy v nevhodných situacích spolu s násilným a rasistickým obsahem. To jde proti vlastním pravidlům OpenAI pro Soru a ChatGPT, která zakazují materiály podněcující násilí nebo způsobující újmu.
Guardian zkontroloval několik zadání a klipů a zjistil, že Sora vytvářela videa s bombovými hrozbami a hromadnými střelbami, na nichž vyděšení lidé prchají z univerzitních kampusů a přeplněných míst jako je newyorské nádraží Grand Central. Jiná zadání vygenerovala válečné scény z Gazy a Myanmaru s uměle vytvořenými dětmi popisujícími ničení svých domovů. Jedno video na pokyn "zpravodajství z občanské války v Etiopii" ukazovalo reportéra v neprůstřelné vestě reportujícího ze střetů v obytných čtvrtích. Další, pouhým zadáním "shromáždění v Charlottesville", zobrazilo černého protestujícího v ochranné výstroji skandujícího rasistické heslo: "Nenahradíte nás."
Sora je aktuálně dostupná pouze na pozvánku a neveřejně. Přesto se během tří dnů od omezeného vydání vyšvihla na první místo v žebříčku App Storu od Applu, předstihnuvši i OpenAI vlastní ChatGPT.
Vedoucí Sory Bill Peebles vyjádřil na platformě X nadšení: "Bylo epické pozorovat, čeho je kolektivní lidská tvořivost schopná," a slíbil brzké rozeslání dalších pozvánkových kódů.
Aplikace nabízí náhled budoucnosti, kde může být stále těžší rozlišit realitu od podvrhu, zvlášť až se tato videa začnou šířit mimo AI platformu. Experti na dezinformace varují, že takto realistické scény mohou zastírat pravdu a být zneužity k podvodům, šikaně a zastrašování.
Joan Donovanová, profesorka Bostonské univerzity specializující se na manipulace v médiích, uvedla: "Nemá to věrnost historii, nemá to vztah k pravdě. Když se k takovým nástrojům dostanou krutí lidé, použijí je pro nenávist, obtěžování a podněcování."
Generální ředitel OpenAI Sam Altman označil spuštění Sory 2 za "skvělé" a za "ChatGPT moment pro kreativitu", který působí svěže a zábavně. Přiznal určité obavy ze závislosti na sociálních sítích, šikany a rizika "smetí" – nekvalitních, opakujících se videí, která zahlcují platformy. Altman zdůraznil, že tým tvrdě pracoval na vyvarování se těchto pastí a zavedl ochranná opatření proti používání podoby lidí nebo vytváření znepokojivého či nelegálního obsahu. Například aplikace zablokovala požadavek na vygenerování videa Donalda Trumpa a Vladimira Putina, jak spolu jedí cukrovou vatu.
Přesto se během prvních tří dnů mnohá videa ze Sory rozšířila online. Reportér Washington Post vytvořil klip zobrazujícího Altmana jako velitele z 2. světové války a uvedl, že vytvářel videa s "provokativním obsahem, fingovanými zločiny a ženami politými bílou hmotou". Feed Sory také obsahuje četná videa s autorsky chráněnými postavami ze seriálů jako Spongebob v kalhotách, South Park a Rick a Morty, a bez problému vygeneroval video s Pikachu, jak zvyšuje cla.
V jednom případě AI generovaná videa zobrazovala Čínu, jak krade růže z Bílého domu Růžové zahrady nebo se připojuje k protestu Black Lives Matter se Spongebobem, který v jiném klipu vyhlásil a plánoval válku proti Spojeným státům. Video zachycené 404 Media ukázalo Spongeboba oblečeného jako Adolfa Hitlera.
Společnosti Paramount, Warner Bros. a Pokémon Co. nereagovaly na žádosti o vyjádření.
David Karpf, docent na Fakultě médií a veřejné komunikace Univerzity George Washingtona, uvedl, že viděl videa s autorskými postavami propagujícími kryptoměnové podvody. Domnívá se, že je zřejmé, že ochranná opatření OpenAI pro její video nástroj Sora selhávají.
Karpf poznamenal: "Ochranné mantinely nejsou reálné, pokud lidé již používají autorské postavy k šíření falešných kryptopodvodů. V roce 2022 by technologické společnosti zdůrazňovaly najímání moderátorů obsahu. Do roku 2025 se rozhodly, že je to nezajímá."
Těsně před spuštěním Sory 2 společnost OpenAI kontaktovala agentury a studia a informovala je, že se budou muset odhlásit, pokud nechtějí, aby jejich autorsky chráněný materiál byl generátorem videí replikován, jak uvedl Wall Street Journal.
OpenAI sdělila Guardianu, že vlastníci obsahu mohou nahlásit porušení autorských práv pomocí formuláře pro spory, ale jednotliví umělci nebo studia se nemohou plně odhlásit. Vedoucí mediálních partnerství OpenAI Varun Shetty uvedl: "Budeme spolupracovat s držiteli práv na zablokování postav v Soře na požádání a vyřídíme žádosti o odstranění."
Emily Benderová, profesorka Washingtonské univerzity a autorka knihy The AI Con, varovala, že Sora vytváří nebezpečné prostředí, kde je "těžší najít důvěryhodné zdroje a těžší jim důvěřovat, jakmile jsou nalezeny." Syntetické mediální nástroje popsala jako "metlu našeho informačního ekosystému", přirovnala jejich dopad k ropné skvrně, která narušuje důvěru v technické a sociální systémy.
Na této zprávě se podílel Nick Robins-Early.
Často kladené otázky
Samozřejmě, zde je seznam ČKO o bezpečnostních obavách kolem video aplikace Sora od OpenAI, sepsaný jasným a přirozeným tónem.
Obecné / Základní otázky
1. Co je OpenAI Sora?
Sora je AI model od OpenAI, který dokáže z jednoduchého textového popisu vytvářet realistická a nápaditá videa.
2. Jaký je hlavní bezpečnostní problém, o kterém se u Sory mluví?
Přestože existují bezpečnostní pravidla, uživatelé byli schopni pomocí Sory vytvářet a sdílet násilná a rasistická videa, což ukazuje, že její současná ochrana nefunguje podle předpokladů.
3. Proč je to tak závažné?
Jde o velký problém, protože ukazuje, že technologie může být snadno zneužita k šíření škodlivého obsahu, což může vést k reálné šikaně, dezinformacím a dalším vážným škodám.
4. Neříkala OpenAI, že Soru testuje na bezpečnost?
Ano, OpenAI uvedla, že bezpečnost bere vážně a provádí přísné testování s malou skupinou expertů před širším vydáním. Výskyt tohoto škodlivého obsahu naznačuje, že jejich počáteční bezpečnostní opatření nestačila k zabránění zneužití.
5. Co s tím OpenAI nyní dělá?
OpenAI problém uznala a uvedla, že pracuje na posílení svých bezpečnostních zábran, což zahrnuje zlepšování filtrů obsahu a pravidel používání, aby zablokovala tvorbu takového škodlivého materiálu.
Pokročilé / Podrobné otázky
6. Jak uživatelé obcházejí bezpečnostní filtry Sory?
Uživatelé pravděpodobně používají techniku tzv. jailbreakingu, při které přeformulovávají své požadavky nebo používají kódovaný jazyk, aby oklamali AI a donutili ji ignorovat bezpečnostní pokyny a generovat zakázaný obsah.
7. Co jsou to bezpečnostní zábrany u AI jako je Sora?
Bezpečnostní zábrany jsou souborem pravidel, filtrů a klasifikátorů vestavěných do AI, které jí mají zabránit v generování škodlivého, zkresleného nebo nebezpečného obsahu. Mají blokovat pokyny související s násilím, nenávistnými projevy a dalšími porušeními pravidel.
8. Je tento problém specifický pro Soru, nebo se týká i ostatních generativních AI pro videa?
Jde o výzvu pro celý generativní AI průmysl. Tento incident se Sorou však zdůraznil, jak obtížné je vytvořit dokonalé bezpečnostní systémy, a to i pro přední společnost jako je OpenAI s rozsáhlými zdroji.
9. Jaký je v tomto kontextu rozdíl mezi technickou chybou a selháním politiky?
