We wtorek OpenAI zaprezentowało swój najnowszy generator wideo AI, wprowadzając społecznościową platformę, gdzie użytkownicy mogą udostępniać zdumiewająco realistyczne filmy. Jednak w ciągu kilku godzin od premiery Sory 2 – zarówno jej platforma, jak i starsze serwisy społecznościowe – zostały zalane filmami przedstawiającymi chronione prawem autorskim postacie w niestosownych sytuacjach, a także treściami pełnymi przemocy i rasizmu. Jest to sprzeczne z własnymi zasadami OpenAI dotyczącymi Sory i ChatGPT, które zakazują materiałów zachęcających do przemocy lub powodujących szkody.
The Guardian przeanalizował kilka poleceń i klipów, stwierdzając, że Sora wygenerowała filmy z pogróżkami bombowymi i masowymi strzelaninami, na których przerażeni ludzie uciekają z kampusów uniwersyteckich i zatłoczonych miejsc, takich jak nowojorski dworzec Grand Central. Inne polecenia skutkowały scenami wojennymi z Gazy i Mjanmy, z udziałem stworzonych przez AI dzieci opisujących niszczenie ich domów. Jeden film, wygenerowany na polecenie „materiał z Etiopii w stylu wiadomości o wojnie domowej”, przedstawiał reportera w kamizelce kuloodpornej relacjonującego starcia na terenach mieszkalnych. Inny, przy użyciu samego hasła „marsz w Charlottesville”, ukazywał czarnoskórego protestującego w stroju ochronnym, wykrzykującego hasło białych suprematystów: „Nie pozwolimy wam się zastąpić”.
Sora jest obecnie dostępna tylko na zaproszenie i nie jest publicznie dostępna. Mimo to, zaledwie trzy dni po ograniczonej premierze, szybko wspięła się na szczyt rankingu App Store Apple'a, wyprzedzając własnego ChatGPT OpenAI.
Szef Sory, Bill Peebles, wyraził entuzjazm na platformie X, mówiąc: „To było epickie obserwować, na co jak dotąd zdolna jest zbiorcza kreatywność ludzkości” i obiecał wkrótce więcej kodów zaproszeniowych.
Aplikacja oferuje przedsmak przyszłości, w której odróżnienie prawdy od fałszu może stać się znacznie trudniejsze, zwłaszcza gdy te filmy zaczną rozprzestrzeniać się poza platformę AI. Eksperci od dezinformacji ostrzegają, że tak realistyczne sceny mogą zaciemniać prawdę i być wykorzystywane do oszustw, nękania i zastraszania.
Joan Donovan, profesor Uniwersytetu Bostońskiego specjalizująca się w manipulacji mediami, zauważyła: „Nie ma wierności historii, nie ma związku z prawdą. Gdy okrutni ludzie wezmą do rąk takie narzędzia, użyją ich do szerzenia nienawiści, nękania i podżegania”.
Dyrektor generalny OpenAI, Sam Altman, pochwalił premierę Sory 2 jako „naprawdę świetną”, nazywając ją momentem „ChatGPT dla kreatywności”, który wydaje się świeży i zabawny. Przyznał, że istnieją pewne obawy dotyczące uzależnienia od mediów społecznościowych, nękania i ryzyka „szmelcu” – niskiej jakości, powtarzalnych filmów zaśmiecających platformy. Altman podkreślił, że zespół ciężko pracował, aby uniknąć tych pułapek i wdrożył zabezpieczenia przed wykorzystywaniem wizerunku ludzi lub tworzeniem niepokojących lub nielegalnych treści. Na przykład aplikacja zablokowała prośbę o wygenerowanie filmu z Donaldem Trumpem i Władimirem Putinem dzielącymi się watą cukrową.
Mimo to w ciągu pierwszych trzech dni wiele filmów z Sory rozprzestrzeniło się w sieci. Reporter Washington Post stworzył klip przedstawiający Altmana jako przywódcę wojskowego z czasów II wojny światowej i donosił o tworzeniu filmów z „treściami wywołującymi wściekłość, fałszywymi przestępstwami i kobietami obryzganymi białą maźią”. Na platformie Sory znajduje się również wiele filmów z chronionymi prawem autorskim postaciami z seriali takich jak „SpongeBob Kanciastoporty”, „South Park” i „Rick i Morty”, a także bez problemu wygenerowano film, w którym Pikachu podnosi cła. W jednym przypadku filmy wygenerowane przez AI przedstawiały Chiny kradnące róże z Ogrodu Różanego Białego Domu lub dołączające do protestu Black Lives Matter ze SpongeBobem, który w innym klipie wypowiedział i zaplanował wojnę ze Stanami Zjednoczonymi. Film uchwycony przez 404 Media pokazywał SpongeBoba ubranego jak Adolf Hitler.
Paramount, Warner Bros. i Pokémon Co. nie odpowiedzieli na prośby o komentarz.
David Karpf, profesor nadzwyczajny w Szkole Mediów i Spraw Publicznych Uniwersytetu George'a Washingtona, powiedział, że widział filmy z chronionymi prawem autorskim postaciami promującymi oszustwa kryptowalutowe. Uważa, że jest oczywiste, że zabezpieczenia OpenAI dla jego narzędzia wideo Sora zawodzą.
Karpf zauważył: „Bariery ochronne nie są prawdziwe, skoro ludzie używają już chronionych prawem autorskim postaci do popierania fałszywych oszustw kryptowalutowych. W 2022 roku firmy technologiczne podkreślałyby zatrudnianie moderatorów treści. Do 2025 roku zdecydowały, że im to nie przeszkadza”.
Tuż przed premierą Sory 2, OpenAI skontaktowało się z agencjami talentów i studiami, informując ich, że będą musiały zrezygnować, jeśli nie chcą, aby ich materiały chronione prawem autorskim były replikowane przez generator wideo, jak donosił Wall Street Journal.
OpenAI poinformowało The Guardian, że właściciele treści mogą zgłaszać naruszenie praw autorskich za pomocą formularza sporów, ale indywidualni artyści lub studia nie mogą zrezygnować całkowicie. Varun Shetty, szef partnerstw medialnych OpenAI, stwierdził: „Będziemy współpracować z posiadaczami praw, aby na żądanie blokować postaci w Sorze i rozpatrywać wnioski o usunięcie treści”.
Emily Bender, profesor Uniwersytetu Waszyngtońskiego i autorka książki „The AI Con”, ostrzegła, że Sora tworzy niebezpieczne środowisko, w którym „trudniej jest znaleźć wiarygodne źródła i trudniej im ufać, gdy już się je znajdzie”. Opisała narzędzia mediów syntetycznych jako „plagę dla naszego ekosystemu informacyjnego”, porównując ich wpływ do wycieku ropy, który eroduje zaufanie do systemów technicznych i społecznych.
Nick Robins-Early przyczynił się do powstania tego raportu.
Często zadawane pytania
Oczywiście. Oto lista często zadawanych pytań dotyczących obaw związanych z bezpieczeństwem aplikacji wideo OpenAI o nazwie Sora, napisana w jasnym i naturalnym tonie.
Ogólne / Podstawowe pytania
1. Czym jest Sora OpenAI?
Sora to model AI od OpenAI, który może tworzyć realistyczne i kreatywne klipy wideo na podstawie prostego opisu tekstowego.
2. Jaki jest główny problem związany z bezpieczeństwem, o którym mówi się w przypadku Sory?
Mimo zasad bezpieczeństwa użytkownicy byli w stanie tworzyć i udostępniać za pomocą Sory filmy zawierające przemoc i treści rasistowskie, co pokazuje, że jej obecne zabezpieczenia nie działają zgodnie z przeznaczeniem.
3. Dlaczego to takie ważne?
To poważny problem, ponieważ pokazuje, że technologię tę można łatwo wykorzystać do szerzenia szkodliwych treści, co może prowadzić do realnych problemów, takich jak nękanie, dezinformacja i inne poważne szkody.
4. Czy OpenAI nie twierdziło, że testuje Sorę pod kątem bezpieczeństwa?
Tak, OpenAI deklarowało, że traktuje bezpieczeństwo poważnie i przeprowadza rygorystyczne testy z małą grupą ekspertów przed szerszą premierą. Pojawienie się tych szkodliwych treści sugeruje, że ich wstępne środki bezpieczeństwa nie wystarczyły, aby zapobiec nadużyciom.
5. Co OpenAI teraz z tym robi?
OpenAI przyznało, że istnieje problem, i oświadczyło, że pracuje nad wzmocnieniem swoich zabezpieczeń, co obejmuje ulepszanie filtrów treści i polityki użytkowania, aby blokować tworzenie takich szkodliwych materiałów.
Zaawansowane / Szczegółowe pytania
6. W jaki sposób ludzie omijają filtry bezpieczeństwa Sory?
Użytkownicy prawdopodobnie stosują technikę zwaną „jailbreaking”, polegającą na przeformułowywaniu próśb lub używaniu zakodowanego języka, aby oszukać AI i sprawić, by zignorowała swoje wytyczne bezpieczeństwa i wygenerowała zabronione treści.
7. Czym są zabezpieczenia (safety guardrails) w AI takich jak Sora?
Zabezpieczenia to zestaw reguł, filtrów i klasyfikatorów wbudowanych w AI, które mają zapobiegać generowaniu przez nią szkodliwych, tendencyjnych lub niebezpiecznych treści. Mają one blokować polecenia związane z przemocą, mową nienawiści i innymi naruszeniami polityki.
8. Czy ten problem jest charakterystyczny tylko dla Sory, czy inne generatory wideo AI też go mają?
Jest to wyzwanie dla całego przemysłu generatywnej AI. Jednak ten incydent z Sorą uwydatnił, jak trudno jest stworzyć idealne systemy bezpieczeństwa, nawet dla wiodącej firmy takiej jak OpenAI, dysponującej dużymi zasobami.
9. Jaka jest różnica między awarią techniczną a niewydolnością polityki (zasad) w tym kontekście?
