OpenAI пусна най-новия си генератор на AI видеоклипове във вторник, като представи социална лента, където потребителите могат да споделят поразително реалистични видеоклипове. Само за часове след старта на Sora 2 обаче, както лентата, така и по-старите социални мрежи се изпълниха с видеоклипове, показващи защитени с авторски права герои в неподходящи ситуации, заедно с насилствени и расистки съдържания. Това противоречи на собствените правила на OpenAI за Sora и ChatGPT, които забраняват материали, насърчаващи насилие или причиняващи вреда.
The Guardian прегледа няколко заявки и клипа, като откри, че Sora генерира видеоклипове с бомбени заплахи и масови стрелби, на които ужасени хора бягат от университетски кампуси и задълнени места като Централната гара в Ню Йорк. Други заявки генерираха военни сцени от Газа и Мианмар, включващи AI-създадени деца, описващи как домовете им биват унищожавани. Един видеоклип, генериран от заявката "Етиопия кадри гражданска война новинарски стил", показваше репортер с бронежилетка, която отразява сблъсъци в жилищни райони. Друг, използвайки само "митинг в Шарлътсвил", изобразяваше чернокож протестиращ с предпазно облекло, който викаше супрематистки лозунг: "Няма да ни замените."
Sora в момента е достъпна само с покана и не е достъпна за широката публика. Въпреки това, тя се изкачи на върха в App Store на Apple само три дни след ограниченото си пускане, надминавайки дори собствения ChatGPT на OpenAI.
Бил Пийбълс, ръководителят на Sora, изрази възторг в X, като заяви: "Беше епично да видим какво е способна да сътвори колективната креативност на човечеството досега" и обеща повече кодове за покани скоро.
Приложението предлага предварителен поглед към бъдеще, в което разграничаването на истинско от фалшиво може да стане много по-трудно, особено когато тези видеоклипове започнат да се разпространяват извън AI платформата. Експертите по дезинформация предупреждават, че такива реалистични сцени могат да замъглят истината и да бъдат използвани за измами, тормоз и заплахи.
Джоан Донован, професор в Бостънския университет, специализирана в манипулацията на медиите, отбеляза: "Тя няма вярност към историята, няма връзка с истината. Когато жестоки хора се сдобият с инструменти като този, ще ги използват за омраза, тормоз и подбуждане."
Сам Алтман, изпълнителен директор на OpenAI, възхвали старта на Sora 2 като "наистина страхотен", нарече го момент "ChatGPT за креативност", който усещаш като свеж и забавен. Той призна някои притеснения относно пристрастяването към социалните мрежи, тормоза и риска от "изхвърчани" – видеоклипове с ниско качество и повтарящи се, които затрупват платформите. Алтман подчерта, че екипът работи усърдно, за да избегне тези капани и е въвел защити срещу използването на образа на хора или създаването на разстройващо или незаконно съдържание. Например, приложението блокира заявка за генериране на видеоклип на Доналд Тръмп и Владимир Путин, които споделят памучна слама.
Въпреки това, през първите три дни много видеоклипове от Sora се разпространиха онлайн. Репортер на Washington Post създаде клип, изобразяващ Алтман като военен лидер от Втората световна война, и съобщи, че е правил видеоклипове с "провокативни за ярост съдържания, фалшиви престъпления и жени, изцапани с бяла течност". Лентата на Sora също така включва множество видеоклипове на герои, защитени с авторски права, от сериали като "Спондж Боб Квадратни гащи", "Южен парк" и "Рик и Морти", и нямаше проблем да генерира видеоклип на Пикачу, който повишава тарифите. В един случай AI-генерирани видеоклипове изобразяваха Китай, който краде рози от Розовата градина на Белия дом или се присъединява към протест на Black Lives Matter със Спондж Боб, който в друг клип обяви и планира война срещу Съединените щати. Видеоклип, заснет от 404 Media, показа Спондж Боб облечен като Адолф Хитлер.
Paramount, Warner Bros. и Pokémon Co. не отговориха на искания за коментар.
Дейвид Карпф, доцент в Школата по медии и публични комуникации на Университета Джордж Вашингтон, заяви, че е виждал видеоклипове на герои с авторски права, които подкрепят измами с криптовалути. Той смята, че е ясно, че защитите на OpenAI за техния видео инструмент Sora не успяват.
Карпф отбеляза: "Защитните мерки не са реални, ако хората вече използват герои с авторски права, за да популяризират фалшиви измами с крипто. През 2022 г. технологичните компании щяха да наблегнат на наемането на модератори на съдържание. Към 2025 г. те са решили, че не ги интересува."
Точно преди OpenAI да пусне Sora 2, компанията се свърза с агенции за таланти и студиа, информирайки ги, че ще трябва да се откажат, ако не желаят техния материал, защитен с авторски права, да бъде възпроизвеждан от видео генератора, както съобщи Wall Street Journal.
OpenAI каза на The Guardian, че собствениците на съдържание могат да докладват нарушения на авторските права с формуляр за спорове, но отделни художници или студиа не могат да се откажат напълно. Варун Шети, ръководител на медийните партньорства в OpenAI, заяви: "Ще работим с притежателите на права, за да блокираме герои от Sora по заявка и да обработваме искания за премахване."
Емили Бендър, професор в Университета на Вашингтон и автор на "**The AI Con**", предупреди, че Sora създава опасна среда, в която "е по-трудно да се намерят надеждни източници и по-трудно да им се се доверяваш, след като ги намериш". Тя описа синтетичните медийни инструменти като "бич за нашата информационна екосистема", сравнявайки въздействието им с разлив на петрол, който подкопава доверието в техническите и социални системи.
Ник Робинс-Ърли допринесе за този доклад.
Често Задавани Въпроси
Разбира се, ето списък с ЧЗВ относно опасенията за безопасността около видео приложението Sora на OpenAI, написан в ясен и естествен тон.
Общи Въпроси за Начинаещи
1. Какво е Sora на OpenAI?
Sora е AI модел от OpenAI, който може да създава реалистични и въображаеми видеоклипове от просто текстово описание.
2. Какъв е основният проблем със сигурността, за който хората говорят при Sora?
Въпреки правилата за безопасност, потребителите успяха да създават и споделят насилствени и расистки видеоклипове с помощта на Sora, което показва, че настоящите й защити не работят както е предвидено.
3. Защо това е сериозен проблем?
Това е голямо притеснение, защото показва, че технологията може лесно да бъде злоупотребявана за разпространение на вредно съдържание, което може да доведе до тормоз в реалния свят, дезинформация и други сериозни вреди.
4. Не каза ли OpenAI, че тества Sora за безопасност?
Да, OpenAI заяви, че приема безопасността сериозно и провежда строги тестове с малка група експерти преди по-широко пускане. Появата на това вредно съдържание предполага, че първоначалните им мерки за безопасност не са били достатъчни, за да предотвратят злоупотреба.
5. Какво прави OpenAI по въпроса сега?
OpenAI призна проблема и заяви, че работи за засилване на защитните си мерки, което включва подобряване на филтрите за съдържание и политиките за използване, за да блокира създаването на такъв вреден материал.
Разширени/Подробни Въпроси
6. Как хората заобикалят защитните филтри на Sora?
Потребителите вероятно използват техника, наречена "джейлбрейк", при която перифразират заявките си или използват закодиран език, за да накарат AI да игнорира насоките си за безопасност и да генерира забраненото съдържание.
7. Какво представляват защитните мерки в AI като Sora?
Защитните мерки са набор от правила, филтри и класификатори, вградени в AI, за да предотвратят генерирането на вредно, пристрастно или небезопасно съдържание. Те трябва да блокират заявки, свързани с насилие, омразна реч и други нарушения на политиките.
8. Този проблем е уникален за Sora или други AI генератори на видеоклипове също го имат?
Това е предизвикателство за цялата генеративна AI индустрия. Този инцидент със Sora обаче подчерта колко е трудно да се създадат перфектни системи за безопасност, дори за водеща компания като OpenAI с обширни ресурси.
9. Каква е разликата между технически срив и политически срив в този контекст?
