OpenAI lancerede sin nyeste AI-videogenerator tirsdag og introducerede et socialt feed, hvor brugerne kan dele påfaldende realistiske videoer. Allerede inden for de første timer efter Sora 2's lancering blev feedet – og ældre sociale medieplatforme – oversvømmet af videoer, der viste ophavsretligt beskyttede figurer i upassende scenarier sammen med voldeligt og racistisk indhold. Dette strider mod OpenAIs egne regler for Sora og ChatGPT, som forbyder materiale der opfordrer til vold eller forårsager skade.
The Guardian gennemgik adskillige prompts og klip og fandt, at Sora producerede videoer med bombetrusler og masseskyderier, hvor forskrækkede mennesker flygtede fra universitetscampusser og befærdede steder som New Yorks Grand Central Station. Andre prompts genererede krigsscener fra Gaza og Myanmar med AI-skabte børn, der beskrev deres hjem blev ødelagt. En video, frembragt ved prompten "Ethiopia footage civil war news style", viste en reporter med skudsikker vest, der rapporterede om sammenstød i boligområder. En anden, der kun brugte "Charlottesville rally", afbildede en sort demonstrant med beskyttelsesudstyr, der råbte en hvid overlegenheds-parole: "I vil ikke erstatte os."
Sora er i øjeblikket kun til invitation og ikke tilgængelig for offentligheden. På trods heraf toppede den Apples App Store allerede tre dage efter sin begrænsede udgivelse og overgik dermed OpenAIs egen ChatGPT.
Bill Peebles, leder af Sora, udtrykte begejstring på X: "Det har været episk at se, hvad den menneskelige kreativitet kollektivt er i stand til hidtil," og lovede flere invitationskoder snart.
Appen giver et forblik i en fremtid, hvor det kan blive meget sværere at skelne ægte fra falsk, især når disse videoer begynder at sprede sig ud over AI-platformen. Eksperter i misinformation advarer om, at sådanne realistiske scener kan sløre sandheden og udnyttes til svindel, mobning og chikane.
Joan Donovan, professor på Boston University med speciale i mediemanipulation, bemærkede: "Den har ingen troskab over for historien, den har intet forhold til sandheden. Når grusomme mennesker får fingre i værktøjer som dette, vil de bruge dem til had, chikane og til opfordring til vold."
OpenAI's administrerende direktør Sam Altman roste Sora 2's lancering som "virkelig fantastisk" og kaldte det et "ChatGPT for kreativitet"-øjeblik, der føles nyt og sjovt. Han anerkendte nogle bekymringer om afhængighed af sociale medier, mobning og risikoen for "slop" – lavkvalitets, repetitive videoer, der fylder på platformene. Altman understregede, at holdet arbejdede hårdt for at undgå disse faldgruber og implementerede sikkerhedsforanstaltninger mod at bruge folks ligheder eller skabe forstyrrende eller ulovligt indhold. For eksempel blokerede appen en anmodning om at generere en video af Donald Trump og Vladimir Putin, der deler sukkerspin.
Alligevel spredte mange Sora-videoer sig online i de første tre dage. En reporter fra Washington Post skabte et klip, der afbildede Altman som en WWII-militærleder, og rapporterede om at lave videoer med "ragebait, falske forbrydelser og kvinder overskyllet med hvid klæbrig masse." Sora-feedet indeholder også utallige videoer af ophavsretligt beskyttede figurer fra serier som SvampeBob Firkant, South Park og Rick and Morty og havde ingen problemer med at producere en video af Pikachu, der hæver toldsatser.
I et tilfælde viste AI-genererede videoer Kina, der stjal roser fra Det Hvide Hus' Rosehave eller deltog i en Black Lives Matter-protest med SvampeBob, som i et andet klip erklærede og planlagde krig mod USA. En video optaget af 404 Media viste SvampeBob klædt ud som Adolf Hitler.
Paramount, Warner Bros. og Pokémon Co. svarede ikke på anmodninger om kommentar.
David Karpf, lektor på George Washington Universitys School of Media and Public Affairs, sagde, at han har set videoer af ophavsretligt beskyttede figurer, der støtter kryptovaluta-svindel. Han mener, det er tydeligt, at OpenAIs sikkerhedsforanstaltninger for sit Sora-videoværktøj svigter.
Karpf bemærkede: "Rækværket er ikke ægte, hvis folk allerede bruger ophavsretligt beskyttede figurer til at promovere falsk kryptovaluta-svindel. I 2022 ville techvirksomheder have understreget at ansætte indholdsmoderatorer. I 2025 har de besluttet, at de er ligeglade."
Lige før OpenAI lancerede Sora 2, kontaktede virksomheden talentagenter og studie og informerede dem om, at de ville være nødt til at fravælge, hvis de ikke ønskede deres ophavsretligt beskyttede materiale reproduceret af videogeneratoren, ifølge Wall Street Journal.
OpenAI fortalte The Guardian, at indehavere af indhold kan rapportere ophavsretskrænkelser ved hjælp af en disputes-formular, men individuelle kunstnere eller studie kan ikke fravælge helt. Varun Shetty, OpenAIs leder af mediepartnerskaber, erklærede: "Vi vil samarbejde med rettighedshavere om at blokere figurer i Sora upon request og håndtere anmodninger om fjernelse."
Emily Bender, professor på University of Washington og forfatter til *The AI Con*, advarede om, at Sora skaber et farligt miljø, hvor det er "sværere at finde pålidelige kilder og sværere at stole på dem, når de er fundet." Hun beskrev syntetiske medieværktøjer som en "plage for vores informationsøkosystem" og sammenlignede deres indvirkning med et olieudslip, der underminerer tilliden til tekniske og sociale systemer.
Nick Robins-Early bidrog til denne rapport.
**Ofte stillede spørgsmål**
Selvfølgelig. Her er en liste over ofte stillede spørgsmål om sikkerhedsbekymringerne omkring OpenAIs videoapp Sora, skrevet i en klar og naturlig tone.
**Generelle begynder-spørgsmål**
1. **Hvad er OpenAIs Sora?**
Sora er en AI-model fra OpenAI, der kan skabe realistiske og fantasifulde videoklip ud fra en simpel tekstbeskrivelse.
2. **Hvad er den vigtigste sikkerhedsproblemstilling, folk taler om i forbindelse med Sora?**
På trods af sikkerhedsregler har brugere været i stand til at skabe og dele voldelige og racistiske videoer ved hjælp af Sora, hvilket viser, at dens nuværende beskyttelse ikke fungerer som tiltænkt.
3. **Hvorfor er det et stort problem?**
Dette er en væsentlig bekymring, fordi det viser, at teknologien let kan misbruges til at sprede skadeligt indhold, hvilket kan føre til chikane, misinformation og anden alvorlig skade i den virkelige verden.
4. **Sagde OpenAI ikke, at de testede Sora for sikkerhed?**
Jo, OpenAI erklærede, at de tog sikkerhed alvorligt og udførte omhyggelige tests med en lille gruppe eksperter før en bredere udgivelse. Fremkomsten af dette skadelige indhold antyder, at deres indledende sikkerhedsforanstaltninger ikke var tilstrækkelige til at forhindre misbrug.
5. **Hvad gør OpenAI ved dette nu?**
OpenAI har anerkendt problemet og erklæret, at de arbejder på at styrke deres sikkerhedsforanstaltninger, hvilket inkluderer forbedring af deres indholdsfiltre og brugspolitikker for at blokere skabelsen af sådant skadeligt materiale.
**Avancerede dybdegående spørgsmål**
6. **Hvordan omgår folk Soras sikkerhedsfiltre?**
Brugere bruger sandsynligvis en teknik kaldet "jailbreaking", hvor de omformulerer deres anmodninger eller bruger kodet sprog for at narre AI'en til at ignorere dens sikkerhedsretningslinjer og generere det forbudte indhold.
7. **Hvad er sikkerhedsforanstaltninger i AI som Sora?**
Sikkerhedsforanstaltninger er et sæt regler, filtre og klassifikatorer indbygget i AI'en for at forhindre den i at generere skadeligt, forudindtaget eller usikkert indhold. De skal blokere prompts relateret til vold, hadefuld tale og andre politik-overtrædelser.
8. **Er dette problem unikt for Sora, eller har andre AI-videogeneratorer det også?**
Dette er en udfordring for hele den generative AI-branche. Men hændelsen med Sora har dog fremhævet, hvor svært det er at skabe perfekte sikkerhedssystemer, selv for et førende selskab som OpenAI med omfattende ressourcer.
9. **Hvad er forskellen mellem en teknisk fejl og en politikfejl i denne sammenhæng?**
