OpenAI lanserte sin nyeste AI-videogenerator på tirsdag og innførte en sosial feed der brukere kan dele slående realistiske videoer. Men innen få timer etter Sora 2s lansering ble feeden – og eldre sosiale medieplattformer – oversvømmet av videoer som viste opphavsrettsbeskyttede figurer i upassende situasjoner, sammen med voldelig og rasistisk innhold. Dette strider mot OpenAIs egne regler for Sora og ChatGPT, som forbyr materiale som oppfordrer til vold eller forårsaker skade.
The Guardian gjennomgikk flere prompter og klipp, og fant at Sora produserte videoer av bombetrusler og masseskytinger, med forferdede mennesker som flyktet fra universitetsområder og travle steder som Grand Central Station i New York. Andre prompter genererte krigsscener fra Gaza og Myanmar, med AI-lagde barn som beskrev hvordan hjemmene deres ble ødelagt. En video, fremkalt med "Etiopia-opptak i nyhetsstil fra borgerkrig", viste en reporter med skuddsikker vest som rapporterte om sammenstøt i boligstrøk. En annen, kun ved bruk av "Charlottesville-demonstrasjon", skildret en svart demonstrant i beskyttelsesutstyr som ropte en hvit makt-parole: "You will not replace us."
Sora er for øyeblikket kun tilgjengelig på invitasjon og ikke åpen for allmennheten. Til tross for dette nådde den toppen av Apples App Store bare tre dager etter den begrensede lanseringen, og forbigikk OpenAIs egen ChatGPT.
Bill Peebles, sjef for Sora, uttrykte begeistring på X og sa: "Det har vært episk å se hva menneskehetens kollektive kreativitet er i stand til så langt," og lovet flere invitasjonskoder snart.
Appen gir en forsmak på en fremtid der det kan bli mye vanskeligere å skille ekte fra falsk, spesielt ettersom disse videoene begynner å spre seg utover AI-plattformen. Eksperter på desinformasjon advarer om at slike realistiske scener kan tilsløre sannheten og utnyttes til svindel, mobbing og trusler.
Joan Donovan, professor ved Boston University som spesialiserer seg på mediemanipulasjon, bemerket: "Den har ingen troskap til historien, ingen relasjon til sannheten. Når grusomme mennesker får tak i verktøy som dette, vil de bruke dem til hat, trakassering og opphisselse."
OpenAI-sjef Sam Altman roste Sora 2s lansering som "virkelig flott" og kalte det et "ChatGPT for kreativitet"-øyeblikk som føles friskt og morsomt. Han anerkjente noen bekymringer om avhengighet til sosiale medier, mobbing og risikoen for "slop" – lavkvalitets, repetitive videoer som rotet til plattformer. Altman understreket at teamet jobbet hardt for å unngå disse fallgruvene og implementerte sikringstiltak mot å bruke folks likhet eller skape forstyrrende eller ulovlig innhold. For eksempel blokkerte appen en forespørsel om å generere en video av Donald Trump og Vladimir Putin som delte sukkerspinn.
Likevel, i de første tre dagene spredte mange Sora-videoer seg på nettet. En Washington Post-reporter lagde et klipp som avbildet Altman som en WWII-militærleder og rapporterte om å lage videoer med "ragebait, falske forbrytelser og kvinner som ble overskylt med hvitt søl". Sora-feeden inneholder også mange videoer av opphavsrettsbeskyttede figurer fra serier som SpongeBob SquarePants, South Park og Rick and Morty, og hadde ingen problemer med å produsere en video av Pikachu som innførte tollsatser.
I ett tilfelle avbildet AI-genererte videoer Kina som stjal roser fra Det hvite hus' rosehage eller deltok i en Black Lives Matter-protest med SpongeBob, som i et annet klipp erklærte og planla krig mot USA. En video fanget opp av 404 Media viste SpongeBob kledd som Adolf Hitler.
Paramount, Warner Bros. og Pokémon Co. svarte ikke på forespørsler om kommentar.
David Karpf, førsteamanuensis ved George Washington Universitys skole for medier og offentlige anliggender, sa han har sett videoer av opphavsrettsbeskyttede figurer som støtter kryptovaluta-svindel. Han mener det er tydelig at OpenAIs sikringstiltak for Sora-videoverktøyet svikter.
Karpf uttalte: "Beskytterne er ikke ekte hvis folk allerede bruker opphavsrettsbeskyttede figurer for å promote falsk kryptovaluta-svindel. I 2022 ville teknologiselskaper ha understreket å ansette innholdsmoderatorer. Innem 2025 har de bestemt at de ikke bryr seg."
Rett før OpenAI lanserte Sora 2, kontaktet selskapet talentbyråer og studioer og informerte dem om at de måtte melde seg ut hvis de ikke ønsket at deres opphavsrettsbeskyttede materiale skulle replikeres av videogeneratoren, ifølge Wall Street Journal.
OpenAI fortalte The Guardian at innholdseiere kan rapportere opphavsrettsbrudd ved hjelp av en klageform, men enkelte kunstnere eller studioer kan ikke melde seg helt ut. Varun Shetty, OpenAIs leder for mediefellesskap, opplyste: "Vi vil samarbeide med rettighetshavere for å blokkere figurer fra Sora på forespørsel og håndtere forespørsler om fjerning."
Emily Bender, professor ved University of Washington og forfatter av The AI Con, advarte om at Sora skaper et farlig miljø der det er "vanskeligere å finne pålitelige kilder og vanskeligere å stole på dem når de er funnet". Hun beskrev syntetiske medieverktøy som en "plage for vårt informasjonsøkosystem" og sammenlignet deres innvirkning med et oljeutslipp som eroderer tillit til tekniske og sosiale systemer.
Nick Robins-Early bidro til denne rapporten.
Ofte stilte spørsmål
Selvfølgelig. Her er en liste over vanlige spørsmål om sikkerhetsbekymringene rundt OpenAIs videoapp Sora, skrevet i en klar og naturlig tone.
Generelle begynnerforespørsler
1. Hva er OpenAIs Sora?
Sora er en AI-modell fra OpenAI som kan lage realistiske og fantasifulde videoklipp fra en enkel tekstbeskrivelse.
2. Hva er hovedsikkerhetsproblemet folk snakker om med Sora?
Til tross for sikkerhetsregler har brukere kunnet lage og dele voldelige og rasistiske videoer ved hjelp av Sora, noe som viser at dens nåværende beskyttelse ikke fungerer som tiltenkt.
3. Hvorfor er dette en stor sak?
Dette er en stor bekymring fordi det viser at teknologien enkelt kan misbrukes for å spre skadelig innhold, noe som kan føre til reell trakassering, desinformasjon og annen alvorlig skade.
4. Sa ikke OpenAI at de testet Sora for sikkerhet?
Ja, OpenAI oppga at de tok sikkerhet på alvor og gjennomførte streng testing med en liten gruppe eksperter før en bredere utgivelse. Fremtoningen av dette skadelige innholdet antyder at deres innledende sikkerhetstiltak ikke var tilstrekkelige til å forhindre misbruk.
5. Hva gjør OpenAI med dette nå?
OpenAI har anerkjent problemet og opplyst at de jobber med å styrke sine sikkerhetsgjerder, noe som inkluderer å forbedre innholdsfiltre og bruksretningslinjer for å blokkere produksjonen av slikt skadelig materiale.
Avanserte/dyptgående spørsmål
6. Hvordan omgår folk Soras sikkerhetsfiltre?
Brukere bruker sannsynligvis en teknikk kalt jailbreaking, der de omformulerer forespørslene sine eller bruker kodespråk for å lure AI-en til å ignorere sikkerhetsretningslinjene og generere det forbudte innholdet.
7. Hva er sikkerhetsgjerder i AI som Sora?
Sikkerhetsgjerder er et sett med regler, filtre og klassifiserere innebygd i AI-en for å forhindre den i å generere skadelig, partisk eller usikkert innhold. De skal blokkere prompter relatert til vold, hatespråk og andre policybrudd.
8. Er dette problemet unikt for Sora, eller har andre AI-videogeneratorer det også?
Dette er en utfordring for hele den generative AI-bransjen. Men denne hendelsen med Sora har imidlertid fremhevet hvor vanskelig det er å skape perfekte sikkerhetssystemer, selv for et ledende selskap som OpenAI med omfattende ressurser.
9. Hva er forskjellen mellom en teknisk feil og en policyfeil i denne sammenhengen?
