OpenAI:s lansering av sin videoapp Sora har fläckats av uppdykandet av våldsamt och rasistiskt innehåll, vilket belyser att dess säkerhetsåtgärder är ineffektiva.

Översätt följande text från engelska till svenska:

OpenAI lanserade sin senaste AI-videogenerator på tisdagen och introducerade ett socialt flöde där användare kan dela slående realistiska videor. Men inom timmar efter Sora 2:s lansering översvämmades flödet – och äldre sociala medieplattformar – av videor som visade upphovsrättsskyddade karaktärer i olämpliga scenarier, tillsammans med våldsamt och rasistiskt innehåll. Detta strider mot OpenAIs egna regler för Sora och ChatGPT, som förbjuder material som uppmuntrar till våld eller orsakar skada.

The Guardian granskade flera promptar och klipp och fann att Sora producerade videor om bombhot och masskjutningar, med skräckslagna människor som flyr från universitetsområden och populära platser som New Yorks Grand Central Station. Andra promptar genererade krigsscener från Gaza och Myanmar, med AI-skapade barn som beskrev hur deras hem förstörts. En video, skapad med prompten "Etiopien material inbördeskrig nyhetsstil", visade en reporter i skottsäker väst som rapporterade om sammandrabbningar i bostadsområden. En annan, med enbart "Charlottesville rally", skildrade en svart protestaktivist i skyddsutrustning som ropade ett vit makt-slogan: "Ni ska inte ersätta oss."

Sora är för närvarande endast tillgängligt via inbjudan och inte öppet för allmänheten. Trots detta steg den snabbt till toppen av Apples App Store bara tre dagar efter sin begränsade lansering, och passerade därmed OpenAIs egen ChatGPT.

Bill Peebles, chef för Sora, uttryckte entusiasm på X och sade: "Det har varit episkt att se vad mänsklighetens kollektiva kreativitet förmår hittills," och lovade fler inbjudningskoder snart.

Appen erbjuder en förhandsvisning av en framtid där det kan bli mycket svårare att skilja äkta från förfalskat, särskilt när dessa videor börjar spridas utanför AI-plattformen. Desinformationsexperter varnar för att sådana realistiska scener kan fördunkla sanningen och utnyttjas för bedrägerier, trakasserier och hot.

Joan Donovan, professor vid Boston University som specialiserat sig på mediemanipulation, noterade: "Den har ingen trohet till historien, den har inget förhållande till sanningen. När grymma människor får tag i verktyg som detta kommer de att använda dem för hat, trakasserier och anstiftan."

OpenAI:s VD Sam Altman berömde Sora 2:s lansering som "riktigt bra" och kallade det ett "ChatGPT för kreativitet"-tillfälle som känns fräscht och roligt. Han erkände vissa farhågor om sociala medieberoende, mobbning och risken för "sörja" – lågkvalitativa, repetitiva videor som skräpar ner plattformar. Altman betonade att teamet arbetat hårt för att undvika dessa fallgropar och infört skyddsåtgärder mot att använda människors utseende eller skapa störande eller olagligt innehåll. Till exempel blockerade appen en begäran om att generera en video på Donald Trump och Vladimir Putin som delade sockervadd.

Ändå spreds många Sora-videor online under de första tre dagarna. En reporter från Washington Post skapade ett klipp som avbildade Altman som en WWII-militärledare och rapporterade om att ha skapat videor med "ilska-bete, falska brott och kvinnor stänkta med vit gegga." Sora-flödet innehåller också många videor med upphovsrättsskyddade karaktärer från serier som Svampbob Fyrkant, South Park och Rick and Morty, och hade inga problem med att producera en video på Pikachu som höjer tullar.

I ett fall avbildade AI-genererade videor Kina som stal rosor från Vita husets rosenträdgård eller deltog i en Black Lives Matter-protest med Svampbob, som i ett annat klipp deklarerade och planerade ett krig mot USA. En video inspelad av 404 Media visade Svampbob klädd som Adolf Hitler.

Paramount, Warner Bros. och Pokémon Co. svarade inte på förfrågningar om kommentarer.

David Karpf, biträdande professor vid George Washington Universitys School of Media and Public Affairs, sade att han har sett videor på upphovsrättsskyddade karaktärer som stöder kryptovalutabedrägerier. Han anser att det är tydligt att OpenAIs skyddsåtgärder för sitt Sora-videoverktyg misslyckas.

Karpf anmärkte: "Skyddsräcken är inte verkliga om folk redan använder upphovsrättsskyddade karaktärer för att pusha falska kryptobedrägerier. 2022 skulle techföretag ha betonat att anställa innehållsmoderatorer. 2025 har de beslutat att de inte bryr sig."

Strax innan OpenAI lanserade Sora 2 kontaktade företaget talangagenturer och studior och informerade dem om att de skulle behöva avanmäla sig om de inte ville att deras upphovsrättsskyddade material skulle replikeras av videogeneratorn, enligt Wall Street Journal.

OpenAI berättade för The Guardian att innehållsägare kan rapportera upphovsrättsintrång med hjälp av ett tvisteformulär, men enskilda konstnärer eller studior kan inte avanmäla sig helt. Varun Shetty, OpenAIs chef för medieförbindelser, uppgav: "Vi kommer att arbeta med rättighetsinnehavare för att blockera karaktärer från Sora på begäran och hantera avlägsnandebegäranden."

Emily Bender, professor vid University of Washington och författare till The AI Con, varnade för att Sora skapar en farlig miljö där det är "svårare att hitta pålitliga källor och svårare att lita på dem när de väl hittats." Hon beskrev syntetiska medieverktyg som en "plåga för vårt informationssystem" och jämförde deras inverkan med ett oljeutsläpp som eroderar tilltron till tekniska och sociala system.

Nick Robins-Early bidrog till denna rapport.

Vanliga frågor
Självklart. Här är en lista med vanliga frågor om säkerhetsfrågorna kring OpenAIs videoapp Sora, skrivna i en tydlig och naturlig ton.

Allmänna & nybörjarfrågor

1. Vad är OpenAIs Sora?
Sora är en AI-modell från OpenAI som kan skapa realistiska och fantasifulla videoklipp från en enkel textbeskrivning.

2. Vilken är den huvudsakliga säkerhetsfråga som folk pratar om med Sora?
Trots säkerhetsregler har användare kunnat skapa och dela våldsamma och rasistiska videor med Sora, vilket visar att dess nuvarande skydd inte fungerar som avsett.

3. Varför är det här en stor sak?
Detta är ett stort bekymmer eftersom det visar att tekniken lätt kan missbrukas för att sprida skadligt innehåll, vilket kan leda till trakasserier, desinformation och annan allvarlig skada i verkliga livet.

4. Sa inte OpenAI att de testade Sora för säkerhet?
Jo, OpenAI uppgav att de tog säkerheten på allvar och genomförde rigorösa tester med en liten grupp experter före en bredare lansering. Förekomsten av detta skadliga innehåll antyder att deras initiala säkerhetsåtgärder inte räckte för att förhindra missbruk.

5. Vad gör OpenAI åt detta nu?
OpenAI har erkänt problemet och uppgett att de arbetar med att förstärka sina säkerhetsräcken, vilket inkluderar att förbättra sina innehållsfilter och användningspolicyer för att blockera skapandet av sådant skadligt material.

Avancerade & djupgående frågor

6. Hur kringgår folk Soras säkerhetsfilter?
Användarna använder sannolikt en teknik som kallas jailbreaking, där de omformulerar sina förfrågningar eller använder kodat språk för att lura AI:n att ignorera dess säkerhetsriktlinjer och generera det förbjudna innehållet.

7. Vad är säkerhetsräcken i AI som Sora?
Säkerhetsräcken är en uppsättning regler, filter och klassificerare inbyggda i AI:n för att förhindra den från att generera skadligt, fördomsfullt eller osäkert innehåll. De är tänkta att blockera promptar relaterade till våld, hatiskt tal och andra policyöverträdelser.

8. Är detta problem unikt för Sora eller har andra AI-videogeneratorer det också?
Detta är en utmaning för hela den generativa AI-branschen. Men denna incident med Sora har belyst hur svårt det är att skapa perfekta säkerhetssystem, även för ett ledande företag som OpenAI med omfattande resurser.

9. Vad är skillnaden mellan ett tekniskt fel och ett policyfel i detta sammanhang?