OpenAI julkaisi uusimman tekoälyvideogeneraattorinsa tiistaina, esitellen sosiaalisen syötteen, jossa käyttäjät voivat jakaa hämmästyttävän realistisia videoita. Kuitenkin jo muutaman tunnin kuluttua Soran 2:n lanseerauksesta syöte – sekä vanhemmat sosiaalisen median alustat – tulvivat videoilla, joissa esiintyi tekijänoikeussuojattuja hahmoja sopimattomissa tilanteissa sekä väkivaltaista ja rasistista sisältöä. Tämä on ristiriidassa OpenAIn omien Soraa ja ChatGPT:tä koskevien sääntöjen kanssa, jotka kieltävät väkivaltaa yllyttävän tai vahinkoa aiheuttavan materiaalin.
The Guardian tarkasteli useita kehotteenantoja ja pätkiä huomaten, että Sora tuotti videoita pommiuhkauksista ja joukkoammunnoista, joissa kauhistuneet ihmiset pakenivat yliopistokampuksilta ja vilkkaista paikoista kuten New Yorkin Grand Central -asemalta. Muilla kehotteilla luotiin sota-alueita Gazasta ja Myanmarista, joissa tekoälyn luomat lapset kuvailivat kotiensa tuhoutumista. Yksi video, jonka aiheena oli "Etiopia materiaali sisällissodasta uutistyyliin", esitti toimittajaa luotiliiveissä raportoimassa yhteenotoista asuinalueilla. Toinen, joka käytti pelkkää kehotetta "Charlottesville mielenosoitus", kuvasi mustaa aktivistia suojavarusteissa huutamassa valkoisen ylivallan iskulausetta: "Ette tule meitä korvaamaan."
Sora on tällä hetkellä vain kutsutta saatavilla eikä ole avoin yleisölle. Tästä huolimatta se nousi nopeasti Applen App Storen huipulle vain kolmessa päivässä rajoitetun julkaisun jälkeen, ohittaen OpenAIn oman ChatGPT:n.
Soran johtaja Bill Peebles ilmaisi innostustaan X:ssä sanoen: "On ollut eeppistä nähdä, mihin ihmiskunnan kollektiivinen luovuus pystyy tähän mennessä", ja lupasi lisää kutsukoodeja pian.
Sovellus tarjoaa esinäytön tulevaisuudesta, jossa todellisen ja väärennetyn erottaminen voi muodostua paljon vaikeammaksi, erityisesti kun nämä videot alkavat levitä tekoälyalustan ulkopuolelle. Väärinformaatioasiantuntijat varoittavat, että tällaiset realistiset kohtaukset voivat hämärtää totuutta ja niitä voidaan hyödyntää petoksissa, kiusaamisessa ja pelottelussa.
Bostonin yliopiston professori Joan Donovan, joka erikoistuu median manipulointiin, totesi: "Sillä ei ole uskollisuutta historialle, sillä ei ole suhdetta totuuteen. Kun julmat ihmiset saavat käsiinsä tällaisia työkaluja, he käyttävät niitä vihaan, häirintään ja yllytykseen."
OpenAIn toimitusjohtaja Sam Altman kehui Sora 2:n lanseerausta "todella mahtavaksi" ja kutsui sitä "ChatGPT luovuudelle" -hetkeksi, joka tuntuu tuoreelta ja hauskalta. Hän myönsi joitakin huolia sosiaalisen median riippuvuudesta, kiusaamisesta ja "roska"-sisällön riskistä – laaduttomista, toistuvista videoista, jotka täyttävät alustoja. Altman korosti, että tiimi työskenteli kovasti välttääkseen nämä sudenkuopat ja otti käyttöön suojatoimia ihmisten kuvien käyttöä tai häiritsevän tai laittoman sisällön luomista vastaan. Esimerkiksi sovellus esti pyynnön luoda video, jossa Donald Trump ja Vladimir Putin jakavat hattaraa.
Silti ensimmäisten kolmen päivän aikana monet Sora-videot levisivät verkossa. Washington Postin toimittaja loi pätkän, jossa Altman esiintyi toisen maailmansodan sotilasjohtajana, ja kertoi tehneensä videoita, joissa esiintyi "raivonlietsontaa, väärennettyjä rikoksia ja naisia, joihin oli roiskunut valkoista mössöä". Sora-syöte sisälsi myös lukuisia videoita tekijänoikeussuojatuista hahmoista sarjoista kuten Paavo Pesusieni, South Park ja Rick and Morty, eikä sillä ollut ongelmia tuottaa videota, jossa Pikachu nostaa tariffejä.
Yhdessä tapauksessa tekoälyn luomat videot esittivät Kiinan varastamassa ruusuja Valkoisen talon ruusutarhasta tai liittymässä Black Lives Matter -mielenosoitukseen Paavo Pesusienen kanssa, joka toisessa pätkässä julisti ja suunnitteli sotaa Yhdysvaltoja vastaan. 404 Median tallentama video esitti Paavo Pesusienen pukeutuneena Adolf Hitleriksi.
Paramount, Warner Bros. ja Pokémon Co. eivät vastanneet kommenttipyyntöihin.
George Washingtonin yliopiston median ja julkisen politiikan laitoksen apulaisprofessori David Karpf kertoi nähneensä videoita, joissa tekijänoikeussuojatut hahmot mainostavat kryptovaluuttahuijauksia. Hänen mielestään on selvää, että OpenAIn suojatoimet Sora-videotyökalulleen epäonnistuvat.
Karpf totesi: "Suojarajat eivät ole todellisia, jos ihmiset käyttävät jo tekijänoikeussuojattuja hahmoja levittämään vääriä kryptohuijauksia. Vuonna 2022 teknologiayhtiöt olisivat korostaneet sisällönmoderaattoreiden palkkaamista. Vuoteen 2025 mennessä he ovat päättäneet, että eivät välitä."
Juuri ennen OpenAIn Sora 2:n julkaisua yhtiö otti yhteyttä kykyjen agenttuureihin ja studioihin tiedottaen, että niiden täytyy itse kieltäytyä, jos eivät halua tekijänoikeussuojattua materiaaliaan kopioitavan videogeneraattorilla, kuten Wall Street Journal raportoi.
OpenAI kertoi The Guardianille, että sisällön omistajat voivat ilmoittaa tekijänoikeusrikkomuksista käyttämällä riita-asialomaketta, mutta yksittäiset taiteilijat tai studiot eivät voi kieltäytyä kokonaan. OpenAIn mediakumppanuuksien johtaja Varun Shetty sanoi: "Teemme yhteistyötä oikeudenhaltijoiden kanssa estääksemme hahmojen käytön Sorassa pyynnöstä ja käsittelemme poistopyyntöjä."
Washingtonin yliopiston professori Emily Bender, kirjoittaja teoksessa The AI Con, varoitti, että Sora luo vaarallisen ympäristön, jossa on "vaikeampaa löytää luotettavia lähteitä ja vaikeampaa luottaa niihin löydettyään". Hän kuvasi synteettisen median työkaluja "riesaksi tietoympäristöllemme" vertaen niiden vaikutusta öljypäästöön, joka heikentää luottamusta teknisiin ja sosiaalisiin järjestelmiin.
Nick Robins-Early osallistui tähän raporttiin.
Usein Kysytyt Kysymykset
Tässä on luettelo UKK:ista OpenAI:n videosovelluksen Soran turvallisuushuolenaiheista selkeällä ja luontevalla äänellä.
Yleiset Aloittelijakysymykset
1. Mikä on OpenAI:n Sora?
Sora on OpenAI:n tekoälymalli, joka pystyy luomaan realistisia ja mielikuvituksellisia videopätkiä yksinkertaisesta tekstikuvauksesta.
2. Mikä on pääasiallinen turvallisuusongelma, josta ihmiset puhuvat Soran yhteydessä?
Turvallisuussäännöistä huolimatta käyttäjät ovat pystyneet luomaan ja jakamaan väkivaltaisia ja rasistisia videoita Soralla, mikä osoittaa, että sen nykyiset suojaukset eivät toimi tarkoitetulla tavalla.
3. Miksi tämä on merkittävää?
Tämä on suuri huolenaihe, koska se osoittaa, että teknologiaa voidaan helposti väärinkäyttää haitallisen sisällön levittämiseen, mikä voi johtaa todelliseen maailmaan kohdistuvaan häirintään, väärinformaatioon ja muihin vakaviin vahinkoihin.
4. Eikö OpenAI sanonut testaavansa Soran turvallisuutta?
Kyllä, OpenAI ilmoitti ottavansa turvallisuuden vakavasti ja suorittavansa tiukkoja testejä pienellä asiantuntijaryhmällä ennen laajempaa julkaisua. Tämän haitallisen sisällön ilmaantuminen viittaa siihen, että heidän alkuperäiset turvallisuustoimensa eivät riittäneet estämään väärinkäyttöä.
5. Mitä OpenAI tekee nyt asialle?
OpenAI on tunnustanut ongelman ja todennut parantavansa turvallisuussuojiaan, mikä sisältää sisällönsuodattimien ja käyttökäytäntöjen parantamisen estääkseen tällaisten haitallisten materiaalien luomisen.
Kehittyneet Syventävät kysymykset
6. Miten ihmiset kiertävät Soran turvallisuussuodattimia?
Käyttäjät käyttävät todennäköisesti tekniikkaa nimeltä jailbreaking, jossa he muotoilevat pyyntönsä uudelleen tai käyttävät koodattua kieltä huijatakseen tekoälyä ohittamaan turvallisuusohjeensa ja luomaan kiellettyä sisältöä.
7. Mitä turvallisuussuojat tarkoittavat tekoälyissä kuten Sora?
Turvallisuussuojat ovat joukko sääntöjä, suodattimia ja luokittelijoita, jotka on rakennettu tekoälyyn estämään se luomasta haitallista, puolueellista tai turvatonta sisältöä. Niiden odotetaan estävän kehotteet, jotka liittyvät väkivaltaan, vihapuheeseen ja muihin käytäntörikkomuksiin.
8. Onko tämä ongelma ainutlaatuinen Soralle vai onko muillakin tekoälyvideogeneraattoreilla sitä?
Tämä on haaste koko generatiivisen tekoälyteollisuudelle. Kuitenkin tämä Soraan liittyvä tapaus on korostanut, kuinka vaikeaa on luoda täydellisiä turvallisuusjärjestelmiä, jopa johtavalle yritykselle kuten OpenAI:lle, jolla on laajat resurssit.
9. Mikä on ero teknisen vian ja käytäntövian välillä tässä yhteydessä?
