OpenAI en yeni yapay zeka video üreticisini Salı günü piyasaya sürerek kullanıcıların çarpıcı derecede gerçekçi videolar paylaşabildiği bir sosyal akış başlattı. Ancak Sora 2'nin lansmanından saatler sonra, hem bu akış hem de diğer sosyal medya platformları, telif hakkıyla korunan karakterlerin uygunsuz senaryolarda yer aldığı videoların yanı sıra şiddet ve ırkçı içeriklerle doldu taştı. Bu durum, şiddeti teşvik eden veya zarara yol açan materyalleri yasaklayan OpenAI'nin Sora ve ChatGPT için koyduğu kurallarla çelişiyor.
The Guardian'ın incelediği çeşitli komutlar ve klipler, Sora'nın bomba tehditleri ve toplu saldırı videoları ürettiğini, üniversite kampüsleri ve New York'taki Grand Central İstasyonu gibi kalabalık yerlerde dehşet içinde kaçışan insanları gösterdiğini ortaya koydu. Diğer komutlar, Gazze ve Myanmar'dan savaş sahneleri oluştururken, yapay zeka yapımı çocukların evlerinin yok edildiğini anlattığı görüntüler içeriyordu. "Etiyopya görüntüleri iç savaş haber stili" komutuyla oluşturulan bir videoda, kurşun geçirmez yelek giymiş bir muhabirin yerleşim bölgelerindeki çatışmaları bildirdiği görüldü. Sadece "Charlottesville mitingi" komutu kullanılarak oluşturulan başka bir videoda ise, koruyucu ekipmanlar içindeki bir siyahi protestocunun beyaz üstünlükçü bir slogan olan "Bizi değiştiremeyeceksiniz" diye bağırdığı tasvir edildi.
Sora şu anda yalnızca davetiye ile kullanılabiliyor ve halka açık değil. Buna rağmen, sınırlı sürümün piyasaya sürülmesinden sadece üç gün sonra Apple'ın App Store'unda en üst sıraya yükselerek OpenAI'nin kendi ChatGPT'sini geride bıraktı.
Sora'nın başındaki isim Bill Peebles, X'te yaptığı açıklamada, "İnsanlığın kolektif yaratıcılığının şu ana kadar neler yapabildiğini görmek destansıydı" diyerek heyecanını ifade etti ve yakında daha fazla davet kodu sözü verdi.
Uygulama, gerçekle sahteyi ayırt etmenin çok daha zor hale gelebileceği bir geleceğin önizlemesini sunuyor; özellikle de bu videolar yapay zeka platformunun ötesine yayılmaya başladıkça. Dezenformasyon uzmanları, bu tür gerçekçi sahnelerin gerçeği gizleyebileceği ve dolandırıcılık, zorbalık ve tehdit amacıyla kullanılabileceği konusunda uyarıyor.
Boston Üniversitesi'nde medya manipülasyonu üzerine çalışan profesör Joan Donovan, "Tarihe sadakati yok, gerçekle bir ilişkisi yok. Zalim insanlar böyle araçları ele geçirdiğinde, onları nefret, taciz ve kışkırtma için kullanacaklar" dedi.
OpenAI CEO'su Sam Altman, Sora 2'nin lansmanını "gerçekten harika" olarak nitelendirerek bunun yeni ve eğlenceli hissedilen bir "yaratıcılık için ChatGPT" anı olduğunu söyledi. Sosyal medya bağımlılığı, zorbalık ve platformları dolduran düşük kaliteli, tekrarlayan videolar anlamına gelen "zırva" riski hakkında bazı endişeleri olduğunu kabul etti. Altman, ekibin bu tuzaklardan kaçınmak için çok çalıştığını ve insanların benzerliklerini kullanmaya veya rahatsız edici veya yasa dışı içerik oluşturmaya karşı güvenlik önlemleri uyguladığını vurguladı. Örneğin, uygulama, Donald Trump ve Vladimir Putin'in pamuk şeker paylaştığı bir video oluşturma isteğini engelledi.
Yine de, ilk üç günde birçok Sora videosu çevrimiçine yayıldı. Bir Washington Post muhabiri, Altman'ı II. Dünya Savaşı askeri lideri olarak betimleyen bir klip oluşturdu ve "öfke tuzaklı, sahte suçlar ve beyaz sıvıyla sıvanmış kadınlar" içeren videolar yaptığını bildirdi. Sora akışı ayrıca SüngerBob KareŞort, South Park ve Rick and Morty gibi şovlardan telif hakkıyla korunan karakterlerin olduğu çok sayıda video içeriyor ve Pikachu'nun gümrük tarifelerini yükselttiği bir videoyu üretmekte sorun yaşamadı. Bir örnekte, yapay zeka tarafından üretilen videolar, Çin'in Beyaz Saray Gül Bahçesi'nden gül çaldığını veya SüngerBob'la birlikte bir Black Lives Matter protestosuna katıldığını gösterdi; SüngerBob başka bir klipte ABD'ye savaş ilan edip planlıyordu. 404 Media tarafından yakalanan bir videoda ise SüngerBob'un Adolf Hitler kılığına girdiği görüldü.
Paramount, Warner Bros. ve Pokémon Co. yorum taleplerine yanıt vermedi.
George Washington Üniversitesi Medya ve Kamu İlişkileri Okulu'ndan doçent David Karpf, telif hakkıyla korunan karakterlerin kripto para dolandırıcılıklarını onayladığı videolar gördüğünü söyledi. OpenAI'nin Sora video aracı için koyduğu güvenlik önlemlerinin başarısız olduğunun açık olduğuna inanıyor.
Karpf, "İnsanlar halihazırda telif hakkıyla korunan karakterleri sahte kripto dolandırıcılıklarını itelemek için kullanıyorsa, güvenlik bariyerleri gerçek değildir. 2022'de teknoloji şirketleri içerik denetleyicileri işe almayı vurgulardı. 2025'e geldiğimizde, umursamadıklarına karar verdiler" yorumunu yaptı.
OpenAI, Sora 2'yi piyasaya sürmeden hemen önce, Wall Street Journal'ın haberine göre, yetenek ajanslarına ve stüdyolara ulaşarak, video üreticisi tarafından telif hakkıyla korunan materyallerinin kopyalanmasını istemiyorlarsa çekilmeleri gerekeceğini bildirdi.
OpenAI, The Guardian'a içerik sahiplerinin bir anlaşmazlık formu kullanarak telif hakkı ihlalini bildirebileceklerini, ancak bireysel sanatçıların veya stüdyoların tamamen çekilemeyeceğini söyledi. OpenAI Medya Ortaklıkları Başkanı Varun Shetty, "Talep üzerine hak sahipleriyle çalışarak karakterleri Sora'dan engelleyeceğiz ve kaldırma taleplerini ele alacağız" ifadelerini kullandı.
Washington Üniversitesi'nden profesör ve The AI Con kitabının yazarı Emily Bender, Sora'nın "güvenilir kaynakları bulmanın ve bulunduktan sonra onlara güvenmenin daha zor olduğu" tehlikeli bir ortam yarattığı konusunda uyardı. Sentetik medya araçlarını "bilgi ekosistemimiz üzerinde bir afet" olarak nitelendirdi ve etkilerini, teknik ve sosyal sistemlere olan güveni aşındıran bir petrol sızıntısına benzetti.
Bu rapora Nick Robins-Early katkıda bulundu.
Sıkça Sorulan Sorular
Elbette, OpenAI'nin video uygulaması Sora'nın güvenlik endişeleri hakkında, açık ve doğal bir tonla yazılmış SSS listesi aşağıdadır.
Genel - Başlangıç Seviyesi Sorular
1 OpenAI'nin Sora'sı nedir?
Sora, OpenAI'dan, basit bir metin açıklamasından gerçekçi ve yaratıcı video klipler oluşturabilen bir yapay zeka modelidir.
2 İnsanların Sora ile ilgili konuştuğu ana güvenlik sorunu nedir?
Güvenlik kurallarına rağmen, kullanıcılar Sora'yı kullanarak şiddet ve ırkçı içerikli videolar oluşturup paylaşabildi; bu da mevcut korumaların amaçlandığı gibi çalışmadığını gösterdi.
3 Bu neden önemli?
Bu büyük bir endişe çünkü teknolojinin zararlı içerik yaymak için kolayca kötüye kullanılabileceğini gösteriyor; bu da gerçek dünyada taciz, dezenformasyon ve diğer ciddi zararlara yol açabilir.
4 OpenAI Sora'nın güvenliğini test ettiklerini söylememiş miydi?
Evet, OpenAI güvenliği ciddiye aldıklarını ve daha geniş bir sürüm öncesinde küçük bir uzman grubuyla sıkı testler yaptıklarını belirtmişti. Bu zararlı içeriğin ortaya çıkması, ilk güvenlik önlemlerinin kötüye kullanımı önlemede yeterli olmadığını gösteriyor.
5 OpenAI şimdi bu konuda ne yapıyor?
OpenAI sorunu kabul etti ve güvenlik bariyerlerini güçlendirmek için çalıştıklarını, bunun içerik filtrelerini ve bu tür zararlı materyallerin oluşturulmasını engellemek için kullanım politikalarını iyileştirmeyi içerdiğini belirtti.
İleri Seviye - Derinlemesine Sorular
6 İnsanlar Sora'nın güvenlik filtrelerini nasıl aşıyor?
Kullanıcılar muhtemelen, isteklerini yeniden ifade ederek veya kodlanmış dil kullanarak yapay zekayı güvenlik kurallarını görmezden gelmeye ve yasaklı içerik üretmeye kandırdıkları "jailbreaking" adı verilen bir tekniği kullanıyorlar.
7 Sora gibi yapay zekalarda güvenlik bariyerleri nedir?
Güvenlik bariyerleri, yapay zekanın zararlı, önyargılı veya güvensiz içerik üretmesini önlemek için içine yerleştirilmiş bir dizi kural, filtre ve sınıflandırıcıdır. Şiddet, nefret söylemi ve diğer politika ihlalleriyle ilgili komutları engellemeleri gerekiyor.
8 Bu sorun Sora'ya özgü mü yoksa diğer yapay zeka video üreticilerinde de var mı?
Bu, tüm üretken yapay zeka endüstrisi için bir zorluk. Ancak Sora ile yaşanan bu olay, kapsamlı kaynaklara sahip OpenAI gibi önde gelen bir şirket için bile mükemmel güvenlik sistemleri oluşturmanın ne kadar zor olduğunu vurguladı.
9 Bu bağlamda teknik bir başarısızlık ile politika başarısızlığı arasındaki fark nedir?
