Adaletsizliğin kendini yüksek sesle duyurduğunu düşünmek isteriz. Kamusal bir sistemde bir şeyler ters gittiğinde alarmlar çalmalı ve birileri sorumluluk almalı—ya da almazlarsa hesap vermeli. Ancak 2020'de Göteborg'da adaletsizlik sessizce, verimlilik kılığına bürünerek geldi.
Şehir, ilk kez öğrencileri okullara yerleştirmek için bir algoritma kullandı. Sonuçta, herhangi bir belediye için okul bölgelerini ve kayıtları belirlemek büyük bir idari baş ağrısıdır. Mesafeleri, tercihleri ve kapasiteyi optimize edecek bir makineden daha iyi ne olabilir? Sistem, kamusal verimliliğe hizmet etmek üzere tasarlanmıştı: tarafsız, akıcı ve objektif olarak sunuldu.
Ancak bir şeyler çok ters gitti. Yüzlerce çocuk, evlerinden kilometrelerce uzaktaki okullara—nehirlerin ve fiyortların ötesine, büyük otoyolların üzerinden, daha önce hiç gitmedikleri ve hiçbir bağlarının olmadığı mahallelere—yerleştirildi. Ebeveynler kararlara inanamayarak baktı. 13 yaşındaki bir çocuğun kışın bu rotayı güvenle yürüyüp yürüyemeyeceğini kimse kontrol etmiş miydi? Bu seçimlere hangi mantık rehberlik ediyordu? Belirtilen tercihleri basitçe görmezden mi gelinmişti? Okul yönetiminde kimse ne olduğunu açıklayamıyor—ya da açıklamak istemiyor—ve hataları düzeltemiyor gibiydi.
Ben bunu bir teknoloji araştırmacısı ve eski bir avukat olarak, ama aynı zamanda bir anne olarak izledim. O zamanlar 12 yaşında olan oğlum, algoritmadan etkilenen çocuklardan biriydi. Okul yönetiminin yanıt vermemesiyle hayal kırıklığımız büyüdü. Sakin bir şekilde, yerleştirmemizle ilgili bir sorunumuz varsa itiraz edebileceğimizi söylediler—sanki bu kişisel bir zevk meselesiymiş gibi. Sanki sorun bireysel bir memnuniyetsizlikmiş gibi, sistem çapında bir başarısızlık değilmiş gibi. Şehrin dört bir yanındaki mutfak masalarında aynı kafa karışıklığı ve öfke kaynıyordu. Bir şeyler yanlıştı ve sorunun boyutu her geçen gün daha da netleşiyordu.
Şehir denetçilerinin çoğumuzun şüphelendiği şeyi doğrulaması neredeyse bir yıl sürdü: algoritmaya hatalı talimatlar verilmişti. Mesafeleri "kuş uçuşu" olarak hesaplıyordu, gerçek yürüme rotalarını değil. Göteborg'un içinden büyük bir nehir geçiyor. Bunu hesaba katmamak, çocukların bir saatlik yolculuklarla karşı karşıya kalması anlamına geliyordu. Birçoğu için, yasanın okula gitmenin uygun yolu olduğunu söylediği gibi yürüyerek veya bisikletle nehrin diğer tarafına ulaşmak kesinlikle imkansızdı.
Ailelerin tepkisinden sonra, bir sonraki okul yılı için prosedürler iyileştirildi. Ancak hatalı algoritmadan zaten etkilenmiş olan yaklaşık 700 çocuk için hiçbir şey değişmedi. Ortaokul yıllarının tamamını "yanlış" okullarda geçireceklerdi.
Resmi görüş, bireysel itirazların yeterli olduğu yönündeydi. Ancak bu asıl noktayı kaçırıyor. Algoritmalar sadece izole kararlar almaz; karar sistemleri oluştururlar. 100 çocuk yanlışlıkla nehrin karşı kıyısındaki okullara yerleştirildiğinde, başkaları için ayrılmış yerleri alırlar. Bu çocuklar daha sonra farklı okullara itilir ve sırayla başkalarını da yerlerinden eder. Dominolar gibi, hatalar birbirini tetikler. Beşinci veya altıncı yer değiştirmede, adaletsizlik neredeyse tespit edilemez hale gelir, mahkemede itiraz etmek ve kanıtlamak şöyle dursun.
13 yaşındaki çocuklar, evlerinden kilometrelerce uzaktaki okullara—nehirlerin ve fiyortların ötesine, büyük otoyolların üzerinden—yerleştirildi.
Bu algoritmik adaletsizlik soyut bir sorun değil, ne de sadece İsveç'e özgü. Avrupa'daki son skandalları acı bir şekilde yansıtıyor. Bunlardan biri, Horizon IT sisteminin yüzlerce postane operatörünü hırsızlıkla yanlış bir şekilde suçladığı ve kovuşturmalara, iflaslara ve hatta hapis cezalarına yol açtığı Birleşik Krallık'taki Postane skandalıdır. Yıllarca, sistemin çıktısı neredeyse yanılmaz olarak kabul edildi. İnsan ifadesi, makinenin otoritesine boyun eğdi. Diğer bir örnek, Hollanda'daki çocuk bakımı yardımı skandalıdır; burada Hollanda vergi dairesi tarafından kullanılan bir sistem, binlerce ebeveyni yanlışlıkla dolandırıcı olarak işaretledi. Aileler borca battı. Birçoğu evlerini kaybetti. Çocuklar koruyucu aile yanına yerleştirildi. Her iki durumda da, algoritmik başarısızlıklar, otomatik sistem teknik karmaşıklık ve kurumsal savunmacılık perdesinin arkasında işlediği için uzun yıllar devam etti. Hatalar birikti. Zarar kötüleşti. Hesap verebilirlik geride kaldı.
2020'de Göteborg'a döndüğümde, oğlumun yerleştirmesine basitçe itiraz etmenin yeterli olmayacağını anladım. Sistemsel bir sorunu bireysel düzeltmelerle çözemezsiniz. Bu yüzden, bir araştırma projesinin parçası olarak, algoritmalar mahkemeye çıktığında ne olduğunu görmek için şehre dava açtım. Sadece oğlumun özel yerleştirmesine itiraz etmedim—tüm karar alma sisteminin ve ürettiği her şeyin yasallığına itiraz ettim. Algoritmanın tasarımının yasayı ihlal ettiğini savundum.
Sisteme erişemediğim için—algoritmayı görme taleplerim defalarca reddedildi—mahkemeye gösteremedim. Bunun yerine, adresleri ve okul seçimlerini kullanarak sistemin nasıl çalışmış olması gerektiğini anlamak için yüzlerce yerleştirmeyi dikkatlice analiz ettim ve bunu kanıt olarak sundum.
Şehrin savunması şaşırtıcı derecede basitti. Sistemin sadece bir "destek aracı" olduğunu iddia ettiler. Yanlış bir şey yapmadıklarını söylediler ve hiçbir kanıt sunmadılar: hiçbir teknik belge, hiçbir kod, işlerin nasıl yürüdüğüne dair hiçbir açıklama.
Ve beni şaşırtacak şekilde, sunmak zorunda da değillerdi. Mahkeme ispat yükünü bana yükledi. Hakimler, sistemin yasa dışı olduğunu göstermenin benim işim olduğunu söyledi. Kararlara ilişkin analizim yeterli değildi. Kodun doğrudan kanıtı olmadan, ispat standardını karşılayamazdım. Dava reddedildi. Başka bir deyişle: kara kutunun içindekini kanıtla ya da kaybet.
İşte bu—orijinal idari başarısızlıktan daha fazla—geceleri beni uyanık tutuyor. Algoritmaların bazen başarısız olduğunu biliyoruz. Bu yüzden mahkemelerimiz var: ifşayı zorlamak, incelemek ve bir şeyleri düzeltmek için. Ancak yasal prosedürler geçmişte sıkışıp kaldığında ve hakimler algoritmik sistemleri sorgulayacak araçlara, becerilere veya yetkiye sahip olmadığında, adaletsizlik kazanır. Kamu kurumları büyük ölçekte opak sistemler kullanırken, hayat değiştiren sonuçlarla karşı karşıya kalan vatandaşlara, arkasındaki kodu asla görmeden, tek tek itiraz etmeleri söyleniyor.
Postane ve Hollanda çocuk yardımı skandallarından alınan dersler, Göteborg'da bulduklarımı yansıtıyor. Mahkemeler teknolojiyi sorgulamak yerine ona güvendiğinde ve ispat yükü sistemi kuran ve kullananlar yerine zarar görenlere düştüğünde, algoritmik adaletsizlik sadece ortaya çıkmaz—yıllarca sürebilir. Teknolojinin kendisi basit olsa bile, Göteborg'da olduğu gibi—hatanın gerçek yürüme rotaları yerine kuş uçuşu mesafeyi kullanmak olduğu durumda—vatandaşlar yine de ona itiraz etmek için ortaya çıkarmaları gereken bir kara kutuyla karşı karşıya kaldı. Bu durumda, birçok kat siyah kağıda sarılmış bir cam kutuydu.
Mahkemelerimizin algoritmik karar almanın kara kutularını açmasını talep etmenin zamanı geldi. İspat yükünü algoritmaya fiilen erişimi olan tarafa kaydırmalı ve etkili, sistem çapında düzeltmeler için yasal kurallar oluşturmalıyız. Yasal prosedürlerimizi dijital bir toplumun gerçekleriyle eşleşecek şekilde güncelleyene kadar, skandaldan skandala tökezlemeye devam edeceğiz. Adaletsizlik kod tarafından sessizce teslim edildiğinde, hesap verebilirlik yüksek sesle yanıt vermelidir.
Charlotta Kronblad, Göteborg Üniversitesi'nde dijital dönüşüm üzerine araştırma yapmaktadır.
**Sıkça Sorulan Sorular**
İşte Charlotta Kronblad'ın İsveç'te bir algoritmayı mahkemeye götürdüm ve algoritma kazandı başlıklı makalesine dayanan SSS listesi.
**Başlangıç Seviyesi Sorular**
1. **Bu makale ne hakkında?**
İsveçli bir araştırmacının bir devlet algoritmasına mahkemede itiraz etmeye çalıştığı gerçek bir hukuk davası hakkında. Algoritma onunla ilgili bir karar verdi ve bunun haksız olduğunu savundu. Mahkeme algoritma lehine karar verdi.
2. **Algoritma neden kazandı?**
Mahkeme, algoritmanın yazıldığı gibi sadece yasayı takip ettiğine karar verdi. Bir hata yapmadı; kuralları doğru uyguladı. Sorun, algoritmanın arızalanması değil, yasanın kendisinin çok katı olmasıydı.
3. **Gerçekten bir algoritmayı mahkemeye götürebilir misiniz?**
Doğrudan değil. Bir yazılım parçasına dava açamazsınız. Ancak onu kullanan devlet dairesine veya şirkete dava açarak verdiği karara itiraz edebilirsiniz. Bu durumda yazar, İsveç Sosyal Sigorta Kurumu'nun otomatik kararına itiraz etti.
4. **Algoritma ne tür bir karar verdi?**
Uzatılmış ebeveyn izni yardımı başvurusunu reddetti. Algoritma, özel durumunu dikkate almadan, katı gelir ve iş geçmişi kurallarına dayanarak uygunluğunu otomatik olarak hesapladı.
5. **Bu yaygın bir sorun mu?**
Evet, giderek daha fazla hükümet ve şirket, yardımlar, krediler, işe alım ve hatta cezai yargılama hakkında kararlar almak için algoritmalar kullanıyor. Kurallar çok basit olduğunda, olağandışı koşullara sahip kişiler genellikle haksız yere reddediliyor.
**Orta Seviye Sorular**
6. **Yazar neden algoritmanın hatalı olduğunu düşündü?**
Algoritmanın gerçek gelir modelini hesaba katmadığını savundu. Serbest çalışandı, bu nedenle geliri aydan aya istikrarlı değildi. Algoritma, genel olarak yeterince kazanmış olmasına rağmen onu diskalifiye eden katı bir 12 aylık geriye dönük bakış kuralı kullandı.
7. **Mahkemenin algoritmayı destekleme gerekçesi neydi?**
Mahkeme, algoritmanın yasayı tam olarak uygulayan sadece bir araç olduğunu söyledi. Yasa kusurluysa, mahkeme yazılımı suçlayamaz. Yazarın yazılımla değil, yasayı değiştirmesi gerekirdi. Esasen algoritma, sistemin kusurlu kuralları dahilinde doğruydu.
8. **Bu, algoritmaların mahkemede her zaman haklı olduğu anlamına mı gelir?**
Hayır. Bir algoritma taraflıysa, kötü veri kullanıyorsa veya yasayı yanlış uyguluyorsa, mahkemede başarılı bir şekilde itiraz edilebilir. Bu dava, algoritmanın kendisinin değil, uyguladığı yasanın sorunlu olduğu özel bir durumdu.
