Szeretünk úgy gondolni, hogy az igazságtalanság hangosan adja tudtára magát. Amikor valami rosszul sül el egy közrendszerben, riasztóknak kellene megszólalniuk, és valakinek vállalnia kellene a felelősséget – vagy ha nem teszi, akkor felelősségre kellene vonni. De 2020-ban Göteborgban az igazságtalanság csendesen érkezett, hatékonyságnak álcázva magát.
A város először használt algoritmust a diákok iskolákba osztására. Hiszen a körzetek és felvételek meghatározása hatalmas adminisztratív fejfájást okoz bármely önkormányzatnak. Mi lehetne jobb, mint egy gép, amely optimalizálja a távolságokat, preferenciákat és kapacitást? A rendszer a közhatékonyságot szolgálta: semlegesnek, áramvonalasnak és objektívnek mutatták be.
De valami rettenetesen elromlott. Több száz gyereket olyan iskolákba osztottak be, amelyek mérföldekre voltak otthonuktól – folyókon és fjordokon át, főutakon túl, olyan környékeken, ahol soha nem jártak, és amelyekhez semmi kötődésük nem volt. A szülők hitetlenkedve bámulták a döntéseket. Ellenőrizte-e valaki, hogy egy 13 éves biztonságosan meg tudja-e tenni azt az utat gyalog télen? Milyen logika vezérelte ezeket a választásokat? Egyszerűen figyelmen kívül hagyták a megadott preferenciáikat? Az iskolai adminisztrációban senki sem tűnt képesnek – vagy hajlandónak – megmagyarázni, mi történt, vagy kijavítani a hibákat.
Ezt kutatóként és egykori ügyvédként, de anyaként is figyeltem. Az akkor 12 éves fiam is az algoritmus által érintett gyerekek között volt. Frusztrációnk nőtt, ahogy az iskolai adminisztráció nem reagált. Nyugodtan közölték, hogy fellebbezhetünk, ha problémánk van a beosztással – mintha ízlés dolga lenne. Mintha a probléma egyéni elégedetlenség lenne, nem pedig rendszerszintű kudarc. A város konyhaasztalainál ugyanaz a zavar és harag fortyogott. Valami nem stimmelt, és a probléma mértéke napról napra világosabbá vált.
Majdnem egy évbe telt, mire a városi ellenőrök megerősítették, amit sokan sejtettünk: az algoritmus hibás utasításokat kapott. A távolságokat „légvonalban" számolta, nem a tényleges gyalogutak alapján. Göteborgon egy nagy folyó folyik keresztül. Ennek figyelmen kívül hagyása azt jelentette, hogy a gyerekek egyórás ingázással szembesültek. Sokak számára a folyó túloldalának elérése gyalog vagy biciklivel – ahogy a törvény szerint az iskolába jutás megfelelő módja – egyszerűen lehetetlen volt.
A családok felháborodása után a következő tanévre javítottak az eljárásokon. De a nagyjából 700, a hibás algoritmus által már érintett gyerek számára semmi sem változott. Egész alsó tagozatos éveiket a „rossz" iskolákban töltötték.
A hivatalos álláspont az volt, hogy az egyéni fellebbezések elegendőek. De ez elvéti a lényeget. Az algoritmusok nem csak elszigetelt döntéseket hoznak; döntési rendszereket hoznak létre. Amikor 100 gyereket rosszul helyeznek el a folyó túloldalán lévő iskolákban, elfoglalják a másoknak szánt helyeket. Azokat a gyerekeket aztán más iskolákba tolják, akik sorra másokat szorítanak ki. Mint a dominók, a hibák lavinaszerűen terjednek. Az ötödik vagy hatodik áthelyezésre az igazságtalanság szinte észrevehetetlenné válik, nemhogy megtámadható és bizonyítható lenne a bíróságon.
Tizenhárom éves gyerekeket osztottak be mérföldekre lévő iskolákba – folyókon és fjordokon át, főutakon túl.
Ez az algoritmikus igazságtalanság nem elvont probléma, és nem is egyedi Svédországra. Fájdalmasan visszaköszön a közelmúlt európai botrányaiból. Az egyik a brit Post Office-botrány, ahol a Horizon IT rendszer hamisan vádolt meg több száz postahivatali üzemeltetőt lopással, ami vádemelésekhez, csődökhöz és akár börtönbüntetésekhez vezetett. Évekig a rendszer kimenetét szinte csalhatatlannak kezelték. Az emberi tanúvallomásokat a gép tekintélyéhez igazították. Egy másik példa a hollandiai gyermekgondozási támogatási botrány, ahol a holland adóhatóság által használt rendszer tévesen jelölt meg több ezer szülőt csalóként. Családok merültek adósságba. Sokan elvesztették otthonukat. Gyerekeket vettek nevelőszülőkhöz. Mindkét esetben az algoritmikus hibák évekig folytatódtak, mivel az automatizált rendszer a technikai bonyolultság és az intézményi védekezés fátyla mögött működött. A hibák halmozódtak. A kár súlyosbodott. Az elszámoltathatóság lemaradt.
Vissza Göteborgba 2020-ban, rájöttem, hogy egyszerűen fellebbezni a fiam beosztása ellen nem lenne elég. Nem lehet egy rendszerszintű problémát egyéni javításokkal orvosolni. Ezért egy kutatási projekt részeként bepereltem a várost, hogy meglássam, mi történik, amikor az algoritmusok bíróság elé kerülnek. Nemcsak a fiam konkrét beosztását támadtam meg – megtámadtam a teljes döntéshozatali rendszer jogszerűségét és mindent, amit az produkált. Azzal érveltem, hogy az algoritmus kialakítása törvénybe ütközik.
Mivel nem fértem hozzá a rendszerhez – az algoritmus megtekintésére irányuló ismételt kéréseimet figyelmen kívül hagyták – nem tudtam bemutatni a bíróságnak. Ehelyett gondosan elemeztem több száz beosztást, címeket és iskolaválasztásokat használva, hogy kitaláljam, hogyan működhetett a rendszer, és ezt bizonyítékként mutattam be.
A város védekezése megdöbbentően egyszerű volt. Azt állították, hogy a rendszer csak egy „támogató eszköz". Azt mondták, nem tettek semmi rosszat, és nem szolgáltattak bizonyítékot: sem műszaki dokumentumokat, sem kódot, sem magyarázatot arra, hogyan működtek a dolgok.
És meglepetésemre nem is kellett. A bíróság rám hárította a bizonyítási terhet. A bírák szerint az én feladatom volt bizonyítani, hogy a rendszer jogellenes. A döntések elemzése nem volt elég. A kód közvetlen bizonyítéka nélkül nem tudtam megfelelni a bizonyítási követelménynek. Az ügyet elutasították. Más szóval: bizonyítsd be, mi van a fekete dobozban, vagy veszíts.
Ez – jobban, mint az eredeti adminisztratív kudarc – tart ébren éjszakánként. Tudjuk, hogy az algoritmusok néha hibáznak. Pontosan ezért vannak bíróságaink: hogy kikényszerítsék a nyilvánosságra hozatalt, megvizsgálják és kijavítsák a dolgokat. De amikor a jogi eljárások a múltban ragadnak, és amikor a bíráknak nincsenek eszközeik, készségeik vagy felhatalmazásuk az algoritmikus rendszerek megkérdőjelezésére, az igazságtalanság győz. Míg a közintézmények nagymértékben használnak átláthatatlan rendszereket, az életüket megváltoztató következményekkel szembesülő polgároknak azt mondják, fellebbezzenek – egyenként – anélkül, hogy valaha is látnák a mögötte lévő kódot.
A Post Office és a holland gyermekgondozási támogatási botrány tanulságai visszaköszönnek abból, amit Göteborgban találtam. Amikor a bíróságok megbíznak a technológiában ahelyett, hogy megkérdőjeleznék, és amikor a bizonyítási teher a károsultakra hárul ahelyett, hogy azokra, akik a rendszert építették és használták, az algoritmikus igazságtalanság nemcsak megjelenik – évekig eltarthat. Még akkor is, ha maga a technológia egyszerű, mint Göteborgban – ahol a hiba az volt, hogy légvonalbeli távolságot használtak a tényleges gyalogutak helyett – a polgárok továbbra is egy fekete dobozzal szembesültek, amelyet fel kellett tárniuk a megtámadáshoz. Ebben az esetben ez egy üveg doboz volt, sok réteg fekete papírba csomagolva.
Itt az ideje, hogy követeljük bíróságainktól az algoritmikus döntéshozatal fekete dobozainak felnyitását. Át kell helyeznünk a bizonyítási terhet arra a félre, aki ténylegesen hozzáfér az algoritmushoz, és jogi szabályokat kell alkotnunk a hatékony, rendszerszintű javításokhoz. Amíg nem frissítjük jogi eljárásainkat, hogy megfeleljenek a digitális társadalom valóságának, továbbra is botrányról botrányra botladozunk. Amikor az igazságtalanságot csendesen kézbesíti a kód, az elszámoltathatóságnak hangosan kell válaszolnia.
Charlotta Kronblad a digitális átalakulást kutatja a Göteborgi Egyetemen.
Gyakran Ismételt Kérdések
Íme egy GYIK-lista a Charlotta Kronblad által írt "Bíróság elé vittem egy algoritmust Svédországban. Az algoritmus nyert." című cikk alapján.
Kezdő Szintű Kérdések
1 Miről szól ez a cikk
Egy valós jogi esetről szól, ahol egy svéd kutató megpróbált bíróság előtt megtámadni egy kormányzati algoritmust. Az algoritmus hozott egy döntést vele kapcsolatban, és azzal érvelt, hogy az igazságtalan. A bíróság az algoritmus javára döntött.
2 Miért nyert az algoritmus
A bíróság úgy döntött, hogy az algoritmus csak a törvényt követte, ahogy az meg van írva. Nem követett el hibát – helyesen alkalmazta a szabályokat. A probléma az volt, hogy maga a törvény volt túl merev, nem az algoritmus hibásodott meg.
3 Tényleg bíróság elé lehet állítani egy algoritmust
Nem közvetlenül. Nem perelhetsz be egy szoftvert. De megtámadhatod az általa hozott döntést azáltal, hogy bepereled a kormányzati ügynökséget vagy céget, amely használta. Ebben az esetben a szerző a Svéd Társadalombiztosítási Ügynökség automatizált döntését támadta meg.
4 Milyen döntést hozott az algoritmus
Elutasította a meghosszabbított szülői szabadság után járó juttatás iránti kérelmét. Az algoritmus automatikusan kiszámította a jogosultságát szigorú jövedelmi és munkatörténeti szabályok alapján, anélkül, hogy figyelembe vette volna a konkrét helyzetét.
5 Ez gyakori probléma
Igen, egyre több kormány és vállalat használ algoritmusokat döntések meghozatalára juttatásokról, hitelekről, munkaerő-felvételről és akár büntetőjogi ítéletekről is. Amikor a szabályok túl egyszerűek, a szokatlan körülmények között élő embereket gyakran igazságtalanul utasítják el.
Középhaladó Szintű Kérdések
6 Miért gondolta a szerző, hogy az algoritmus rosszul járt el
Azzal érvelt, hogy az algoritmus nem vette figyelembe a valós jövedelmi mintáját. Szabadúszó volt, így a jövedelme nem volt hónapról hónapra egyenletes. Az algoritmus egy merev 12 hónapos visszatekintési szabályt használt, ami kizárta őt, annak ellenére, hogy összességében eleget keresett.
7 Mi volt a bíróság érvelése az algoritmus mellett
A bíróság azt mondta, hogy az algoritmus csak egy eszköz volt, amely pontosan alkalmazta a törvényt. Ha a törvény hibás, a bíróság nem hibáztathatja az algoritmust. A szerzőnek a törvényt kellene megváltoztatnia, nem a szoftverrel harcolnia. Lényegében az algoritmus helyes volt a rendszer hibás szabályain belül.
8 Ez azt jelenti, hogy az algoritmusok mindig igazat kapnak a bíróságon
Nem. Ha egy algoritmus elfogult, rossz adatokat használ
