Tässä on suomennos annetusta tekstistä ilman lisäyksiä, muutoksia tai vaihtoehtoisia käännöksiä:
Me haluamme ajatella, että epäoikeudenmukaisuus ilmoittaa itsestään äänekkäästi. Kun jotain menee pieleen julkisessa järjestelmässä, hälytyskellojen pitäisi soida ja jonkun pitäisi ottaa vastuu – tai joutua tilille, jos he eivät sitä tee. Mutta vuonna 2020 Göteborgissa epäoikeudenmukaisuus saapui hiljaa, tehokkuudeksi naamioituneena.
Ensimmäistä kertaa kaupunki käytti algoritmia sijoittaakseen oppilaita kouluihin. Loppujen lopuksi koulualueiden ja -valintojen selvittäminen on valtava hallinnollinen päänsärky mille tahansa kunnalle. Mikä voisi olla parempaa kuin kone optimoimaan etäisyyksiä, mieltymyksiä ja kapasiteettia? Järjestelmän oli tarkoitus palvella julkista tehokkuutta: se esiteltiin neutraalina, virtaviivaisena ja objektiivisena.
Mutta jotain meni pahasti pieleen. Sadat lapset sijoitettiin kouluihin, jotka olivat kilometrien päässä heidän kodeistaan – jokien ja vuonojen yli, suurten moottoriteiden yli, lähiöissä, joissa he eivät olleet koskaan käyneet ja joihin heillä ei ollut mitään yhteyttä. Vanhemmat tuijottivat päätöksiä epäuskoisina. Oliko kukaan tarkistanut, pystyikö 13-vuotias kulkemaan sitä reittiä turvallisesti talvella? Mikä logiikka ohjasi näitä valintoja? Oliko heidän ilmoittamiaan mieltymyksiä yksinkertaisesti jätetty huomiotta? Kukaan kouluhallinnossa ei näyttänyt pystyvän – tai haluavan – selittämään, mitä oli tapahtunut tai korjaamaan virheitä.
Seurasin tätä tutkijana teknologian alalla ja entisenä lakimiehenä, mutta myös äitinä. Silloinen 12-vuotias poikani oli yksi algoritmin vaikutuksen alaisista lapsista. Turhautumisemme kasvoi, kun kouluhallinto ei kyennyt vastaamaan. Rauhallisesti he kertoivat, että voisimme valittaa, jos meillä oli ongelma sijoituksemme kanssa – ikään kuin se olisi henkilökohtainen makuasia. Ikään kuin kyse olisi yksilöllisestä tyytymättömyydestä, ei koko järjestelmänlaajuisesta epäonnistumisesta. Keittiönpöytien ääressä ympäri kaupunkia samaa hämmennystä ja vihaa kytei. Jokin oli vialla, ja ongelman laajuus kävi selvemmäksi päivä päivältä.
Kesti lähes vuosi, ennen kuin kaupungin tarkastajat vahvistivat sen, mitä monet meistä olivat epäilleet: algoritmille oli annettu virheelliset ohjeet. Se laski etäisyydet "linnuntietä", ei todellisia kävelyreittejä. Göteborgin halki virtaa suuri joki. Sen huomiotta jättäminen tarkoitti, että lapset kohtasivat tunnin mittaisia työmatkoja. Monille joen toiselle puolelle pääseminen kävellen tai pyörällä – kuten laki sanoo olevan oikea tapa kulkea kouluun – oli yksinkertaisesti mahdotonta.
Perheiden vastalauseiden jälkeen menettelyjä parannettiin seuraavaksi lukuvuodeksi. Mutta noin 700 lapselle, joita virheellinen algoritmi oli jo koskettanut, mikään ei muuttunut. He viettäisivät koko yläasteaikansa "väärien" koulujen oppilaina.
Virallinen linja oli, että yksittäiset valitukset riittivät. Mutta se ei ota huomioon olennaista. Algoritmit eivät tee vain yksittäisiä päätöksiä; ne luovat päätösjärjestelmiä. Kun 100 lasta on sijoitettu väärin kouluihin vastakkaiselle joenrannalle, he vievät paikat, jotka on tarkoitettu muille. Nämä lapset työnnetään sitten eri kouluihin, syrjäyttäen vuorostaan muita. Kuten dominopalikat, virheet kasaantuvat. Viidennen tai kuudennen syrjäytyksen kohdalla epäoikeudenmukaisuudesta tulee lähes mahdotonta havaita, saati haastaa ja todistaa oikeudessa.
Kolmetoistavuotiaat lapset sijoitettiin kouluihin kilometrien päähän – jokien ja vuonojen yli, suurten moottoriteiden yli.
Tämä algoritminen epäoikeudenmukaisuus ei ole abstrakti ongelma, eikä se ole ainutlaatuinen Ruotsille. Se toistaa tuskallisesti viimeaikaisia skandaaleja ympäri Eurooppaa. Yksi on Post Office -skandaali Isossa-Britanniassa, jossa Horizon IT -järjestelmä syytti virheellisesti satoja postitoimiston hoitajia varkaudesta, johtaen syytteisiin, konkurssiin ja jopa vankeusrangaistuksiin. Vuosien ajan järjestelmän tuotosta kohdeltiin lähes erehtymättömänä. Ihmisten todistukset taivutettiin koneen auktoriteetin alle. Toinen esimerkki on lastenhoitotukiskandaali Alankomaissa, jossa Hollannin veroviranomaisen käyttämä järjestelmä leimasi virheellisesti tuhansia vanhempia petoksentekijöiksi. Perheet ajautuivat velkaan. Monet menettivät kotinsa. Lapset otettiin sijaisperheisiin. Molemmissa tapauksissa algoritmiset epäonnistumiset jatkuivat useita vuosia, kun automatisoitu järjestelmä toimi teknisen monimutkaisuuden ja institutionaalisen puolustuskannalla olemisen verhon takana. Virheet kasautuivat. Haitta paheni. Tilivelvollisuus jäi jälkeen.
Palatakseni Göteborgiin vuonna 2020, tajusin, ettei pelkkä poikani sijoituksesta valittaminen riittäisi. Systeemistä ongelmaa ei voi korjata yksittäisillä korjauksilla. Joten osana tutkimusprojektia haastoin kaupungin oikeuteen nähdäkseni, mitä tapahtuu, kun algoritmit menevät oikeuteen. En haastanut vain poikani tiettyä sijoitusta – haastoin koko päätöksentekojärjestelmän ja kaiken sen tuottaman laillisuuden. Väitin, että algoritmin suunnittelu rikkoi lakia.
Koska en päässyt käsiksi järjestelmään – toistuvat pyyntöni nähdä algoritmi jätettiin huomiotta – en voinut näyttää sitä oikeudelle. Sen sijaan analysoin huolellisesti satoja sijoituksia käyttäen osoitteita ja kouluvalintoja selvittääkseni, miten järjestelmän on täytynyt toimia, ja esitin sen todisteena.
Kaupungin puolustus oli järkyttävän yksinkertainen. He väittivät järjestelmän olevan vain "tukityökalu". He sanoivat, etteivät tehneet mitään väärin, eivätkä tarjonneet mitään todisteita: ei teknisiä asiakirjoja, ei koodia, ei selitystä siitä, miten asiat toimivat.
Ja yllätyksekseni heidän ei tarvinnut. Oikeus asetti todistustaakan minulle. Tuomarit sanoivat, että minun tehtäväni oli osoittaa järjestelmän olevan laiton. Analyysini päätöksistä ei riittänyt. Ilman suoria todisteita koodista en pystynyt täyttämään todistustaakan vaatimusta. Asia hylättiin. Toisin sanoen: todista, mitä mustan laatikon sisällä on, tai häviä.
Tämä – enemmän kuin alkuperäinen hallinnollinen epäonnistuminen – pitää minut hereillä öisin. Tiedämme, että algoritmit joskus epäonnistuvat. Juuri siksi meillä on tuomioistuimet: pakottaa tiedonantoon, tutkia ja korjata asioita. Mutta kun oikeudelliset menettelyt pysyvät juuttuneina menneisyyteen, ja kun tuomareilla ei ole työkaluja, taitoja tai valtuuksia kyseenalaistaa algoritmisia järjestelmiä, epäoikeudenmukaisuus voittaa. Kun julkiset viranomaiset käyttävät läpinäkymättömiä järjestelmiä laajassa mittakaavassa, kansalaisille, jotka kohtaavat elämää muuttavia seurauksia, sanotaan valittavan – yksi kerrallaan – näkemättä koskaan sen takana olevaa koodia.
Oppitunnit Post Officen ja Alankomaiden lastenhoitotukiskandaaleista kaikuvat sitä, mitä löysin Göteborgissa. Kun tuomioistuimet luottavat teknologiaan sen kyseenalaistamisen sijaan, ja kun todistustaakka lankeaa niille, joille on aiheutettu haittaa, eikä niille, jotka rakensivat ja käyttivät järjestelmää, algoritminen epäoikeudenmukaisuus ei vain ilmesty – se voi kestää vuosia. Vaikka teknologia itsessään on yksinkertainen, kuten Göteborgissa – missä virhe oli suoran etäisyyden käyttäminen todellisten kävelyreittien sijaan – kansalaiset kohtasivat silti mustan laatikon, jonka heidän täytyi paljastaa haastaakseen sen. Tässä tapauksessa se oli lasilaatikko, joka oli kääritty moniin kerroksiin mustaa paperia.
On aika vaatia, että tuomioistuimemme avaavat algoritmisen päätöksenteon mustat laatikot. Meidän on siirrettävä todistustaakka sille osapuolelle, jolla on tosiasiallisesti pääsy algoritmiin, ja luotava oikeudellisia sääntöjä tehokkaille, järjestelmänlaajuisille korjauksille. Ennen kuin päivitämme oikeudelliset menettelymme vastaamaan digitaalisen yhteiskunnan todellisuutta, kompastelemme skandaalista toiseen. Kun epäoikeudenmukaisuus toimitetaan hiljaa koodin välityksellä, tilivelvollisuuden on vastattava äänekkäästi.
Charlotta Kronblad tutkii digitaalista muutosta Göteborgin yliopistossa.
**Usein kysytyt kysymykset**
Tässä on lista UKK:ista, jotka perustuvat Charlotta Kronbladin artikkeliin "Vein algoritmin oikeuteen Ruotsissa – Algoritmi voitti".
**Aloittelijan tason kysymykset**
1. **Mistä tämä artikkeli kertoo?**
Se kertoo todellisesta oikeustapauksesta, jossa ruotsalainen tutkija yritti haastaa hallituksen algoritmin oikeudessa. Algoritmi teki päätöksen, joka koski häntä, ja hän väitti sen olevan epäoikeudenmukainen. Oikeus päätti algoritmin hyväksi.
2. **Miksi algoritmi voitti?**
Oikeus päätti, että algoritmi vain noudatti lakia sellaisena kuin se on kirjoitettu. Se ei tehnyt virhettä – se sovelsi sääntöjä oikein. Ongelma oli, että laki itsessään oli liian jäykkä, ei se, että algoritmi toimi väärin.
3. **Voiko algoritmin todella viedä oikeuteen?**
Ei suoraan. Et voi haastaa ohjelmistoa oikeuteen. Mutta voit haastaa sen tekemän päätöksen haastamalla oikeuteen sen viraston tai yrityksen, joka sitä käytti. Tässä tapauksessa kirjoittaja haastoi Ruotsin sosiaalivakuutusviraston automatisoidun päätöksen.
4. **Millaisen päätöksen algoritmi teki?**
Se hylkäsi hänen hakemuksensa pidennetyistä vanhempainrahasta. Algoritmi laski automaattisesti hänen kelpoisuutensa tiukkojen tulo- ja työhistoriasääntöjen perusteella ottamatta huomioon hänen erityistilannettaan.
5. **Onko tämä yleinen ongelma?**
Kyllä, yhä useammat hallitukset ja yritykset käyttävät algoritmeja tehdäkseen päätöksiä etuuksista, lainoista, työpaikoista ja jopa rikosoikeudellisesta tuomitsemisesta. Kun säännöt ovat liian yksinkertaisia, ihmiset, joilla on epätavallisia olosuhteita, tulevat usein epäoikeudenmukaisesti hylätyiksi.
**Keskitasoisen tason kysymykset**
6. **Miksi kirjoittaja ajatteli algoritmin olevan väärässä?**
Hän väitti, että algoritmi ei ottanut huomioon hänen todellista tulorakennettaan. Hän oli freelancer, joten hänen tulonsa eivät olleet tasaisia kuukausittain. Algoritmi käytti jäykkää 12 kuukauden taaksepäin katsovaa sääntöä, joka teki hänestä kelvottoman, vaikka hän oli ansainnut tarpeeksi kokonaisuutena.
7. **Mikä oli oikeuden perustelu algoritmin puolelle asettumiselle?**
Oikeus sanoi, että algoritmi oli vain työkalu, joka sovelsi lakia täsmälleen. Jos laki on puutteellinen, oikeus ei voi syyttää algoritmia. Kirjoittajan täytyisi muuttaa lakia, ei taistella ohjelmistoa vastaan. Pohjimmiltaan algoritmi oli oikeassa järjestelmän puutteellisten sääntöjen puitteissa.
8. **Tarkoittaako tämä, että algoritmit ovat aina oikeassa oikeudessa?**
Ei. Jos algoritmi on puolueellinen, käyttää huonoa dataa tai on suunniteltu rikkomaan lakia, se voidaan haastaa. Tässä tapauksessa algoritmi toimi täsmälleen niin kuin se oli ohjelmoitu, ja ongelma oli taustalla olevassa laissa.
