Vi liker å tro at urettferdighet gjør seg høyt kjent. Når noe går galt i et offentlig system, bør alarmene ringe, og noen bør ta ansvar – eller stilles til ansvar hvis de ikke gjør det. Men i 2020 i Göteborg kom urettferdigheten stille, forkledd som effektivitet.
For første gang brukte byen en algoritme for å plassere elever i skoler. Å finne ut av skolekretser og opptak er tross alt en enorm administrativ hodepine for enhver kommune. Hva kunne være bedre enn en maskin for å optimalisere avstander, preferanser og kapasitet? Systemet var ment å tjene offentlig effektivitet: det ble presentert som nøytralt, strømlinjeformet og objektivt.
Men noe gikk fryktelig galt. Hundrevis av barn ble plassert på skoler milevis fra hjemmene sine – over elver og fjorder, over store motorveier, i nabolag de aldri hadde besøkt og ikke hadde noen tilknytning til. Foreldre stirret vantro på vedtakene. Hadde noen sjekket om en 13-åring trygt kunne gå den ruten om vinteren? Hvilken logikk styrte disse valgene? Ble deres oppgitte preferanser rett og slett ignorert? Ingen i skoleadministrasjonen så ut til å kunne – eller være villig til – å forklare hva som hadde skjedd eller rette opp feilene.
Jeg så dette utfolde seg som forsker innen teknologi og tidligere advokat, men også som mor. Min da 12 år gamle sønn var et av barna som ble berørt av algoritmen. Frustrasjonen vokste etter hvert som skoleadministrasjonen ikke responderte. Rolig fortalte de oss at vi kunne klage hvis vi hadde et problem med plasseringen vår – som om det var et spørsmål om personlig smak. Som om problemet var individuell misnøye, ikke en systemisk svikt. Rundt kjøkkenbord over hele byen kokte den samme forvirringen og sinnet. Noe var galt, og omfanget av problemet ble klarere for hver dag.
Det tok nesten et år før byens revisorer bekreftet det mange av oss hadde mistenkt: algoritmen hadde fått feilaktige instruksjoner. Den beregnet avstander «i luftlinje», ikke de faktiske gangrutene. Göteborg har en stor elv som renner gjennom byen. Å ikke ta hensyn til det betydde at barn sto overfor timeslange reiseveier. For mange var det rett og slett umulig å komme seg til den andre siden av elven til fots eller på sykkel – slik loven sier er den riktige måten å komme seg til skolen på.
Etter protester fra familier ble prosedyrene forbedret for det påfølgende skoleåret. Men for omtrent 700 barn som allerede var berørt av den feilaktige algoritmen, endret ingenting seg. De skulle tilbringe hele ungdomsskoletiden på «feil» skoler.
Den offisielle linjen var at individuelle klager var nok. Men det misser poenget. Algoritmer tar ikke bare isolerte beslutninger; de skaper systemer av beslutninger. Når 100 barn feilaktig plasseres på skoler på motsatt elvebredd, tar de plassene som var ment for andre. Disse barna blir da dyttet til andre skoler, og fortrenger i sin tur andre. Som dominobrikker forplanter feilene seg. Ved den femte eller sjette fortrengningen blir urettferdigheten nesten umulig å oppdage, langt mindre utfordre og bevise i retten.
Tretten år gamle barn ble plassert på skoler milevis unna – over elver og fjorder, over store motorveier.
Denne algoritmiske urettferdigheten er ikke et abstrakt problem, og den er heller ikke unik for Sverige. Den gjør smertefullt ekko i nyere skandaler over hele Europa. En er Post Office-skandalen i Storbritannia, der Horizon IT-systemet feilaktig anklaget hundrevis av postkontoroperatører for tyveri, noe som førte til rettsforfølgelse, konkurser og til og med fengsling. I årevis ble systemets output behandlet som nesten ufeilbarlig. Menneskelig vitnemål ble bøyd etter maskinens autoritet. Et annet eksempel er barneomsorgsstøtteskandalen i Nederland, der et system brukt av nederlandske skattemyndigheter feilaktig flagget tusenvis av foreldre som svindlere. Familier ble kastet ut i gjeld. Mange mistet hjemmene sine. Barn ble plassert i fosterhjem. I begge tilfeller fortsatte de algoritmiske feilene i mange år, ettersom det automatiserte systemet opererte bak et slør av teknisk kompleksitet og institusjonell defensivitet. Feilene hopet seg opp. Skaden ble verre. Ansvarliggjøringen haltet etter.
Tilbake i Göteborg i 2020 innså jeg at det ikke ville være nok å bare klage på sønnens plassering. Du kan ikke fikse et systemisk problem med individuelle løsninger. Så, som en del av et forskningsprosjekt, saksøkte jeg byen for å se hva som skjer når algoritmer går til retten. Jeg utfordret ikke bare sønnens spesifikke plassering – jeg utfordret lovligheten av hele beslutningssystemet og alt det produserte. Jeg argumenterte for at algoritmens utforming brøt loven.
Siden jeg ikke fikk tilgang til systemet – mine gjentatte forespørsler om å se algoritmen ble ignorert – kunne jeg ikke vise det til retten. I stedet analyserte jeg nøye hundrevis av plasseringer, ved å bruke adresser og skolevalg for å finne ut hvordan systemet må ha fungert, og presenterte det som bevis.
Byens forsvar var sjokkerende enkelt. De hevdet at systemet bare var et «støtteverktøy». De sa at de ikke hadde gjort noe galt og tilbød ingen bevis: ingen tekniske dokumenter, ingen kode, ingen forklaring på hvordan ting fungerte.
Og til min overraskelse trengte de ikke det. Retten la bevisbyrden på meg. Dommerne sa at det var min jobb å vise at systemet var ulovlig. Min analyse av vedtakene var ikke nok. Uten direkte bevis på koden kunne jeg ikke oppfylle beviskravet. Saken ble avvist. Med andre ord: bevis hva som er inne i den svarte boksen, eller tap.
Dette – mer enn den opprinnelige administrative svikten – holder meg våken om natten. Vi vet at algoritmer noen ganger svikter. Det er nettopp derfor vi har domstoler: for å tvinge frem innsyn, undersøke og rette opp ting. Men når juridiske prosedyrer forblir fastlåst i fortiden, og når dommere ikke har verktøyene, ferdighetene eller autoriteten til å stille spørsmål ved algoritmiske systemer, vinner urettferdigheten. Mens offentlige etater bruker ugjennomsiktige systemer i stor skala, blir borgere som står overfor livsforandrende utfall bedt om å klage – én etter én – uten noen gang å se koden bak.
Lærdommene fra Post Office- og den nederlandske barneomsorgsstøtteskandalen gjenspeiler det jeg fant i Göteborg. Når domstoler stoler på teknologi i stedet for å stille spørsmål ved den, og når bevisbyrden faller på de som er skadelidende snarere enn de som bygde og brukte systemet, oppstår ikke bare algoritmisk urettferdighet – den kan vare i årevis. Selv når teknologien i seg selv er enkel, som i Göteborg – der feilen var å bruke luftlinjeavstand i stedet for faktiske gangruter – møtte innbyggerne fortsatt en svart boks de måtte avdekke for å utfordre den. I dette tilfellet var det en glassboks pakket inn i mange lag svart papir.
Det er på tide å kreve at våre domstoler åpner de svarte boksene med algoritmisk beslutningstaking. Vi må flytte bevisbyrden til den parten som faktisk har tilgang til algoritmen, og skape juridiske regler for effektive, systemomfattende løsninger. Inntil vi oppdaterer våre juridiske prosedyrer for å matche virkeligheten i et digitalt samfunn, vil vi fortsette å snuble fra skandale til skandale. Når urettferdighet leveres stille av kode, må ansvarliggjøringen svare høyt.
Charlotta Kronblad forsker på digital transformasjon ved Göteborgs universitet.
**Ofte stilte spørsmål**
Her er en liste med ofte stilte spørsmål basert på artikkelen Jeg tok en algoritme til retten i Sverige. Algoritmen vant av Charlotta Kronblad.
**Spørsmål på nybegynnernivå**
1. Hva handler denne artikkelen om?
Den handler om en virkelig rettssak der en svensk forsker prøvde å utfordre en offentlig algoritme i retten. Algoritmen tok en beslutning om henne, og hun argumenterte for at den var urettferdig. Retten avgjorde til fordel for algoritmen.
2. Hvorfor vant algoritmen?
Retten bestemte at algoritmen bare fulgte loven slik den var skrevet. Den gjorde ingen feil – den anvendte reglene korrekt. Problemet var at loven i seg selv var for rigid, ikke at algoritmen fungerte feil.
3. Kan man virkelig ta en algoritme til retten?
Ikke direkte. Du kan ikke saksøke et stykke programvare. Men du kan utfordre beslutningen den tok ved å saksøke offentlig etat eller selskapet som brukte den. I dette tilfellet utfordret forfatteren den svenske Forsikringskassens automatiserte vedtak.
4. Hva slags beslutning tok algoritmen?
Den avslo søknaden hennes om utvidet foreldrepengeytelse. Algoritmen beregnet automatisk hennes kvalifisering basert på strenge regler for inntekt og arbeidshistorikk, uten å ta hensyn til hennes spesifikke situasjon.
5. Er dette et vanlig problem?
Ja, flere og flere myndigheter og selskaper bruker algoritmer for å ta beslutninger om ytelser, lån, ansettelser og til og med straffeutmåling. Når reglene er for enkle, blir personer med uvanlige omstendigheter ofte urettferdig avvist.
**Spørsmål på mellomnivå**
6. Hvorfor mente forfatteren at algoritmen tok feil?
Hun argumenterte for at algoritmen ikke tok hensyn til hennes faktiske inntektsmønster. Hun var frilanser, så inntekten hennes var ikke jevn måned til måned. Algoritmen brukte en rigid 12-måneders tilbakeskuingsregel som diskvalifiserte henne, selv om hun totalt sett hadde tjent nok.
7. Hva var rettens begrunnelse for å støtte algoritmen?
Retten sa at algoritmen bare var et verktøy som anvendte loven nøyaktig. Hvis loven er mangelfull, kan ikke retten klandre algoritmen. Forfatteren ville trenge å endre loven, ikke bekjempe programvaren. Algoritmen var i hovedsak korrekt innenfor systemets mangelfulle regler.
8. Betyr dette at algoritmer alltid har rett i retten?
Nei. Hvis en algoritme er partisk, bruker dårlige data
