Vi kan godt lide at tro, at uretfærdighed gør sig selv højt bemærket. Når noget går galt i et offentligt system, bør alarmer ringe, og nogen bør tage ansvar – eller stilles til ansvar, hvis de ikke gør det. Men i 2020 i Göteborg ankom uretfærdigheden stille og roligt, forklædt som effektivitet.
For første gang brugte byen en algoritme til at placere elever på skoler. Det er trods alt en enorm administrativ hovedpine for enhver kommune at finde ud af skoledistrikter og optagelse. Hvad kunne være bedre end en maskine til at optimere afstande, præferencer og kapacitet? Systemet var beregnet til at tjene offentlig effektivitet: det blev præsenteret som neutralt, strømlinet og objektivt.
Men noget gik frygteligt galt. Hundredvis af børn blev placeret på skoler kilometer fra deres hjem – på tværs af floder og fjorde, over større motorveje, i kvarterer, de aldrig havde besøgt og ikke havde nogen tilknytning til. Forældre stirrede vantro på beslutningerne. Havde nogen tjekket, om en 13-årig sikkert kunne gå den rute om vinteren? Hvilken logik styrede disse valg? Blev deres angivne præferencer simpelthen ignoreret? Ingen i skoleadministrationen syntes i stand til – eller villig til – at forklare, hvad der var sket, eller rette fejlene.
Jeg så dette udfolde sig som forsker i teknologi og tidligere advokat, men også som mor. Min dengang 12-årige søn var et af de børn, der blev påvirket af algoritmen. Vores frustration voksede, da skoleadministrationen ikke reagerede. Roligt fortalte de os, at vi kunne klage, hvis vi havde et problem med vores placering – som om det var et spørgsmål om personlig smag. Som om problemet var individuel utilfredshed, ikke en systemisk fejl. Rundt om køkkenborde i hele byen ulmede den samme forvirring og vrede. Noget var galt, og omfanget af problemet blev tydeligere dag for dag.
Det tog næsten et år, før byens revisorer bekræftede, hvad mange af os havde haft mistanke om: algoritmen havde fået fejlagtige instruktioner. Den beregnede afstande "i fugleflugtslinje", ikke de faktiske gangruter. Göteborg har en stor flod, der løber igennem den. At undlade at tage højde for det betød, at børn stod over for en times transporttid. For mange var det simpelthen umuligt at nå den anden side af floden ved at gå eller cykle – som loven siger, er den rigtige måde at komme i skole på.
Efter en storm af protester fra familier blev procedurerne forbedret til det følgende skoleår. Men for omkring 700 børn, der allerede var påvirket af den fejlbehæftede algoritme, ændrede intet sig. De skulle tilbringe hele deres mellemskoletid på de "forkerte" skoler.
Den officielle linje var, at individuelle klager var nok. Men det misser pointen. Algoritmer træffer ikke bare isolerede beslutninger; de skaber systemer af beslutninger. Når 100 børn fejlagtigt placeres på skoler på den modsatte flodbred, tager de pladserne beregnet til andre. Disse børn bliver så skubbet til forskellige skoler, hvilket igen fortrænger andre. Som dominobrikker kaskaderer fejlene. Ved den femte eller sjette fortrængning bliver uretfærdigheden næsten umulig at opdage, endsige udfordre og bevise i retten.
Tretten-årige børn blev placeret på skoler kilometer væk – på tværs af floder og fjorde, over større motorveje.
Denne algoritmiske uretfærdighed er ikke et abstrakt problem, og den er heller ikke unik for Sverige. Den genlyder smertefuldt af de seneste skandaler i Europa. En er Post Office-skandalen i Storbritannien, hvor Horizon IT-systemet fejlagtigt anklagede hundredvis af posthusoperatører for tyveri, hvilket førte til retsforfølgelser, konkurser og endda fængsling. I årevis blev systemets output behandlet som næsten ufejlbarligt. Menneskelige vidnesbyrd blev bøjet til maskinens autoritet. Et andet eksempel er børnetilskudsskandalen i Holland, hvor et system brugt af den hollandske skattemyndighed fejlagtigt markerede tusindvis af forældre som svindlere. Familier blev styrtet i gæld. Mange mistede deres hjem. Børn blev anbragt i plejefamilier. I begge tilfælde fortsatte de algoritmiske fejl i mange år, da det automatiserede system opererede bag et slør af teknisk kompleksitet og institutionel defensivitet. Fejl hobede sig op. Skaden blev værre. Ansvarlighed haltede bagefter.
Tilbage i Göteborg i 2020 indså jeg, at det ikke ville være nok blot at appellere min søns placering. Man kan ikke løse et systemisk problem med individuelle løsninger. Så som en del af et forskningsprojekt sagsøgte jeg byen for at se, hvad der sker, når algoritmer kommer i retten. Jeg udfordrede ikke kun min søns specifikke placering – jeg udfordrede lovligheden af hele beslutningssystemet og alt, hvad det producerede. Jeg argumenterede for, at algoritmens design brød loven.
Da jeg ikke kunne få adgang til systemet – mine gentagne anmodninger om at se algoritmen blev ignoreret – kunne jeg ikke vise det til retten. I stedet analyserede jeg omhyggeligt hundredvis af placeringer, ved at bruge adresser og skolevalg til at finde ud af, hvordan systemet må have fungeret, og præsenterede det som bevis.
Byens forsvar var chokerende enkelt. De hævdede, at systemet bare var et "støtteværktøj". De sagde, at de ikke havde gjort noget forkert, og fremlagde ingen beviser: ingen tekniske dokumenter, ingen kode, ingen forklaring på, hvordan tingene fungerede.
Og til min overraskelse behøvede de ikke. Retten lagde bevisbyrden på mig. Dommerne sagde, at det var min opgave at vise, at systemet var ulovligt. Min analyse af beslutningerne var ikke nok. Uden direkte bevis for koden kunne jeg ikke opfylde bevisstandarden. Sagen blev afvist. Med andre ord: bevis, hvad der er inde i den sorte boks, eller tab.
Dette – mere end den oprindelige administrative fejl – holder mig vågen om natten. Vi ved, at algoritmer nogle gange fejler. Det er netop derfor, vi har domstole: for at tvinge fremlæggelse, undersøge og rette tingene. Men når juridiske procedurer forbliver fastlåst i fortiden, og når dommere ikke har værktøjerne, færdighederne eller autoriteten til at stille spørgsmålstegn ved algoritmiske systemer, vinder uretfærdigheden. Mens offentlige myndigheder bruger uigennemsigtige systemer i stor skala, bliver borgere, der står over for livsændrende udfald, bedt om at appellere – én efter én – uden nogensinde at se koden bagved.
Lektionerne fra Post Office- og de hollandske børnetilskudsskandaler genlyder det, jeg fandt i Göteborg. Når domstole stoler på teknologi i stedet for at stille spørgsmålstegn ved den, og når bevisbyrden falder på dem, der er blevet skadet, snarere end dem, der byggede og brugte systemet, opstår algoritmisk uretfærdighed ikke bare – den kan vare i årevis. Selv når teknologien i sig selv er enkel, som i Göteborg – hvor fejlen var at bruge fugleflugtslinje i stedet for faktiske gangruter – stod borgerne stadig over for en sort boks, de måtte afdække for at udfordre den. I dette tilfælde var det en glaskasse pakket ind i mange lag sort papir.
Det er på tide at kræve, at vores domstole åbner de sorte bokse for algoritmisk beslutningstagning. Vi er nødt til at flytte bevisbyrden til den part, der faktisk har adgang til algoritmen, og skabe juridiske regler for effektive, systemiske løsninger. Indtil vi opdaterer vores juridiske procedurer, så de matcher virkeligheden i et digitalt samfund, vil vi blive ved med at snuble fra skandale til skandale. Når uretfærdighed leveres stille og roligt af kode, må ansvarlighed svare højt.
Charlotta Kronblad forsker i digital transformation ved Göteborgs Universitet.
**Ofte stillede spørgsmål**
Her er en liste med ofte stillede spørgsmål baseret på artiklen "Jeg tog en algoritme i retten i Sverige. Algoritmen vandt" af Charlotta Kronblad.
**Spørgsmål på begynderniveau**
1. Hvad handler denne artikel om?
Den handler om en virkelig retssag, hvor en svensk forsker forsøgte at udfordre en offentlig algoritme i retten. Algoritmen traf en beslutning om hende, og hun argumenterede for, at den var unfair. Retten afgjorde til fordel for algoritmen.
2. Hvorfor vandt algoritmen?
Retten besluttede, at algoritmen blot fulgte loven, som den var skrevet. Den lavede ikke en fejl – den anvendte reglerne korrekt. Problemet var, at loven i sig selv var for rigid, ikke at algoritmen fungerede dårligt.
3. Kan man virkelig tage en algoritme i retten?
Ikke direkte. Man kan ikke sagsøge et stykke software. Men man kan udfordre den beslutning, den traf, ved at sagsøge den offentlige myndighed eller virksomhed, der brugte den. I dette tilfælde udfordrede forfatteren den svenske Forsikringskasses automatiserede beslutning.
4. Hvilken slags beslutning traf algoritmen?
Den afslog hendes ansøgning om forlænget forældreorlovsydelse. Algoritmen beregnede automatisk hendes berettigelse baseret på strenge regler for indkomst og arbejdshistorie, uden at tage hensyn til hendes specifikke situation.
5. Er dette et almindeligt problem?
Ja, flere og flere regeringer og virksomheder bruger algoritmer til at træffe beslutninger om ydelser, lån, ansættelser og endda strafudmåling. Når reglerne er for simple, bliver folk med usædvanlige omstændigheder ofte uretfærdigt afvist.
**Spørgsmål på mellemniveau**
6. Hvorfor mente forfatteren, at algoritmen tog fejl?
Hun argumenterede for, at algoritmen ikke tog højde for hendes reelle indkomstmønster. Hun var freelancer, så hendes indkomst var ikke stabil måned til måned. Algoritmen brugte en rigid 12-måneders tilbagebliksregel, der diskvalificerede hende, selvom hun samlet set havde tjent nok.
7. Hvad var rettens begrundelse for at give algoritmen medhold?
Retten sagde, at algoritmen blot var et værktøj, der anvendte loven præcist. Hvis loven er mangelfuld, kan retten ikke bebrejde softwaren. Forfatteren ville være nødt til at ændre loven, ikke bekæmpe softwaren. Algoritmen var i bund og grund korrekt inden for systemets fejlbehæftede regler.
8. Betyder det, at algoritmer altid har ret i retten?
Nej. Hvis en algoritme er partisk, bruger dårlige data eller
