Jag stämde en algoritm i Sverige. Algoritmen vann. | Charlotta Kronblad

Vi vill gärna tro att orättvisor gör sig hörda högt och tydligt. När något går fel i ett offentligt system borde larmklockor ringa, och någon borde ta ansvar – eller ställas till svars om de inte gör det. Men 2020 i Göteborg kom orättvisan tyst, utklädd till effektivitet. För första gången använde staden en algoritm för att placera elever i skolor. Att bestämma skolzoner och antagning är trots allt en enorm administrativ huvudvärk för varje kommun. Vad kunde vara bättre än en maskin för att optimera avstånd, preferenser och kapacitet? Systemet var tänkt att tjäna offentlig effektivitet: det presenterades som neutralt, strömlinjeformat och objektivt. Men något gick fruktansvärt fel. Hundratals barn placerades i skolor mil från sina hem – över floder och fjordar, över stora motorvägar, i stadsdelar de aldrig besökt och inte hade någon koppling till. Föräldrar stirrade på besluten i misstro. Hade någon kontrollerat om en 13-åring säkert kunde gå den vägen på vintern? Vilken logik styrde dessa val? Hade deras angivna preferenser helt enkelt ignorerats? Ingen inom skolförvaltningen verkade kunna – eller villig – att förklara vad som hade hänt eller åtgärda misstagen. Jag såg detta utvecklas som forskare inom teknik och tidigare jurist, men också som mamma. Min då 12-årige son var ett av barnen som påverkades av algoritmen. Vår frustration växte när skolförvaltningen inte svarade. Lugnt sa de till oss att vi kunde överklaga om vi hade problem med vår placering – som om det vore en fråga om personlig smak. Som om problemet var individuellt missnöje, inte ett systemfel. Runt köksbord över hela staden kokade samma förvirring och ilska. Något var fel, och problemets omfattning blev tydligare för varje dag. Det tog nästan ett år för stadens revisorer att bekräfta vad många av oss hade misstänkt: algoritmen hade fått felaktiga instruktioner. Den beräknade avstånd "fågelvägen", inte de faktiska gångvägarna. Göteborg har en stor flod som rinner genom staden. Att inte ta hänsyn till det innebar att barn stod inför timslånga pendlingsresor. För många var det helt enkelt omöjligt att ta sig till andra sidan floden till fots eller med cykel – vilket lagen säger är det rätta sättet att ta sig till skolan. Efter protester från familjer förbättrades rutinerna inför nästa skolår. Men för cirka 700 barn som redan påverkats av den felaktiga algoritmen förändrades ingenting. De skulle tillbringa hela sin högstadietid i "fel" skolor. Den officiella linjen var att individuella överklaganden var tillräckliga. Men det missar poängen. Algoritmer fattar inte bara isolerade beslut; de skapar system av beslut. När 100 barn felaktigt placeras i skolor på motsatta flodstranden tar de platser avsedda för andra. Dessa barn skjuts då till andra skolor, vilket i sin tur tränger undan andra. Som dominobrickor sprider sig felen. Vid den femte eller sjätte förskjutningen blir orättvisan nästan omöjlig att upptäcka, än mindre att ifrågasätta och bevisa i domstol. Trettonåriga barn placerades i skolor mil bort – över floder och fjordar, över stora motorvägar. Denna algoritmiska orättvisa är inte ett abstrakt problem, och den är inte unik för Sverige. Den ekar smärtsamt från senaste skandalerna i Europa. En är Post Office-skandalen i Storbritannien, där Horizon IT-systemet falskt anklagade hundratals postkontorsoperatörer för stöld, vilket ledde till åtal, konkurser och till och med fängelse. I åratal behandlades systemets utdata som nästan ofelbara. Mänskliga vittnesmål böjde sig för maskinens auktoritet. Ett annat exempel är barnomsorgsbidragsskandalen i Nederländerna, där ett system som användes av den nederländska skattemyndigheten felaktigt flaggade tusentals föräldrar som bedragare. Familjer drevs in i skuld. Många förlorade sina hem. Barn omhändertogs för fosterhemsvård. I båda fallen fortsatte de algoritmiska felen i många år, eftersom det automatiserade systemet opererade bakom en slöja av teknisk komplexitet och institutionell defensivitet. Misstagen hopade sig. Skadan blev värre. Ansvarsutkrävandet halkade efter. Tillbaka i Göteborg 2020 insåg jag att det inte skulle räcka att bara överklaga min sons placering. Man kan inte åtgärda ett systemproblem med individuella lösningar. Så, som en del av ett forskningsprojekt, stämde jag staden för att se vad som händer när algoritmer hamnar i domstol. Jag ifrågasatte inte bara min sons specifika placering – jag ifrågasatte lagligheten i hela beslutsfattandesystemet och allt det producerade. Jag hävdade att algoritmens utformning bröt mot lagen. Eftersom jag inte kunde få tillgång till systemet – mina upprepade begäranden om att få se algoritmen ignorerades – kunde jag inte visa den för domstolen. Istället analyserade jag noggrant hundratals placeringar, med hjälp av adresser och skolval för att lista ut hur systemet måste ha fungerat, och presenterade det som bevis. Stadens försvar var chockerande enkelt. De påstod att systemet bara var ett "stödverktyg". De sa att de inte gjort något fel och erbjöd inga bevis: inga tekniska dokument, ingen kod, ingen förklaring av hur saker fungerade. Och, till min förvåning, behövde de inte det. Domstolen lade bevisbördan på mig. Domarna sa att det var min uppgift att visa att systemet var olagligt. Min analys av besluten räckte inte. Utan direkta bevis på koden kunde jag inte uppfylla beviskravet. Målet avvisades. Med andra ord: bevisa vad som finns inuti den svarta lådan, eller förlora. Detta – mer än det ursprungliga administrativa misslyckandet – håller mig vaken om nätterna. Vi vet att algoritmer ibland misslyckas. Det är just därför vi har domstolar: för att tvinga fram öppenhet, granska och åtgärda saker. Men när juridiska procedurer förblir fast i det förflutna, och när domare inte har verktygen, kompetensen eller auktoriteten att ifrågasätta algoritmiska system, vinner orättvisan. Medan offentliga myndigheter använder ogenomskinliga system i stor skala, sägs medborgare som står inför livsavgörande utfall att överklaga – en och en – utan att någonsin se koden bakom. Lärdomarna från Post Office och den nederländska barnbidragsskandalen ekar vad jag fann i Göteborg. När domstolar litar på teknik istället för att ifrågasätta den, och när bevisbördan faller på dem som skadats snarare än dem som byggde och använde systemet, uppstår inte bara algoritmisk orättvisa – den kan pågå i åratal. Även när tekniken i sig är enkel, som i Göteborg – där misstaget var att använda fågelvägsavstånd istället för faktiska gångvägar – mötte medborgarna fortfarande en svart låda som de var tvungna att avslöja för att kunna ifrågasätta den. I detta fall var det en glaslåta insvept i många lager svart papper. Det är dags att kräva att våra domstolar öppnar de svarta lådorna med algoritmiskt beslutsfattande. Vi måste flytta bevisbördan till den part som faktiskt har tillgång till algoritmen, och skapa juridiska regler för effektiva, systemomfattande åtgärder. Tills vi uppdaterar våra juridiska procedurer för att matcha verkligheten i ett digitalt samhälle, kommer vi att fortsätta snubbla från skandal till skandal. När orättvisa levereras tyst av kod, måste ansvarsutkrävande svara högt. Charlotta Kronblad forskar om digital transformation vid Göteborgs universitet. **Vanliga frågor** Här är en lista med vanliga frågor baserade på artikeln Jag tog en algoritm till domstol i Sverige – algoritmen vann av Charlotta Kronblad. **Frågor på nybörjarnivå** 1. Vad handlar den här artikeln om? Den handlar om ett verkligt rättsfall där en svensk forskare försökte ifrågasätta en statlig algoritm i domstol. Algoritmen fattade ett beslut om henne och hon hävdade att det var orättvist. Domstolen dömde till algoritmens fördel. 2. Varför vann algoritmen? Domstolen beslutade att algoritmen bara följde lagen som den var skriven. Den gjorde inget misstag – den tillämpade reglerna korrekt. Problemet var att lagen i sig var för rigid, inte att algoritmen fungerade felaktigt. 3. Kan man verkligen stämma en algoritm? Inte direkt. Man kan inte stämma en mjukvara. Men man kan ifrågasätta beslutet den fattade genom att stämma den myndighet eller det företag som använde den. I detta fall ifrågasatte författaren Försäkringskassans automatiserade beslut. 4. Vilket slags beslut fattade algoritmen? Den avslog hennes ansökan om utökat föräldrapenningbidrag. Algoritmen beräknade automatiskt hennes behörighet baserat på strikta inkomst- och arbetshistorikregler, utan att ta hänsyn till hennes specifika situation. 5. Är detta ett vanligt problem? Ja, fler och fler regeringar och företag använder algoritmer för att fatta beslut om bidrag, lån, anställningar och till och med straffrättsliga påföljder. När reglerna är för enkla blir personer med ovanliga omständigheter ofta orättvist avvisade. **Frågor på medelnivå** 6. Varför tyckte författaren att algoritmen hade fel? Hon hävdade att algoritmen inte tog hänsyn till hennes verkliga inkomstmönster. Hon var frilansare, så hennes inkomst var inte jämn månad för månad. Algoritmen använde en rigid 12-månaders tillbakablickningsregel som diskvalificerade henne, trots att hon totalt sett hade tjänat tillräckligt. 7. Vad var domstolens motivering för att stödja algoritmen? Domstolen sa att algoritmen bara var ett verktyg som tillämpade lagen exakt. Om lagen är bristfällig kan domstolen inte skylla på algoritmen. Författaren skulle behöva ändra lagen, inte bekämpa mjukvaran. I grund och botten var algoritmen korrekt inom systemets bristfälliga regler. 8. Betyder detta att algoritmer alltid har rätt i domstol? Nej. Om en algoritm är partisk, använder dålig data eller