Vi vill gĂ€rna tro att orĂ€ttvisor gör sig hörda högt och tydligt. NĂ€r nĂ„got gĂ„r fel i ett offentligt system borde larmklockor ringa, och nĂ„gon borde ta ansvar â eller stĂ€llas till svars om de inte gör det. Men 2020 i Göteborg kom orĂ€ttvisan tyst, utklĂ€dd till effektivitet.
För första gÄngen anvÀnde staden en algoritm för att placera elever i skolor. Att bestÀmma skolzoner och antagning Àr trots allt en enorm administrativ huvudvÀrk för varje kommun. Vad kunde vara bÀttre Àn en maskin för att optimera avstÄnd, preferenser och kapacitet? Systemet var tÀnkt att tjÀna offentlig effektivitet: det presenterades som neutralt, strömlinjeformat och objektivt.
Men nĂ„got gick fruktansvĂ€rt fel. Hundratals barn placerades i skolor mil frĂ„n sina hem â över floder och fjordar, över stora motorvĂ€gar, i stadsdelar de aldrig besökt och inte hade nĂ„gon koppling till. FörĂ€ldrar stirrade pĂ„ besluten i misstro. Hade nĂ„gon kontrollerat om en 13-Ă„ring sĂ€kert kunde gĂ„ den vĂ€gen pĂ„ vintern? Vilken logik styrde dessa val? Hade deras angivna preferenser helt enkelt ignorerats? Ingen inom skolförvaltningen verkade kunna â eller villig â att förklara vad som hade hĂ€nt eller Ă„tgĂ€rda misstagen.
Jag sĂ„g detta utvecklas som forskare inom teknik och tidigare jurist, men ocksĂ„ som mamma. Min dĂ„ 12-Ă„rige son var ett av barnen som pĂ„verkades av algoritmen. VĂ„r frustration vĂ€xte nĂ€r skolförvaltningen inte svarade. Lugnt sa de till oss att vi kunde överklaga om vi hade problem med vĂ„r placering â som om det vore en frĂ„ga om personlig smak. Som om problemet var individuellt missnöje, inte ett systemfel. Runt köksbord över hela staden kokade samma förvirring och ilska. NĂ„got var fel, och problemets omfattning blev tydligare för varje dag.
Det tog nĂ€stan ett Ă„r för stadens revisorer att bekrĂ€fta vad mĂ„nga av oss hade misstĂ€nkt: algoritmen hade fĂ„tt felaktiga instruktioner. Den berĂ€knade avstĂ„nd "fĂ„gelvĂ€gen", inte de faktiska gĂ„ngvĂ€garna. Göteborg har en stor flod som rinner genom staden. Att inte ta hĂ€nsyn till det innebar att barn stod inför timslĂ„nga pendlingsresor. För mĂ„nga var det helt enkelt omöjligt att ta sig till andra sidan floden till fots eller med cykel â vilket lagen sĂ€ger Ă€r det rĂ€tta sĂ€ttet att ta sig till skolan.
Efter protester frÄn familjer förbÀttrades rutinerna inför nÀsta skolÄr. Men för cirka 700 barn som redan pÄverkats av den felaktiga algoritmen förÀndrades ingenting. De skulle tillbringa hela sin högstadietid i "fel" skolor.
Den officiella linjen var att individuella överklaganden var tillrÀckliga. Men det missar poÀngen. Algoritmer fattar inte bara isolerade beslut; de skapar system av beslut. NÀr 100 barn felaktigt placeras i skolor pÄ motsatta flodstranden tar de platser avsedda för andra. Dessa barn skjuts dÄ till andra skolor, vilket i sin tur trÀnger undan andra. Som dominobrickor sprider sig felen. Vid den femte eller sjÀtte förskjutningen blir orÀttvisan nÀstan omöjlig att upptÀcka, Àn mindre att ifrÄgasÀtta och bevisa i domstol.
TrettonĂ„riga barn placerades i skolor mil bort â över floder och fjordar, över stora motorvĂ€gar.
Denna algoritmiska orÀttvisa Àr inte ett abstrakt problem, och den Àr inte unik för Sverige. Den ekar smÀrtsamt frÄn senaste skandalerna i Europa. En Àr Post Office-skandalen i Storbritannien, dÀr Horizon IT-systemet falskt anklagade hundratals postkontorsoperatörer för stöld, vilket ledde till Ätal, konkurser och till och med fÀngelse. I Äratal behandlades systemets utdata som nÀstan ofelbara. MÀnskliga vittnesmÄl böjde sig för maskinens auktoritet. Ett annat exempel Àr barnomsorgsbidragsskandalen i NederlÀnderna, dÀr ett system som anvÀndes av den nederlÀndska skattemyndigheten felaktigt flaggade tusentals förÀldrar som bedragare. Familjer drevs in i skuld. MÄnga förlorade sina hem. Barn omhÀndertogs för fosterhemsvÄrd. I bÄda fallen fortsatte de algoritmiska felen i mÄnga Är, eftersom det automatiserade systemet opererade bakom en slöja av teknisk komplexitet och institutionell defensivitet. Misstagen hopade sig. Skadan blev vÀrre. AnsvarsutkrÀvandet halkade efter.
Tillbaka i Göteborg 2020 insĂ„g jag att det inte skulle rĂ€cka att bara överklaga min sons placering. Man kan inte Ă„tgĂ€rda ett systemproblem med individuella lösningar. SĂ„, som en del av ett forskningsprojekt, stĂ€mde jag staden för att se vad som hĂ€nder nĂ€r algoritmer hamnar i domstol. Jag ifrĂ„gasatte inte bara min sons specifika placering â jag ifrĂ„gasatte lagligheten i hela beslutsfattandesystemet och allt det producerade. Jag hĂ€vdade att algoritmens utformning bröt mot lagen.
Eftersom jag inte kunde fĂ„ tillgĂ„ng till systemet â mina upprepade begĂ€randen om att fĂ„ se algoritmen ignorerades â kunde jag inte visa den för domstolen. IstĂ€llet analyserade jag noggrant hundratals placeringar, med hjĂ€lp av adresser och skolval för att lista ut hur systemet mĂ„ste ha fungerat, och presenterade det som bevis.
Stadens försvar var chockerande enkelt. De pÄstod att systemet bara var ett "stödverktyg". De sa att de inte gjort nÄgot fel och erbjöd inga bevis: inga tekniska dokument, ingen kod, ingen förklaring av hur saker fungerade.
Och, till min förvÄning, behövde de inte det. Domstolen lade bevisbördan pÄ mig. Domarna sa att det var min uppgift att visa att systemet var olagligt. Min analys av besluten rÀckte inte. Utan direkta bevis pÄ koden kunde jag inte uppfylla beviskravet. MÄlet avvisades. Med andra ord: bevisa vad som finns inuti den svarta lÄdan, eller förlora.
Detta â mer Ă€n det ursprungliga administrativa misslyckandet â hĂ„ller mig vaken om nĂ€tterna. Vi vet att algoritmer ibland misslyckas. Det Ă€r just dĂ€rför vi har domstolar: för att tvinga fram öppenhet, granska och Ă„tgĂ€rda saker. Men nĂ€r juridiska procedurer förblir fast i det förflutna, och nĂ€r domare inte har verktygen, kompetensen eller auktoriteten att ifrĂ„gasĂ€tta algoritmiska system, vinner orĂ€ttvisan. Medan offentliga myndigheter anvĂ€nder ogenomskinliga system i stor skala, sĂ€gs medborgare som stĂ„r inför livsavgörande utfall att överklaga â en och en â utan att nĂ„gonsin se koden bakom.
LĂ€rdomarna frĂ„n Post Office och den nederlĂ€ndska barnbidragsskandalen ekar vad jag fann i Göteborg. NĂ€r domstolar litar pĂ„ teknik istĂ€llet för att ifrĂ„gasĂ€tta den, och nĂ€r bevisbördan faller pĂ„ dem som skadats snarare Ă€n dem som byggde och anvĂ€nde systemet, uppstĂ„r inte bara algoritmisk orĂ€ttvisa â den kan pĂ„gĂ„ i Ă„ratal. Ăven nĂ€r tekniken i sig Ă€r enkel, som i Göteborg â dĂ€r misstaget var att anvĂ€nda fĂ„gelvĂ€gsavstĂ„nd istĂ€llet för faktiska gĂ„ngvĂ€gar â mötte medborgarna fortfarande en svart lĂ„da som de var tvungna att avslöja för att kunna ifrĂ„gasĂ€tta den. I detta fall var det en glaslĂ„ta insvept i mĂ„nga lager svart papper.
Det Àr dags att krÀva att vÄra domstolar öppnar de svarta lÄdorna med algoritmiskt beslutsfattande. Vi mÄste flytta bevisbördan till den part som faktiskt har tillgÄng till algoritmen, och skapa juridiska regler för effektiva, systemomfattande ÄtgÀrder. Tills vi uppdaterar vÄra juridiska procedurer för att matcha verkligheten i ett digitalt samhÀlle, kommer vi att fortsÀtta snubbla frÄn skandal till skandal. NÀr orÀttvisa levereras tyst av kod, mÄste ansvarsutkrÀvande svara högt.
Charlotta Kronblad forskar om digital transformation vid Göteborgs universitet.
**Vanliga frÄgor**
HĂ€r Ă€r en lista med vanliga frĂ„gor baserade pĂ„ artikeln Jag tog en algoritm till domstol i Sverige â algoritmen vann av Charlotta Kronblad.
**FrÄgor pÄ nybörjarnivÄ**
1. Vad handlar den hÀr artikeln om?
Den handlar om ett verkligt rÀttsfall dÀr en svensk forskare försökte ifrÄgasÀtta en statlig algoritm i domstol. Algoritmen fattade ett beslut om henne och hon hÀvdade att det var orÀttvist. Domstolen dömde till algoritmens fördel.
2. Varför vann algoritmen?
Domstolen beslutade att algoritmen bara följde lagen som den var skriven. Den gjorde inget misstag â den tillĂ€mpade reglerna korrekt. Problemet var att lagen i sig var för rigid, inte att algoritmen fungerade felaktigt.
3. Kan man verkligen stÀmma en algoritm?
Inte direkt. Man kan inte stÀmma en mjukvara. Men man kan ifrÄgasÀtta beslutet den fattade genom att stÀmma den myndighet eller det företag som anvÀnde den. I detta fall ifrÄgasatte författaren FörsÀkringskassans automatiserade beslut.
4. Vilket slags beslut fattade algoritmen?
Den avslog hennes ansökan om utökat förÀldrapenningbidrag. Algoritmen berÀknade automatiskt hennes behörighet baserat pÄ strikta inkomst- och arbetshistorikregler, utan att ta hÀnsyn till hennes specifika situation.
5. Ăr detta ett vanligt problem?
Ja, fler och fler regeringar och företag anvÀnder algoritmer för att fatta beslut om bidrag, lÄn, anstÀllningar och till och med straffrÀttsliga pÄföljder. NÀr reglerna Àr för enkla blir personer med ovanliga omstÀndigheter ofta orÀttvist avvisade.
**FrÄgor pÄ medelnivÄ**
6. Varför tyckte författaren att algoritmen hade fel?
Hon hÀvdade att algoritmen inte tog hÀnsyn till hennes verkliga inkomstmönster. Hon var frilansare, sÄ hennes inkomst var inte jÀmn mÄnad för mÄnad. Algoritmen anvÀnde en rigid 12-mÄnaders tillbakablickningsregel som diskvalificerade henne, trots att hon totalt sett hade tjÀnat tillrÀckligt.
7. Vad var domstolens motivering för att stödja algoritmen?
Domstolen sa att algoritmen bara var ett verktyg som tillÀmpade lagen exakt. Om lagen Àr bristfÀllig kan domstolen inte skylla pÄ algoritmen. Författaren skulle behöva Àndra lagen, inte bekÀmpa mjukvaran. I grund och botten var algoritmen korrekt inom systemets bristfÀlliga regler.
8. Betyder detta att algoritmer alltid har rÀtt i domstol?
Nej. Om en algoritm Àr partisk, anvÀnder dÄlig data eller
