Ne place să credem că nedreptatea se face auzită cu zgomot. Când ceva merge prost într-un sistem public, ar trebui să sune alarmele, iar cineva ar trebui să își asume responsabilitatea – sau să fie tras la răspundere dacă nu o face. Dar în 2020, în Göteborg, nedreptatea a sosit în liniște, deghizată în eficiență.
Pentru prima dată, orașul a folosit un algoritm pentru a repartiza elevii la școli. La urma urmei, stabilirea zonelor școlare și a admiterilor este o imensă bătaie de cap administrativă pentru orice municipalitate. Ce ar putea fi mai bun decât o mașinărie care să optimizeze distanțele, preferințele și capacitatea? Sistemul trebuia să servească eficienței publice: a fost prezentat ca fiind neutru, simplificat și obiectiv.
Dar ceva a mers teribil de prost. Sute de copii au fost repartizați la școli la kilometri distanță de casele lor – peste râuri și fiorduri, peste autostrăzi principale, în cartiere pe care nu le vizitaseră niciodată și cu care nu aveau nicio legătură. Părinții s-au uitat la decizii cu neîncredere. A verificat cineva dacă un copil de 13 ani poate merge în siguranță pe acel traseu iarna? Ce logică a ghidat aceste alegeri? Au fost preferințele lor declarate pur și simplu ignorate? Nimeni din administrația școlară nu părea capabil – sau dispus – să explice ce s-a întâmplat sau să corecteze greșelile.
Am urmărit acest lucru desfășurându-se ca cercetător în tehnologie și fost avocat, dar și ca mamă. Fiul meu, pe atunci în vârstă de 12 ani, a fost unul dintre copiii afectați de algoritm. Frustrarea noastră a crescut pe măsură ce administrația școlară nu a reușit să răspundă. Calm, ne-au spus că putem face contestație dacă avem o problemă cu repartizarea noastră – ca și cum ar fi fost o chestiune de gust personal. Ca și cum problema ar fi fost nemulțumirea individuală, nu un eșec la nivel de sistem. În bucătăriile din tot orașul, aceeași confuzie și furie clocoteau. Ceva era în neregulă, iar amploarea problemei devenea mai clară cu fiecare zi.
A durat aproape un an până când auditorii orașului au confirmat ceea ce mulți dintre noi bănuiserăm: algoritmului i se dăduseră instrucțiuni defectuoase. Acesta calcula distanțele „în linie dreaptă", nu traseele reale de mers pe jos. Göteborg este străbătut de un râu mare. Faptul că nu s-a ținut cont de acest lucru a însemnat că copiii se confruntau cu naveta de o oră. Pentru mulți, a ajunge pe cealaltă parte a râului mergând pe jos sau cu bicicleta – așa cum spune legea că este modul corect de a ajunge la școală – era pur și simplu imposibil.
După protestele familiilor, procedurile au fost îmbunătățite pentru anul școlar următor. Dar pentru aproximativ 700 de copii deja afectați de algoritmul defectuos, nimic nu s-a schimbat. Ei aveau să petreacă toți anii de gimnaziu în școlile „greșite".
Linia oficială a fost că contestațiile individuale sunt suficiente. Dar asta nu atinge esența problemei. Algoritmii nu iau doar decizii izolate; ei creează sisteme de decizii. Când 100 de copii sunt plasați greșit în școli de pe malul opus al râului, ei ocupă locurile destinate altora. Acei copii sunt apoi împinși către alte școli, deplasând la rândul lor pe alții. Ca niște piese de domino, erorile se înlănțuiesc. La a cincea sau a șasea deplasare, nedreptatea devine aproape imposibil de detectat, cu atât mai puțin de contestat și dovedit în instanță.
Copiii de treisprezece ani au fost repartizați la școli la kilometri distanță – peste râuri și fiorduri, peste autostrăzi principale.
Această nedreptate algoritmică nu este o problemă abstractă și nici nu este unică pentru Suedia. Ea rezonează dureros cu scandaluri recente din toată Europa. Unul este scandalul Oficiului Poștal din Regatul Unit, unde sistemul IT Horizon a acuzat în mod fals sute de operatori poștali de furt, ducând la urmăriri penale, falimente și chiar încarcerare. Timp de ani de zile, rezultatul sistemului a fost tratat ca fiind aproape infailibil. Mărturiile umane au fost îndoite în fața autorității mașinii. Un alt exemplu este scandalul alocațiilor pentru îngrijirea copiilor din Țările de Jos, unde un sistem folosit de autoritatea fiscală olandeză a marcat în mod eronat mii de părinți ca fiind fraudatori. Familiile au fost îngropate în datorii. Mulți și-au pierdut casele. Copiii au fost plasați în plasament. În ambele cazuri, eșecurile algoritmice au continuat timp de mulți ani, în timp ce sistemul automatizat a funcționat în spatele unui văl de complexitate tehnică și defensivă instituțională. Greșelile s-au acumulat. Daunele s-au agravat. Responsabilitatea a rămas în urmă.
Înapoi în Göteborg, în 2020, mi-am dat seama că simpla contestare a repartizării fiului meu nu va fi suficientă. Nu poți repara o problemă sistemică cu soluții individuale. Așa că, în cadrul unui proiect de cercetare, am dat în judecată orașul pentru a vedea ce se întâmplă când algoritmii ajung în instanță. Nu am contestat doar repartizarea specifică a fiului meu – am contestat legalitatea întregului sistem decizional și a tot ceea ce a produs acesta. Am susținut că proiectarea algoritmului încălca legea.
Deoarece nu am putut accesa sistemul – cererile mele repetate de a vedea algoritmul au fost ignorate – nu l-am putut prezenta instanței. În schimb, am analizat cu atenție sute de repartizări, folosind adrese și alegeri școlare pentru a deduce cum trebuie să fi funcționat sistemul, și am prezentat acest lucru ca dovadă.
Apărarea orașului a fost surprinzător de simplă. Au susținut că sistemul era doar un „instrument de sprijin". Au spus că nu au făcut nimic greșit și nu au oferit nicio dovadă: nici documente tehnice, nici cod, nici o explicație a modului în care funcționau lucrurile.
Și, spre surprinderea mea, nici nu au fost nevoiți. Instanța a pus sarcina probei asupra mea. Judecătorii au spus că era treaba mea să demonstrez că sistemul era ilegal. Analiza mea a deciziilor nu a fost suficientă. Fără dovezi directe ale codului, nu am putut îndeplini standardul de probă. Cazul a fost respins. Cu alte cuvinte: dovedește ce este în interiorul cutiei negre, sau pierzi.
Acest lucru – mai mult decât eșecul administrativ inițial – mă ține trează noaptea. Știm că algoritmii eșuează uneori. Tocmai de aceea avem instanțe: pentru a forța dezvăluirea, a examina și a repara lucrurile. Dar când procedurile legale rămân blocate în trecut, și când judecătorii nu au instrumentele, abilitățile sau autoritatea de a pune la îndoială sistemele algoritmice, nedreptatea câștigă. În timp ce agențiile publice folosesc sisteme opace la scară largă, cetățenii care se confruntă cu rezultate care le schimbă viața sunt sfătuiți să facă contestație – unul câte unul – fără a vedea vreodată codul din spatele lor.
Lecțiile de la scandalurile Oficiului Poștal și al alocațiilor pentru copii din Olanda ecou ceea ce am găsit în Göteborg. Când instanțele au încredere în tehnologie în loc să o pună la îndoială, și când sarcina probei cade asupra celor prejudiciați, nu asupra celor care au construit și au folosit sistemul, nedreptatea algoritmică nu doar că apare – poate dura ani de zile. Chiar și atunci când tehnologia în sine este simplă, ca în Göteborg – unde greșeala a fost folosirea distanței în linie dreaptă în locul traseelor reale de mers pe jos – cetățenii s-au confruntat totuși cu o cutie neagră pe care trebuiau să o descopere pentru a o contesta. În acest caz, a fost o cutie de sticlă învelită în multe straturi de hârtie neagră.
Este timpul să cerem instanțelor noastre să deschidă cutiile negre ale procesului decizional algoritmic. Trebuie să mutăm sarcina probei către partea care are de fapt acces la algoritm și să creăm reguli legale pentru remedii eficiente la nivel de sistem. Până când nu ne actualizăm procedurile legale pentru a se potrivi cu realitățile unei societăți digitale, vom continua să ne poticnim din scandal în scandal. Când nedreptatea este livrată în liniște de cod, responsabilitatea trebuie să răspundă cu voce tare.
Charlotta Kronblad cercetează transformarea digitală la Universitatea din Göteborg.
Întrebări frecvente
Iată o listă de întrebări frecvente bazate pe articolul Am dat în judecată un algoritm în Suedia. Algoritmul a câștigat de Charlotta Kronblad.
Întrebări pentru nivel începător
1. Despre ce este acest articol?
Este despre un caz juridic real în care o cercetătoare suedeză a încercat să conteste în instanță un algoritm guvernamental. Algoritmul a luat o decizie care o privea, iar ea a susținut că era nedrept. Instanța a decis în favoarea algoritmului.
2. De ce a câștigat algoritmul?
Instanța a decis că algoritmul doar urma legea așa cum era scrisă. Nu a făcut o greșeală – a aplicat regulile corect. Problema a fost că legea în sine era prea rigidă, nu că algoritmul a funcționat defectuos.
3. Poți da cu adevărat în judecată un algoritm?
Nu direct. Nu poți da în judecată un program software. Dar poți contesta decizia pe care a luat-o, dând în judecată agenția guvernamentală sau compania care l-a folosit. În acest caz, autoarea a contestat decizia automatizată a Agenției Suedeze de Asigurări Sociale.
4. Ce fel de decizie a luat algoritmul?
A respins cererea ei pentru prelungirea indemnizației parentale. Algoritmul a calculat automat eligibilitatea pe baza unor reguli stricte privind venitul și istoricul profesional, fără a lua în considerare situația ei specifică.
5. Este aceasta o problemă comună?
Da, tot mai multe guverne și companii folosesc algoritmi pentru a lua decizii privind beneficii, împrumuturi, angajări și chiar condamnări penale. Când regulile sunt prea simple, persoanele cu circumstanțe neobișnuite sunt adesea respinse pe nedrept.
Întrebări pentru nivel intermediar
6. De ce a crezut autoarea că algoritmul greșea?
Ea a susținut că algoritmul nu a ținut cont de modelul ei real de venit. Fiind freelancer, venitul ei nu era constant de la o lună la alta. Algoritmul a folosit o regulă rigidă de analiză pe 12 luni care a descalificat-o, chiar dacă ea câștigase suficient în total.
7. Care a fost raționamentul instanței pentru a fi de partea algoritmului?
Instanța a spus că algoritmul a fost doar un instrument care a aplicat legea exact. Dacă legea este defectuoasă, instanța nu poate da vina pe algoritm. Autoarea ar fi trebuit să schimbe legea, nu să lupte împotriva software-ului. Practic, algoritmul era corect în cadrul regulilor defectuoase ale sistemului.
8. Înseamnă asta că algoritmii au întotdeauna dreptate în instanță?
Nu. Dacă un algoritm este părtinitor, folosește date proaste
