Ci piace pensare che l’ingiustizia si faccia sentire rumorosamente. Quando qualcosa va storto in un sistema pubblico, dovrebbero suonare allarmi e qualcuno dovrebbe assumersi la responsabilità—o essere ritenuto responsabile se non lo fa. Ma nel 2020 a Göteborg, l’ingiustizia è arrivata silenziosamente, travestita da efficienza.
Per la prima volta, la città ha usato un algoritmo per assegnare gli studenti alle scuole. Dopotutto, definire le zone scolastiche e le ammissioni è un enorme grattacapo amministrativo per qualsiasi comune. Cosa c’è di meglio di una macchina per ottimizzare distanze, preferenze e capacità? Il sistema doveva servire l’efficienza pubblica: è stato presentato come neutrale, snello e obiettivo.
Ma qualcosa è andato terribilmente storto. Centinaia di bambini sono stati assegnati a scuole a chilometri di distanza dalle loro case—attraverso fiumi e fiordi, oltre autostrade principali, in quartieri che non avevano mai visitato e con cui non avevano alcun legame. I genitori guardavano le decisioni increduli. Qualcuno aveva verificato se un tredicenne potesse percorrere in sicurezza quella strada in inverno? Quale logica guidava queste scelte? Le loro preferenze dichiarate erano state semplicemente ignorate? Nessuno nell’amministrazione scolastica sembrava in grado—o disposto—di spiegare cosa fosse successo o di correggere gli errori.
Ho osservato tutto questo svolgersi come ricercatrice in tecnologia ed ex avvocato, ma anche come madre. Mio figlio, allora dodicenne, era uno dei bambini colpiti dall’algoritmo. La nostra frustrazione è cresciuta quando l’amministrazione scolastica non ha risposto. Con calma, ci hanno detto che potevamo fare ricorso se avevamo un problema con l’assegnazione—come se fosse una questione di gusto personale. Come se il problema fosse l’insoddisfazione individuale, non un fallimento a livello di sistema. Intorno ai tavoli delle cucine di tutta la città, la stessa confusione e rabbia ribollivano. Qualcosa non andava, e la portata del problema diventava più chiara ogni giorno.
Ci sono voluti quasi un anno perché i revisori della città confermassero ciò che molti di noi sospettavano: all’algoritmo erano state fornite istruzioni errate. Calcolava le distanze "in linea d’aria", non i percorsi pedonali reali. Göteborg è attraversata da un grande fiume. Non tenerne conto significava che i bambini affrontavano tragitti di un’ora. Per molti, raggiungere l’altro lato del fiume a piedi o in bicicletta—come la legge stabilisce sia il modo corretto per andare a scuola—era semplicemente impossibile.
Dopo le proteste delle famiglie, le procedure sono state migliorate per l’anno scolastico successivo. Ma per circa 700 bambini già colpiti dall’algoritmo difettoso, nulla è cambiato. Avrebbero trascorso l’intera scuola media nelle scuole "sbagliate".
La linea ufficiale era che i ricorsi individuali fossero sufficienti. Ma questo manca il punto. Gli algoritmi non prendono solo decisioni isolate; creano sistemi di decisioni. Quando 100 bambini vengono erroneamente assegnati a scuole sulla sponda opposta del fiume, occupano i posti destinati ad altri. Quei bambini vengono poi spinti verso scuole diverse, spostando a loro volta altri. Come tessere del domino, gli errori si propagano a cascata. Al quinto o sesto spostamento, l’ingiustizia diventa quasi impossibile da individuare, figuriamoci da contestare e provare in tribunale.
Bambini di tredici anni sono stati assegnati a scuole a chilometri di distanza—attraverso fiumi e fiordi, oltre autostrade principali.
Questa ingiustizia algoritmica non è un problema astratto, né è unica della Svezia. riecheggia dolorosamente scandali recenti in tutta Europa. Uno è lo scandalo delle Poste nel Regno Unito, dove il sistema IT Horizon ha accusato falsamente centinaia di operatori postali di furto, portando a procedimenti giudiziari, bancarotte e persino incarcerazioni. Per anni, l’output del sistema è stato trattato come quasi infallibile. La testimonianza umana è stata piegata all’autorità della macchina. Un altro esempio è lo scandalo degli assegni familiari nei Paesi Bassi, dove un sistema utilizzato dall’autorità fiscale olandese ha erroneamente segnalato migliaia di genitori come truffatori. Le famiglie sono state precipitate nei debiti. Molte hanno perso la casa. I bambini sono stati affidati a famiglie affidatarie. In entrambi i casi, i fallimenti algoritmici sono continuati per molti anni, mentre il sistema automatizzato operava dietro un velo di complessità tecnica e difensivismo istituzionale. Gli errori si accumulavano. Il danno peggiorava. La responsabilità era in ritardo.
Tornando a Göteborg nel 2020, ho capito che semplicemente fare ricorso per l’assegnazione di mio figlio non sarebbe bastato. Non si può risolvere un problema sistemico con soluzioni individuali. Così, come parte di un progetto di ricerca, ho citato in giudizio la città per vedere cosa succede quando gli algoritmi vanno in tribunale. Non ho contestato solo l’assegnazione specifica di mio figlio—ho contestato la legalità dell’intero sistema decisionale e tutto ciò che ha prodotto. Ho sostenuto che la progettazione dell’algoritmo violava la legge.
Poiché non potevo accedere al sistema—le mie ripetute richieste di vedere l’algoritmo sono state ignorate—non potevo mostrarlo al tribunale. Invece, ho analizzato attentamente centinaia di assegnazioni, usando indirizzi e scelte scolastiche per capire come il sistema doveva aver funzionato, e l’ho presentato come prova.
La difesa della città è stata sorprendentemente semplice. Hanno affermato che il sistema era solo un "strumento di supporto". Hanno detto di non aver fatto nulla di sbagliato e non hanno offerto alcuna prova: nessun documento tecnico, nessun codice, nessuna spiegazione di come funzionassero le cose.
E, con mia sorpresa, non erano obbligati a farlo. Il tribunale ha posto l’onere della prova su di me. I giudici hanno detto che era mio compito dimostrare che il sistema era illegale. La mia analisi delle decisioni non era sufficiente. Senza prove dirette del codice, non potevo soddisfare lo standard probatorio. Il caso è stato archiviato. In altre parole: dimostra cosa c’è dentro la scatola nera, o perdi.
Questo—più del fallimento amministrativo originale—mi tiene sveglia la notte. Sappiamo che gli algoritmi a volte falliscono. È proprio per questo che abbiamo i tribunali: per forzare la divulgazione, esaminare e correggere le cose. Ma quando le procedure legali rimangono ancorate al passato, e quando i giudici non hanno gli strumenti, le competenze o l’autorità per mettere in discussione i sistemi algoritmici, l’ingiustizia vince. Mentre gli enti pubblici usano sistemi opachi su larga scala, ai cittadini che affrontano esiti che cambiano la vita viene detto di fare ricorso—uno per uno—senza mai vedere il codice che sta dietro.
Le lezioni degli scandali delle Poste e degli assegni familiari olandesi riecheggiano ciò che ho trovato a Göteborg. Quando i tribunali si fidano della tecnologia invece di metterla in discussione, e quando l’onere della prova ricade su coloro che sono stati danneggiati piuttosto che su coloro che hanno costruito e utilizzato il sistema, l’ingiustizia algoritmica non si presenta soltanto—può durare per anni. Anche quando la tecnologia in sé è semplice, come a Göteborg—dove l’errore è stato usare la distanza in linea d’aria invece dei percorsi pedonali reali—i cittadini si sono comunque trovati di fronte a una scatola nera che dovevano scoprire per contestarla. In questo caso, era una scatola di vetro avvolta in molti strati di carta nera.
È ora di pretendere che i nostri tribunali aprano le scatole nere del processo decisionale algoritmico. Dobbiamo spostare l’onere della prova sulla parte che ha effettivamente accesso all’algoritmo e creare regole legali per correzioni efficaci a livello di sistema. Fino a quando non aggiorneremo le nostre procedure legali per corrispondere alle realtà di una società digitale, continueremo a inciampare da uno scandalo all’altro. Quando l’ingiustizia viene consegnata silenziosamente dal codice, la responsabilità deve rispondere rumorosamente.
Charlotta Kronblad ricerca la trasformazione digitale all’Università di Göteborg.
**Domande Frequenti**
Ecco un elenco di FAQ basate sull’articolo "Ho portato un algoritmo in tribunale in Svezia. L’algoritmo ha vinto" di Charlotta Kronblad.
**Domande di Livello Base**
1. **Di cosa parla questo articolo?**
Parla di un caso legale reale in cui una ricercatrice svedese ha cercato di contestare in tribunale un algoritmo governativo. L’algoritmo ha preso una decisione che la riguardava e lei ha sostenuto che fosse ingiusta. Il tribunale ha deciso a favore dell’algoritmo.
2. **Perché l’algoritmo ha vinto?**
Il tribunale ha stabilito che l’algoritmo si limitava a seguire la legge così com’era scritta. Non ha commesso un errore: ha applicato le regole correttamente. Il problema era che la legge stessa era troppo rigida, non che l’algoritmo avesse funzionato male.
3. **Si può davvero portare un algoritmo in tribunale?**
Non direttamente. Non si può fare causa a un software. Ma si può contestare la decisione che ha preso facendo causa all’ente governativo o all’azienda che lo ha utilizzato. In questo caso, l’autrice ha contestato la decisione automatizzata dell’Agenzia Svedese delle Assicurazioni Sociali.
4. **Che tipo di decisione ha preso l’algoritmo?**
Ha negato la sua richiesta di indennità prolungata per congedo parentale. L’algoritmo ha calcolato automaticamente la sua idoneità basandosi su rigide regole di reddito e storia lavorativa, senza considerare la sua situazione specifica.
5. **È un problema comune?**
Sì. Sempre più governi e aziende usano algoritmi per prendere decisioni su indennità, prestiti, assunzioni e persino condanne penali. Quando le regole sono troppo semplici, le persone con circostanze insolite vengono spesso ingiustamente respinte.
**Domande di Livello Intermedio**
6. **Perché l’autrice pensava che l’algoritmo fosse sbagliato?**
Sosteneva che l’algoritmo non tenesse conto del suo reale modello di reddito. Era una libera professionista, quindi il suo reddito non era costante mese dopo mese. L’algoritmo usava una rigida regola di verifica su 12 mesi che la squalificava, anche se aveva guadagnato abbastanza complessivamente.
7. **Qual è stato il ragionamento del tribunale nello schierarsi con l’algoritmo?**
Il tribunale ha detto che l’algoritmo era solo uno strumento che applicava la legge esattamente. Se la legge è imperfetta, il tribunale non può incolpare l’algoritmo. L’autrice avrebbe dovuto cambiare la legge, non combattere il software. In sostanza, l’algoritmo era corretto all’interno delle regole imperfette del sistema.
8. **Questo significa che gli algoritmi hanno sempre ragione in tribunale?**
No. Se un algoritmo è distorto o usa dati errati, può essere contestato. Ma in questo caso specifico, il tribunale ha ritenuto che l’algoritmo avesse applicato correttamente le regole esistenti, anche se quelle regole producevano un risultato ingiusto.
