Μας αρέσει να πιστεύουμε ότι η αδικία γίνεται αισθητή με θόρυβο. Όταν κάτι πάει στραβά σε ένα δημόσιο σύστημα, θα πρέπει να χτυπούν συναγερμοί και κάποιος να αναλαμβάνει την ευθύνη—ή να λογοδοτεί αν δεν το κάνει. Αλλά το 2020 στο Γκέτεμποργκ, η αδικία έφτασε αθόρυβα, ντυμένη ως αποτελεσματικότητα.
Για πρώτη φορά, η πόλη χρησιμοποίησε έναν αλγόριθμο για να τοποθετήσει μαθητές σε σχολεία. Εξάλλου, ο καθορισμός σχολικών ζωνών και εισαγωγών είναι ένα τεράστιο διοικητικό πρόβλημα για κάθε δήμο. Τι καλύτερο από μια μηχανή για να βελτιστοποιήσει αποστάσεις, προτιμήσεις και χωρητικότητα; Το σύστημα προοριζόταν να υπηρετήσει τη δημόσια αποτελεσματικότητα: παρουσιάστηκε ως ουδέτερο, βελτιωμένο και αντικειμενικό.
Αλλά κάτι πήγε τρομερά στραβά. Εκατοντάδες παιδιά τοποθετήθηκαν σε σχολεία μίλια μακριά από τα σπίτια τους—πέρα από ποτάμια και φιόρδ, πάνω από μεγάλους αυτοκινητόδρομους, σε γειτονιές που δεν είχαν επισκεφθεί ποτέ και με τις οποίες δεν είχαν καμία σχέση. Οι γονείς κοίταζαν τις αποφάσεις με δυσπιστία. Είχε ελέγξει κανείς αν ένα 13χρονο παιδί μπορούσε να διασχίσει με ασφάλεια αυτή τη διαδρομή τον χειμώνα; Ποια λογική καθοδηγούσε αυτές τις επιλογές; Αγνοήθηκαν απλώς οι δηλωμένες προτιμήσεις τους; Κανείς στη σχολική διοίκηση δεν φαινόταν ικανός—ή πρόθυμος—να εξηγήσει τι είχε συμβεί ή να διορθώσει τα λάθη.
Παρακολούθησα αυτή την εξέλιξη ως ερευνήτρια τεχνολογίας και πρώην δικηγόρος, αλλά και ως μητέρα. Ο τότε 12χρονος γιος μου ήταν ένα από τα παιδιά που επηρεάστηκαν από τον αλγόριθμο. Η απογοήτευσή μας μεγάλωνε καθώς η σχολική διοίκηση απέτυχε να ανταποκριθεί. Ήρεμα, μας είπαν ότι μπορούσαμε να υποβάλουμε ένσταση αν είχαμε πρόβλημα με την τοποθέτησή μας—λες και ήταν θέμα προσωπικής γεύσης. Λες και το ζήτημα ήταν ατομική δυσαρέσκεια, όχι μια συστημική αποτυχία. Γύρω από τραπέζια κουζίνας σε όλη την πόλη, η ίδια σύγχυση και οργή σιγόβραζαν. Κάτι ήταν λάθος, και η κλίμακα του προβλήματος γινόταν πιο ξεκάθαρη μέρα με τη μέρα.
Χρειάστηκε σχεδόν ένας χρόνος για να επιβεβαιώσουν οι δημοτικοί ελεγκτές αυτό που πολλοί από εμάς υποπτευόμασταν: ο αλγόριθμος είχε λάβει ελαττωματικές οδηγίες. Υπολόγιζε αποστάσεις "σε ευθεία γραμμή", όχι τις πραγματικές διαδρομές πεζοπορίας. Το Γκέτεμποργκ διασχίζεται από ένα μεγάλο ποτάμι. Η αποτυχία να ληφθεί αυτό υπόψη σήμαινε ότι τα παιδιά αντιμετώπιζαν μετακινήσεις μιας ώρας. Για πολλούς, το να φτάσουν στην άλλη πλευρά του ποταμού με τα πόδια ή ποδήλατο—όπως ορίζει ο νόμος ως τον σωστό τρόπο για να πάνε στο σχολείο—ήταν απλώς αδύνατο.
Μετά από κατακραυγή από τις οικογένειες, οι διαδικασίες βελτιώθηκαν για την επόμενη σχολική χρονιά. Αλλά για περίπου 700 παιδιά που είχαν ήδη επηρεαστεί από τον ελαττωματικό αλγόριθμο, τίποτα δεν άλλαξε. Θα περνούσαν ολόκληρα τα χρόνια του γυμνασίου σε "λάθος" σχολεία.
Η επίσημη γραμμή ήταν ότι οι ατομικές ενστάσεις ήταν αρκετές. Αλλά αυτό χάνει το νόημα. Οι αλγόριθμοι δεν λαμβάνουν απλώς μεμονωμένες αποφάσεις· δημιουργούν συστήματα αποφάσεων. Όταν 100 παιδιά τοποθετούνται λανθασμένα σε σχολεία στην απέναντι όχθη του ποταμού, καταλαμβάνουν τις θέσεις που προορίζονταν για άλλους. Αυτά τα παιδιά στη συνέχεια ωθούνται σε διαφορετικά σχολεία, εκτοπίζοντας με τη σειρά τους άλλους. Σαν ντόμινο, τα λάθη διαδίδονται. Στην πέμπτη ή έκτη μετατόπιση, η αδικία γίνεται σχεδόν αδύνατο να εντοπιστεί, πόσο μάλλον να αμφισβητηθεί και να αποδειχθεί στο δικαστήριο.
Δεκατριάχρονα παιδιά τοποθετήθηκαν σε σχολεία μίλια μακριά—πέρα από ποτάμια και φιόρδ, πάνω από μεγάλους αυτοκινητόδρομους.
Αυτή η αλγοριθμική αδικία δεν είναι ένα αφηρημένο πρόβλημα, ούτε είναι μοναδική για τη Σουηδία. Αντηχεί οδυνηρά πρόσφατα σκάνδαλα σε όλη την Ευρώπη. Ένα είναι το σκάνδαλο των Ταχυδρομείων στο Ηνωμένο Βασίλειο, όπου το σύστημα Πληροφορικής Horizon κατηγόρησε ψευδώς εκατοντάδες ταχυδρομικούς υπαλλήλους για κλοπή, οδηγώντας σε διώξεις, χρεοκοπίες, ακόμη και φυλάκιση. Για χρόνια, η έξοδος του συστήματος αντιμετωπιζόταν ως σχεδόν αλάνθαστη. Η ανθρώπινη μαρτυρία υποτάχθηκε στην εξουσία της μηχανής. Ένα άλλο παράδειγμα είναι το σκάνδαλο των επιδομάτων παιδικής φροντίδας στην Ολλανδία, όπου ένα σύστημα που χρησιμοποιούσε η ολλανδική φορολογική αρχή σημάδεψε λανθασμένα χιλιάδες γονείς ως απατεώνες. Οικογένειες βυθίστηκαν σε χρέη. Πολλοί έχασαν τα σπίτια τους. Παιδιά τέθηκαν σε ανάδοχη φροντίδα. Και στις δύο περιπτώσεις, οι αλγοριθμικές αποτυχίες συνεχίστηκαν για πολλά χρόνια, καθώς το αυτοματοποιημένο σύστημα λειτουργούσε πίσω από ένα πέπλο τεχνικής πολυπλοκότητας και θεσμικής αμυντικότητας. Τα λάθη συσσωρεύτηκαν. Η βλάβη χειροτέρεψε. Η λογοδοσία υστέρησε.
Πίσω στο Γκέτεμποργκ το 2020, συνειδητοποίησα ότι το να προσβάλω απλώς την τοποθέτηση του γιου μου δεν θα ήταν αρκετό. Δεν μπορείς να διορθώσεις ένα συστημικό πρόβλημα με μεμονωμένες διορθώσεις. Έτσι, ως μέρος ενός ερευνητικού έργου, μήνυσα την πόλη για να δω τι συμβαίνει όταν οι αλγόριθμοι πάνε στο δικαστήριο. Δεν αμφισβήτησα μόνο τη συγκεκριμένη τοποθέτηση του γιου μου—αμφισβήτησα τη νομιμότητα ολόκληρου του συστήματος λήψης αποφάσεων και ό,τι παρήγαγε. Υποστήριξα ότι ο σχεδιασμός του αλγορίθμου παραβίαζε τον νόμο.
Επειδή δεν μπορούσα να αποκτήσω πρόσβαση στο σύστημα—τα επανειλημμένα αιτήματά μου να δω τον αλγόριθμο αγνοήθηκαν—δεν μπορούσα να το παρουσιάσω στο δικαστήριο. Αντίθετα, ανέλυσα προσεκτικά εκατοντάδες τοποθετήσεις, χρησιμοποιώντας διευθύνσεις και σχολικές επιλογές για να καταλάβω πώς πρέπει να λειτουργούσε το σύστημα, και το παρουσίασα ως αποδεικτικό στοιχείο.
Η υπεράσπιση της πόλης ήταν εκπληκτικά απλή. Ισχυρίστηκαν ότι το σύστημα ήταν απλώς ένα "εργαλείο υποστήριξης". Είπαν ότι δεν έκαναν τίποτα λάθος και δεν προσέφεραν καμία απόδειξη: κανένα τεχνικό έγγραφο, κανέναν κώδικα, καμία εξήγηση για το πώς λειτουργούσαν τα πράγματα.
Και, προς έκπληξή μου, δεν χρειαζόταν. Το δικαστήριο έθεσε το βάρος της απόδειξης σε εμένα. Οι δικαστές είπαν ότι ήταν δική μου δουλειά να αποδείξω ότι το σύστημα ήταν παράνομο. Η ανάλυσή μου των αποφάσεων δεν ήταν αρκετή. Χωρίς άμεσες αποδείξεις του κώδικα, δεν μπορούσα να πληρώσω το πρότυπο απόδειξης. Η υπόθεση απορρίφθηκε. Με άλλα λόγια: απόδειξε τι υπάρχει μέσα στο μαύρο κουτί, ή χάνεις.
Αυτό—περισσότερο από την αρχική διοικητική αποτυχία—με κρατά ξύπνια τη νύχτα. Γνωρίζουμε ότι οι αλγόριθμοι μερικές φορές αποτυγχάνουν. Αυτός είναι ακριβώς ο λόγος που έχουμε δικαστήρια: για να αναγκάσουν σε αποκάλυψη, να εξετάσουν και να διορθώσουν. Αλλά όταν οι νομικές διαδικασίες παραμένουν κολλημένες στο παρελθόν, και όταν οι δικαστές δεν έχουν τα εργαλεία, τις δεξιότητες ή την εξουσία να αμφισβητήσουν αλγοριθμικά συστήματα, η αδικία κερδίζει. Ενώ οι δημόσιες υπηρεσίες χρησιμοποιούν αδιαφανή συστήματα σε μεγάλη κλίμακα, στους πολίτες που αντιμετωπίζουν αποφάσεις που αλλάζουν τη ζωή τους λέγεται να υποβάλουν ένσταση—ένας ένας—χωρίς ποτέ να δουν τον κώδικα πίσω από αυτό.
Τα διδάγματα από τα σκάνδαλα των Ταχυδρομείων και των ολλανδικών επιδομάτων παιδιών αντηχούν αυτό που βρήκα στο Γκέτεμποργκ. Όταν τα δικαστήρια εμπιστεύονται την τεχνολογία αντί να την αμφισβητούν, και όταν το βάρος της απόδειξης πέφτει σε εκείνους που βλάπτονται αντί σε εκείνους που κατασκεύασαν και χρησιμοποίησαν το σύστημα, η αλγοριθμική αδικία δεν εμφανίζεται απλώς—μπορεί να διαρκέσει για χρόνια. Ακόμα και όταν η ίδια η τεχνολογία είναι απλή, όπως στο Γκέτεμποργκ—όπου το λάθος ήταν η χρήση απόστασης σε ευθεία γραμμή αντί για πραγματικές διαδρομές πεζοπορίας—οι πολίτες εξακολουθούσαν να αντιμετωπίζουν ένα μαύρο κουτί που έπρεπε να αποκαλύψουν για να το αμφισβητήσουν. Σε αυτή την περίπτωση, ήταν ένα γυάλινο κουτί τυλιγμένο σε πολλά στρώματα μαύρου χαρτιού.
Είναι καιρός να απαιτήσουμε από τα δικαστήριά μας να ανοίξουν τα μαύρα κουτιά της αλγοριθμικής λήψης αποφάσεων. Πρέπει να μεταφέρουμε το βάρος της απόδειξης στο μέρος που έχει πραγματικά πρόσβαση στον αλγόριθμο και να δημιουργήσουμε νομικούς κανόνες για αποτελεσματικές, συστημικές διορθώσεις. Μέχρι να ενημερώσουμε τις νομικές μας διαδικασίες ώστε να ταιριάζουν με τις πραγματικότητες μιας ψηφιακής κοινωνίας, θα συνεχίσουμε να σκοντάφτουμε από σκάνδαλο σε σκάνδαλο. Όταν η αδικία παραδίδεται αθόρυβα από κώδικα, η λογοδοσία πρέπει να απαντά δυνατά.
Η Charlotta Kronblad ερευνά τον ψηφιακό μετασχηματισμό στο Πανεπιστήμιο του Γκέτεμποργκ.
