Voici la traduction du texte en français, sans ajout, modification ou suggestion de traduction alternative :
Nous aimons penser que l'injustice se fait entendre bruyamment. Quand quelque chose ne va pas dans un système public, des alarmes devraient sonner, et quelqu'un devrait en assumer la responsabilité—ou être tenu pour responsable si ce n'est pas le cas. Mais en 2020 à Göteborg, l'injustice est arrivée silencieusement, déguisée en efficacité.
Pour la première fois, la ville a utilisé un algorithme pour affecter les élèves aux écoles. Après tout, déterminer les zones scolaires et les admissions est un énorme casse-tête administratif pour toute municipalité. Quoi de mieux qu'une machine pour optimiser les distances, les préférences et les capacités ? Le système était censé servir l'efficacité publique : il a été présenté comme neutre, rationalisé et objectif.
Mais quelque chose a terriblement mal tourné. Des centaines d'enfants ont été affectés à des écoles situées à des kilomètres de leur domicile—de l'autre côté de rivières et de fjords, au-delà de grandes autoroutes, dans des quartiers qu'ils n'avaient jamais visités et auxquels ils n'avaient aucun lien. Les parents ont regardé les décisions avec incrédulité. Quelqu'un avait-il vérifié si un enfant de 13 ans pouvait parcourir ce trajet à pied en toute sécurité en hiver ? Quelle logique guidait ces choix ? Leurs préférences déclarées avaient-elles simplement été ignorées ? Personne dans l'administration scolaire ne semblait capable—ou disposé—d'expliquer ce qui s'était passé ou de corriger les erreurs.
J'ai observé cela en tant que chercheuse en technologie et ancienne avocate, mais aussi en tant que mère. Mon fils, alors âgé de 12 ans, était l'un des enfants concernés par l'algorithme. Notre frustration a grandi face à l'incapacité de l'administration scolaire à répondre. Calmement, ils nous ont dit que nous pouvions faire appel si nous avions un problème avec notre affectation—comme s'il s'agissait d'une question de goût personnel. Comme si le problème était une insatisfaction individuelle, et non un échec à l'échelle du système. Autour des tables de cuisine dans toute la ville, la même confusion et la même colère couvaient. Quelque chose n'allait pas, et l'ampleur du problème devenait plus claire de jour en jour.
Il a fallu près d'un an pour que les auditeurs de la ville confirment ce que beaucoup d'entre nous soupçonnaient : l'algorithme avait reçu des instructions erronées. Il calculait les distances « à vol d'oiseau », et non les itinéraires de marche réels. Göteborg est traversée par une grande rivière. Ne pas en tenir compte signifiait que les enfants devaient faire face à des trajets d'une heure. Pour beaucoup, atteindre l'autre côté de la rivière à pied ou à vélo—comme la loi le stipule comme étant le moyen approprié pour se rendre à l'école—était tout simplement impossible.
Après un tollé général des familles, les procédures ont été améliorées pour l'année scolaire suivante. Mais pour environ 700 enfants déjà touchés par l'algorithme défectueux, rien n'a changé. Ils allaient passer toutes leurs années de collège dans les « mauvaises » écoles.
La ligne officielle était que les recours individuels suffisaient. Mais cela passe à côté du sujet. Les algorithmes ne prennent pas seulement des décisions isolées ; ils créent des systèmes de décisions. Lorsque 100 enfants sont mal affectés dans des écoles sur la rive opposée, ils prennent les places destinées à d'autres. Ces autres enfants sont alors poussés vers différentes écoles, déplaçant à leur tour d'autres élèves. Comme des dominos, les erreurs se propagent en cascade. À la cinquième ou sixième délocalisation, l'injustice devient presque impossible à détecter, et encore plus à contester et à prouver devant un tribunal.
Des enfants de treize ans ont été affectés à des écoles situées à des kilomètres—de l'autre côté de rivières et de fjords, au-delà de grandes autoroutes.
Cette injustice algorithmique n'est pas un problème abstrait, et elle n'est pas propre à la Suède. Elle fait douloureusement écho à des scandales récents à travers l'Europe. L'un d'eux est le scandale de la Poste au Royaume-Uni, où le système informatique Horizon a faussement accusé des centaines de bureaux de poste de vol, entraînant des poursuites, des faillites et même des emprisonnements. Pendant des années, les résultats du système ont été considérés comme presque infaillibles. Le témoignage humain s'est plié à l'autorité de la machine. Un autre exemple est le scandale des allocations de garde d'enfants aux Pays-Bas, où un système utilisé par l'administration fiscale néerlandaise a signalé à tort des milliers de parents comme fraudeurs. Des familles ont été plongées dans l'endettement. Beaucoup ont perdu leur maison. Des enfants ont été placés en famille d'accueil. Dans les deux cas, les défaillances algorithmiques ont persisté pendant de nombreuses années, car le système automatisé fonctionnait derrière un voile de complexité technique et de défense institutionnelle. Les erreurs s'accumulaient. Les préjudices s'aggravaient. La responsabilité était en retard.
De retour à Göteborg en 2020, j'ai réalisé que simplement faire appel de l'affectation de mon fils ne suffirait pas. On ne peut pas résoudre un problème systémique avec des solutions individuelles. Ainsi, dans le cadre d'un projet de recherche, j'ai poursuivi la ville en justice pour voir ce qui se passe lorsque les algorithmes vont au tribunal. Je n'ai pas contesté uniquement l'affectation spécifique de mon fils—j'ai contesté la légalité de l'ensemble du système décisionnel et tout ce qu'il a produit. J'ai soutenu que la conception de l'algorithme enfreignait la loi.
Comme je ne pouvais pas accéder au système—mes demandes répétées pour voir l'algorithme ont été ignorées—je n'ai pas pu le montrer au tribunal. Au lieu de cela, j'ai soigneusement analysé des centaines d'affectations, en utilisant les adresses et les choix d'école pour comprendre comment le système avait dû fonctionner, et j'ai présenté cela comme preuve.
La défense de la ville était d'une simplicité choquante. Ils ont affirmé que le système n'était qu'un « outil de soutien ». Ils ont dit qu'ils n'avaient rien fait de mal et n'ont offert aucune preuve : aucun document technique, aucun code, aucune explication sur le fonctionnement des choses.
Et, à ma grande surprise, ils n'étaient pas obligés de le faire. Le tribunal a mis la charge de la preuve sur moi. Les juges ont dit que c'était à moi de montrer que le système était illégal. Mon analyse des décisions ne suffisait pas. Sans preuve directe du code, je ne pouvais pas satisfaire au niveau de preuve requis. L'affaire a été rejetée. En d'autres termes : prouvez ce qu'il y a à l'intérieur de la boîte noire, ou perdez.
C'est cela—plus que l'échec administratif initial—qui me tient éveillée la nuit. Nous savons que les algorithmes échouent parfois. C'est précisément pour cela que nous avons des tribunaux : pour forcer la divulgation, pour examiner et pour corriger les choses. Mais lorsque les procédures juridiques restent bloquées dans le passé, et lorsque les juges ne disposent pas des outils, des compétences ou de l'autorité nécessaires pour remettre en question les systèmes algorithmiques, l'injustice l'emporte. Alors que les organismes publics utilisent des systèmes opaques à grande échelle, les citoyens confrontés à des conséquences qui changent leur vie sont invités à faire appel—un par un—sans jamais voir le code qui se cache derrière.
Les leçons des scandales de la Poste et des allocations familiales néerlandaises font écho à ce que j'ai trouvé à Göteborg. Lorsque les tribunaux font confiance à la technologie au lieu de la remettre en question, et lorsque la charge de la preuve incombe à ceux qui subissent un préjudice plutôt qu'à ceux qui ont construit et utilisé le système, l'injustice algorithmique n'apparaît pas seulement—elle peut durer des années. Même lorsque la technologie elle-même est simple, comme à Göteborg—où l'erreur était d'utiliser la distance en ligne droite au lieu des itinéraires de marche réels—les citoyens ont toujours été confrontés à une boîte noire qu'ils devaient découvrir pour la contester. Dans ce cas, c'était une boîte de verre enveloppée de nombreuses couches de papier noir.
Il est temps d'exiger que nos tribunaux ouvrent les boîtes noires de la prise de décision algorithmique. Nous devons déplacer la charge de la preuve vers la partie qui a effectivement accès à l'algorithme, et créer des règles juridiques pour des correctifs efficaces à l'échelle du système. Jusqu'à ce que nous mettions à jour nos procédures juridiques pour correspondre aux réalités d'une société numérique, nous continuerons à trébucher de scandale en scandale. Lorsque l'injustice est livrée silencieusement par du code, la responsabilité doit répondre bruyamment.
Charlotta Kronblad recherche la transformation numérique à l'Université de Göteborg.
Foire aux questions
Voici une liste de FAQ basées sur l'article J'ai traîné un algorithme devant un tribunal en Suède. L'algorithme a gagné par Charlotta Kronblad
Questions de niveau débutant
1 De quoi parle cet article
Il parle d'une affaire juridique réelle où une chercheuse suédoise a tenté de contester un algorithme gouvernemental devant un tribunal. L'algorithme a pris une décision la concernant et elle a soutenu qu'elle était injuste. Le tribunal a statué en faveur de l'algorithme.
2 Pourquoi l'algorithme a-t-il gagné
Le tribunal a décidé que l'algorithme se contentait de suivre la loi telle qu'elle était écrite. Il n'a pas commis d'erreur, il a appliqué les règles correctement. Le problème était que la loi elle-même était trop rigide, pas que l'algorithme fonctionnait mal.
3 Peut-on vraiment traîner un algorithme devant un tribunal
Pas directement. Vous ne pouvez pas poursuivre un logiciel. Mais vous pouvez contester la décision qu'il a prise en poursuivant l'agence gouvernementale ou l'entreprise qui l'a utilisé. Dans ce cas, l'auteure a contesté la décision automatisée de l'Agence suédoise d'assurance sociale.
4 Quel type de décision l'algorithme a-t-il prise
Il a refusé sa demande de prolongation des prestations parentales. L'algorithme a automatiquement calculé son admissibilité sur la base de règles strictes de revenus et d'antécédents professionnels, sans tenir compte de sa situation spécifique.
5 Est-ce un problème courant
Oui, de plus en plus de gouvernements et d'entreprises utilisent des algorithmes pour prendre des décisions concernant les prestations, les prêts, l'embauche et même les peines pénales. Lorsque les règles sont trop simples, les personnes ayant des circonstances inhabituelles sont souvent rejetées injustement.
Questions de niveau intermédiaire
6 Pourquoi l'auteure pensait-elle que l'algorithme était erroné
Elle a soutenu que l'algorithme ne tenait pas compte de son modèle de revenus réel. Elle était travailleuse indépendante, donc ses revenus n'étaient pas stables d'un mois à l'autre. L'algorithme a utilisé une règle rigide de période de référence de 12 mois qui l'a disqualifiée, même si elle avait gagné suffisamment globalement.
7 Quel était le raisonnement du tribunal pour se ranger du côté de l'algorithme
Le tribunal a dit que l'algorithme n'était qu'un outil qui appliquait la loi exactement. Si la loi est imparfaite, le tribunal ne peut pas blâmer l'algorithme. L'auteure aurait besoin de changer la loi, pas de combattre le logiciel. Essentiellement, l'algorithme était correct dans le cadre des règles imparfaites du système.
8 Cela signifie-t-il que les algorithmes ont toujours raison devant les tribunaux
Non. Si un algorithme est biaisé, utilise de mauvaises données
