Lubimy myśleć, że niesprawiedliwość objawia się głośno. Gdy w publicznym systemie coś idzie nie tak, powinny włączyć się alarmy, a ktoś powinien wziąć odpowiedzialność – lub zostać pociągnięty do odpowiedzialności, jeśli tego nie zrobi. Jednak w 2020 roku w Göteborgu niesprawiedliwość nadeszła cicho, przebrana za efektywność.
Po raz pierwszy miasto użyło algorytmu do przydzielania uczniów do szkół. W końcu ustalanie stref szkolnych i zasad przyjęć to ogromne administracyjne wyzwanie dla każdej gminy. Cóż może być lepszego niż maszyna do optymalizacji odległości, preferencji i pojemności? System miał służyć publicznej efektywności: został przedstawiony jako neutralny, usprawniony i obiektywny.
Ale coś poszło strasznie nie tak. Setki dzieci zostały przydzielone do szkół oddalonych o mile od ich domów – przez rzeki i fiordy, przez główne autostrady, w dzielnicach, których nigdy nie odwiedzały i z którymi nie miały żadnego związku. Rodzice wpatrywali się w decyzje z niedowierzaniem. Czy ktokolwiek sprawdził, czy 13-latek może bezpiecznie pokonać tę trasę pieszo zimą? Jaka logika kierowała tymi wyborami? Czy ich wyrażone preferencje zostały po prostu zignorowane? Nikt w administracji szkolnej nie wydawał się być w stanie – ani chętny – wyjaśnić, co się stało, ani naprawić błędów.
Obserwowałam to jako badaczka technologii i była prawniczka, ale także jako matka. Mój wówczas 12-letni syn był jednym z dzieci dotkniętych przez algorytm. Nasza frustracja rosła, gdy administracja szkolna nie reagowała. Spokojnie mówili nam, że możemy się odwołać, jeśli mamy problem z przydziałem – jakby to była kwestia osobistego gustu. Jakby problemem było indywidualne niezadowolenie, a nie systemowa porażka. Przy kuchennych stołach w całym mieście kipiało to samo zamieszanie i gniew. Coś było nie tak, a skala problemu stawała się z dnia na dzień coraz bardziej oczywista.
Minęło prawie rok, zanim miejscy audytorzy potwierdzili to, co wielu z nas podejrzewało: algorytm otrzymał wadliwe instrukcje. Obliczał odległości „po linii prostej", a nie rzeczywiste trasy piesze. Przez Göteborg przepływa duża rzeka. Nieuwzględnienie tego oznaczało, że dzieci stały przed godzinami dojazdu. Dla wielu dotarcie na drugą stronę rzeki pieszo lub rowerem – co zgodnie z prawem jest właściwym sposobem dotarcia do szkoły – było po prostu niemożliwe.
Po oburzeniu rodzin procedury zostały ulepszone na następny rok szkolny. Ale dla około 700 dzieci już dotkniętych wadliwym algorytmem nic się nie zmieniło. Miały spędzić całe gimnazjum w „złych" szkołach.
Oficjalna linia była taka, że indywidualne odwołania wystarczą. Ale to mija się z celem. Algorytmy nie podejmują tylko pojedynczych decyzji; tworzą systemy decyzji. Kiedy 100 dzieci zostaje błędnie przydzielonych do szkół na przeciwległym brzegu rzeki, zajmują one miejsca przeznaczone dla innych. Te dzieci są następnie przesuwane do innych szkół, wypierając z kolei kolejnych. Jak domino, błędy kaskadowo narastają. Przy piątym czy szóstym przemieszczeniu niesprawiedliwość staje się prawie niemożliwa do wykrycia, a co dopiero do zakwestionowania i udowodnienia w sądzie.
Trzynastoletnie dzieci zostały przydzielone do szkół oddalonych o mile – przez rzeki i fiordy, przez główne autostrady.
Ta algorytmiczna niesprawiedliwość nie jest abstrakcyjnym problemem ani nie jest unikalna dla Szwecji. Boleśnie przypomina ostatnie skandale w całej Europie. Jednym z nich jest skandal pocztowy w Wielkiej Brytanii, gdzie system IT Horizon fałszywie oskarżył setki operatorów pocztowych o kradzież, prowadząc do procesów sądowych, bankructw, a nawet więzienia. Przez lata wyniki systemu traktowano jako prawie nieomylne. Ludzkie zeznania uginały się pod autorytetem maszyny. Innym przykładem jest skandal dotyczący zasiłków na dzieci w Holandii, gdzie system używany przez holenderski urząd skarbowy błędnie oznaczył tysiące rodziców jako oszustów. Rodziny popadły w długi. Wielu straciło domy. Dzieci trafiły do pieczy zastępczej. W obu przypadkach algorytmiczne awarie trwały przez wiele lat, ponieważ zautomatyzowany system działał za zasłoną technicznej złożoności i instytucjonalnej defensywności. Błędy się piętrzyły. Krzywda się pogłębiała. Odpowiedzialność pozostawała w tyle.
W Göteborgu w 2020 roku zdałam sobie sprawę, że zwykłe odwołanie się od przydziału mojego syna nie wystarczy. Nie można naprawić systemowego problemu indywidualnymi poprawkami. W ramach projektu badawczego pozwałam więc miasto, aby zobaczyć, co się dzieje, gdy algorytmy trafiają do sądu. Zakwestionowałam nie tylko konkretny przydział mojego syna – zakwestionowałam legalność całego systemu podejmowania decyzji i wszystkiego, co wyprodukował. Argumentowałam, że projekt algorytmu łamał prawo.
Ponieważ nie miałam dostępu do systemu – moje wielokrotne prośby o wgląd do algorytmu zostały zignorowane – nie mogłam go pokazać sądowi. Zamiast tego dokładnie przeanalizowałam setki przydziałów, używając adresów i wyborów szkół, aby ustalić, jak system musiał działać, i przedstawiłam to jako dowód.
Obrona miasta była szokująco prosta. Twierdzili, że system był tylko „narzędziem wspomagającym". Powiedzieli, że nie zrobili nic złego i nie przedstawili żadnego dowodu: żadnych dokumentów technicznych, żadnego kodu, żadnego wyjaśnienia, jak rzeczy działały.
I, ku mojemu zaskoczeniu, nie musieli. Sąd nałożył ciężar dowodu na mnie. Sędziowie stwierdzili, że to moim zadaniem jest wykazanie, że system był nielegalny. Moja analiza decyzji nie wystarczyła. Bez bezpośredniego dowodu w postaci kodu nie mogłam spełnić standardu dowodowego. Sprawa została oddalona. Innymi słowy: udowodnij, co jest w czarnej skrzynce, albo przegraj.
To – bardziej niż pierwotna administracyjna porażka – nie daje mi spać w nocy. Wiemy, że algorytmy czasami zawodzą. Właśnie po to mamy sądy: aby wymusić ujawnienie, zbadać i naprawić rzeczy. Ale kiedy procedury prawne pozostają w przeszłości, a sędziowie nie mają narzędzi, umiejętności ani autorytetu, aby kwestionować systemy algorytmiczne, niesprawiedliwość wygrywa. Podczas gdy publiczne agencje na szeroką skalę używają nieprzejrzystych systemów, obywatele stojący w obliczu zmieniających życie konsekwencji są informowani, aby się odwoływać – jeden po drugim – nigdy nie widząc kodu, który za tym stoi.
Lekcje ze skandali pocztowego i dotyczącego holenderskich zasiłków na dzieci odbijają się echem tego, co znalazłam w Göteborgu. Kiedy sądy ufają technologii, zamiast ją kwestionować, a ciężar dowodu spada na poszkodowanych, a nie na tych, którzy zbudowali i używali systemu, algorytmiczna niesprawiedliwość nie tylko się pojawia – może trwać latami. Nawet gdy sama technologia jest prosta, jak w Göteborgu – gdzie błędem było użycie odległości w linii prostej zamiast rzeczywistych tras pieszych – obywatele wciąż stawali przed czarną skrzynką, którą musieli odkryć, aby ją zakwestionować. W tym przypadku była to szklana skrzynka owinięta wieloma warstwami czarnego papieru.
Nadszedł czas, aby zażądać, by nasze sądy otworzyły czarne skrzynki algorytmicznego podejmowania decyzji. Musimy przenieść ciężar dowodu na stronę, która faktycznie ma dostęp do algorytmu, i stworzyć zasady prawne dla skutecznych, systemowych napraw. Dopóki nie zaktualizujemy naszych procedur prawnych, aby odpowiadały realiom cyfrowego społeczeństwa, będziemy potykać się od skandalu do skandalu. Kiedy niesprawiedliwość jest dostarczana cicho przez kod, odpowiedzialność musi odpowiedzieć głośno.
Charlotta Kronblad bada transformację cyfrową na Uniwersytecie w Göteborgu.
**Często zadawane pytania**
Oto lista często zadawanych pytań oparta na artykule Pozwałam algorytm do sądu w Szwecji. Algorytm wygrał autorstwa Charlotty Kronblad.
**Pytania dla początkujących**
1. O czym jest ten artykuł?
Opisuje prawdziwą sprawę sądową, w której szwedzka badaczka próbowała zakwestionować w sądzie rządowy algorytm. Algorytm podjął decyzję dotyczącą jej i argumentowała, że była ona niesprawiedliwa. Sąd orzekł na korzyść algorytmu.
2. Dlaczego algorytm wygrał?
Sąd uznał, że algorytm po prostu postępował zgodnie z prawem w takiej formie, w jakiej zostało napisane. Nie popełnił błędu – zastosował zasady prawidłowo. Problem polegał na tym, że samo prawo było zbyt sztywne, a nie na tym, że algorytm działał nieprawidłowo.
3. Czy naprawdę można pozwać algorytm do sądu?
Nie bezpośrednio. Nie można pozwać oprogramowania. Można jednak zakwestionować decyzję, którą podjęło, pozywając agencję rządową lub firmę, która go użyła. W tym przypadku autorka zakwestionowała zautomatyzowaną decyzję Szwedzkiego Zakładu Ubezpieczeń Społecznych.
4. Jakiego rodzaju decyzję podjął algorytm?
Odrzucił jej wniosek o przedłużony urlop rodzicielski. Algorytm automatycznie obliczył jej kwalifikowalność w oparciu o ścisłe zasady dotyczące dochodów i historii zatrudnienia, nie biorąc pod uwagę jej konkretnej sytuacji.
5. Czy to powszechny problem?
Tak. Coraz więcej rządów i firm używa algorytmów do podejmowania decyzji dotyczących świadczeń, pożyczek, zatrudnienia, a nawet wyroków karnych. Kiedy zasady są zbyt proste, osoby o nietypowych okolicznościach są często niesłusznie odrzucane.
**Pytania dla średniozaawansowanych**
6. Dlaczego autorka uważała, że algorytm się mylił?
Argumentowała, że algorytm nie uwzględnił jej rzeczywistego wzorca dochodów. Była freelancerką, więc jej dochód nie był stały z miesiąca na miesiąc. Algorytm użył sztywnej zasady 12-miesięcznego okresu wstecz, która zdyskwalifikowała ją, mimo że łącznie zarobiła wystarczająco dużo.
7. Jakie było uzasadnienie sądu dla stanięcia po stronie algorytmu?
Sąd stwierdził, że algorytm był tylko narzędziem, które dokładnie stosowało prawo. Jeśli prawo jest wadliwe, sąd nie może winić algorytmu. Autorka musiałaby zmienić prawo, a nie walczyć z oprogramowaniem. Zasadniczo algorytm był poprawny w ramach wadliwych zasad systemu.
8. Czy to oznacza, że algorytmy zawsze mają rację w sądzie?
Nie. Jeśli algorytm jest stronniczy, używa złych danych
