Rádi si myslíme, že nespravedlnost se ohlašuje hlasitě. Když se v systému veřejné správy něco pokazí, měly by se rozeznít alarmy a někdo by měl převzít odpovědnost – nebo být pohnán k odpovědnosti, pokud tak neučiní. Ale v roce 2020 v Göteborgu dorazila nespravedlnost potichu, oblečená do hávu efektivity.
Poprvé město použilo algoritmus k přiřazování studentů do škol. Koneckonců, vymýšlet školní obvody a přijímací řízení je pro každou obec obrovská administrativní bolest hlavy. Co by mohlo být lepší než stroj, který optimalizuje vzdálenosti, preference a kapacitu? Systém měl sloužit veřejné efektivitě: byl prezentován jako neutrální, zjednodušený a objektivní.
Ale něco se strašlivě pokazilo. Stovky dětí byly přiřazeny do škol vzdálených kilometry od jejich domovů – přes řeky a fjordy, přes hlavní dálnice, do čtvrtí, které nikdy nenavštívily a ke kterým neměly žádný vztah. Rodiče zírali na rozhodnutí v nevěřícnosti. Zkontroloval vůbec někdo, zda by třináctileté dítě mohlo v zimě bezpečně ujít tuto trasu pěšky? Jaká logika řídila tato rozhodnutí? Byly jejich uvedené preference jednoduše ignorovány? Nikdo ve školské správě se nezdál být schopen – nebo ochoten – vysvětlit, co se stalo, nebo napravit chyby.
Sledovala jsem to jako výzkumnice v oblasti technologií a bývalá právnička, ale také jako matka. Můj tehdy dvanáctiletý syn byl jedním z dětí postižených algoritmem. Naše frustrace rostla, když školská správa nereagovala. Klidně nám řekli, že se můžeme odvolat, pokud máme problém s naším umístěním – jako by to byla záležitost osobního vkusu. Jako by problémem byla individuální nespokojenost, nikoli systémové selhání. U kuchyňských stolů po celém městě vřel stejný zmatek a hněv. Něco bylo špatně a rozsah problému byl každým dnem jasnější.
Trvalo téměř rok, než městští auditoři potvrdili to, co mnozí z nás tušili: algoritmus dostal chybné instrukce. Počítal vzdálenosti „vzdušnou čarou", nikoli skutečné pěší trasy. Göteborgem protéká velká řeka. To, že se s tím nepočítalo, znamenalo, že děti čelily hodinovým dojížděním. Pro mnohé bylo dosažení druhého břehu řeky pěšky nebo na kole – jak zákon říká, že je správný způsob, jak se dostat do školy – prostě nemožné.
Po pobouření rodin byly postupy pro následující školní rok vylepšeny. Ale pro zhruba 700 dětí již postižených chybným algoritmem se nic nezměnilo. Měly strávit celá svá léta na druhém stupni v „nesprávných" školách.
Oficiální stanovisko bylo, že individuální odvolání stačí. To ale míjí podstatu. Algoritmy nedělají jen izolovaná rozhodnutí; vytvářejí systémy rozhodnutí. Když je 100 dětí nesprávně umístěno do škol na protějším břehu řeky, zaberou místa určená pro jiné. Tyto děti jsou pak tlačeny do jiných škol, čímž zase vytlačují další. Jako domino se chyby kaskádovitě šíří. Při pátém nebo šestém vytlačení se nespravedlnost stává téměř nemožnou odhalit, natož napadnout a prokázat u soudu.
Třináctileté děti byly přiřazeny do škol vzdálených kilometry – přes řeky a fjordy, přes hlavní dálnice.
Tato algoritmická nespravedlnost není abstraktní problém, ani není jedinečná pro Švédsko. Bolestně se ozývá v nedávných skandálech po celé Evropě. Jedním z nich je skandál Pošty ve Spojeném království, kde systém IT Horizon falešně obvinil stovky poštovních úředníků z krádeže, což vedlo k trestnímu stíhání, bankrotům a dokonce uvěznění. Po léta byl výstup systému považován za téměř neomylný. Lidská svědectví se podřizovala autoritě stroje. Dalším příkladem je skandál s dávkami na péči o děti v Nizozemsku, kde systém používaný nizozemským daňovým úřadem nesprávně označil tisíce rodičů jako podvodníky. Rodiny se ocitly v dluzích. Mnozí přišli o své domovy. Děti byly umístěny do pěstounské péče. V obou případech algoritmická selhání pokračovala po mnoho let, protože automatizovaný systém fungoval za oponou technické složitosti a institucionální defenzivy. Chyby se hromadily. Škody se zhoršovaly. Odpovědnost zaostávala.
Zpět v Göteborgu v roce 2020 jsem si uvědomila, že pouhé odvolání proti umístění mého syna nebude stačit. Systémový problém nelze opravit individuálními opravami. Takže jsem v rámci výzkumného projektu zažalovala město, abych zjistila, co se stane, když algoritmy jdou k soudu. Nenapadla jsem jen konkrétní umístění mého syna – napadla jsem zákonnost celého rozhodovacího systému a všeho, co vyprodukoval. Argumentovala jsem tím, že návrh algoritmu porušoval zákon.
Protože jsem neměla přístup k systému – mé opakované žádosti o nahlédnutí do algoritmu byly ignorovány – nemohla jsem jej soudu ukázat. Místo toho jsem pečlivě analyzovala stovky umístění, pomocí adres a výběru škol jsem zjistila, jak systém musel fungovat, a předložila to jako důkaz.
Obrana města byla šokujícně jednoduchá. Tvrdili, že systém byl jen „podpůrný nástroj". Řekli, že neudělali nic špatného, a nepředložili žádný důkaz: žádné technické dokumenty, žádný kód, žádné vysvětlení, jak věci fungovaly.
A k mému překvapení ani nemuseli. Soud uložil důkazní břemeno na mě. Soudci řekli, že je mou prací prokázat, že systém byl nezákonný. Moje analýza rozhodnutí nestačila. Bez přímého důkazu kódu jsem nemohla splnit standard dokazování. Případ byl zamítnut. Jinými slovy: dokažte, co je uvnitř černé skříňky, nebo prohrajte.
Právě toto – více než původní administrativní selhání – mi nedá spát. Víme, že algoritmy někdy selhávají. To je přesně důvod, proč máme soudy: aby vynutily zveřejnění, prozkoumaly a napravily věci. Ale když právní postupy uvíznou v minulosti a když soudci nemají nástroje, dovednosti nebo pravomoc zpochybňovat algoritmické systémy, nespravedlnost vítězí. Zatímco veřejné orgány používají neprůhledné systémy ve velkém měřítku, občanům, kteří čelí život měnícím výsledkům, je řečeno, aby se odvolávali – jeden po druhém – aniž by kdy viděli kód, který za tím stojí.
Poučení ze skandálů Pošty a nizozemských dávek na péči o děti se ozývá v tom, co jsem našla v Göteborgu. Když soudy technologii důvěřují, místo aby ji zpochybňovaly, a když důkazní břemeno dopadá na ty, kteří byli poškozeni, spíše než na ty, kteří systém postavili a používali, algoritmická nespravedlnost se nejen objeví – může trvat roky. Dokonce i když je samotná technologie jednoduchá, jako v Göteborgu – kde chybou bylo použití vzdušné vzdálenosti namísto skutečných pěších tras – občané stále čelili černé skříňce, kterou museli odhalit, aby ji mohli napadnout. V tomto případě to byla skleněná skříňka zabalená do mnoha vrstev černého papíru.
Je čas požadovat, aby naše soudy otevřely černé skříňky algoritmického rozhodování. Musíme přesunout důkazní břemeno na stranu, která má skutečně přístup k algoritmu, a vytvořit právní pravidla pro účinné, systémové nápravy. Dokud neaktualizujeme naše právní postupy tak, aby odpovídaly realitě digitální společnosti, budeme stále klopýtat od skandálu ke skandálu. Když je nespravedlnost doručována potichu kódem, odpovědnost musí odpovídat hlasitě.
Charlotta Kronblad zkoumá digitální transformaci na Univerzitě v Göteborgu.
Často kladené otázky
Zde je seznam často kladených otázek na základě článku Vzala jsem algoritmus k soudu ve Švédsku. Algoritmus vyhrál od Charlotty Kronblad
Otázky pro začátečníky
1 O čem je tento článek
Je o skutečném právním případu, kde se švédská výzkumnice pokusila napadnout vládní algoritmus u soudu Algoritmus učinil rozhodnutí, které se jí týkalo, a ona argumentovala, že bylo nespravedlivé Soud rozhodl ve prospěch algoritmu
2 Proč algoritmus vyhrál
Soud rozhodl, že algoritmus pouze dodržoval zákon tak, jak byl napsán Neudělal chybu – správně aplikoval pravidla Problém byl v tom, že zákon sám o sobě byl příliš rigidní, nikoli že by algoritmus selhal
3 Můžete skutečně vzít algoritmus k soudu
Ne přímo Nemůžete zažalovat kus softwaru Ale můžete napadnout rozhodnutí, které učinil, tím, že zažalujete vládní agenturu nebo společnost, která jej použila V tomto případě autorka napadla automatizované rozhodnutí Švédské agentury sociálního pojištění
4 Jaký druh rozhodnutí algoritmus učinil
Zamítl její žádost o prodloužené rodičovské dávky Algoritmus automaticky vypočítal její nárok na základě přísných pravidel o příjmu a pracovní historii, aniž by zohlednil její konkrétní situaci
5 Je to běžný problém
Ano stále více vlád a společností používá algoritmy k rozhodování o dávkách půjčkách zaměstnání a dokonce i trestních trestech Když jsou pravidla příliš jednoduchá lidé s neobvyklými okolnostmi jsou často nespravedlivě odmítnuti
Otázky pro středně pokročilé
6 Proč si autorka myslela, že algoritmus byl špatný
Argumentovala, že algoritmus nezohlednil její skutečný vzorec příjmu Byla na volné noze, takže její příjem nebyl měsíc od měsíce stabilní Algoritmus použil rigidní pravidlo zpětného pohledu 12 měsíců, které ji diskvalifikovalo, i když celkově vydělala dost
7 Jaké bylo zdůvodnění soudu pro rozhodnutí ve prospěch algoritmu
Soud řekl, že algoritmus byl jen nástroj, který přesně aplikoval zákon Pokud je zákon chybný, soud nemůže vinit algoritmus Autorka by musela změnit zákon, ne bojovat se softwarem V podstatě byl algoritmus správný v rámci chybných pravidel systému
8 Znamená to, že algoritmy mají u soudu vždy pravdu
Ne Pokud je algoritmus zaujatý nebo používá špatná data
