Ето превод на текста от английски на български:
Обичаме да си мислим, че несправедливостта се обявява шумно. Когато нещо се обърка в публична система, трябва да звънят аларми и някой трябва да поеме отговорност – или да бъде подведен под отговорност, ако не го направи. Но през 2020 г. в Гьотеборг несправедливостта пристигна тихо, облечена като ефективност.
За първи път градът използва алгоритъм, за да разпределя ученици в училища. В края на краищата, определянето на училищни райони и приемът са огромно административно главоболие за всяка община. Какво по-хубаво от машина, която да оптимизира разстояния, предпочитания и капацитет? Системата трябваше да служи на публичната ефективност: беше представена като неутрална, рационализирана и обективна.
Но нещо се обърка ужасно. Стотици деца бяха разпределени в училища на километри от домовете им – през реки и фиорди, над големи магистрали, в квартали, които никога не бяха посещавали и с които нямаха връзка. Родителите гледаха решенията в неверие. Някой провери ли дали 13-годишно дете може безопасно да измине този маршрут пеша през зимата? Каква логика ръководеше тези избори? Бяха ли просто игнорирани заявените им предпочитания? Никой в училищната администрация не изглеждаше способен – или желаещ – да обясни какво се е случило или да поправи грешките.
Наблюдавах това да се развива като изследовател в областта на технологиите и бивш адвокат, но също и като майка. Тогава 12-годишният ми син беше едно от децата, засегнати от алгоритъма. Разочарованието ни растеше, тъй като училищната администрация не реагираше. Спокойно ни казаха, че можем да обжалваме, ако имаме проблем с разпределението си – сякаш беше въпрос на личен вкус. Сякаш проблемът беше индивидуално недоволство, а не системен провал. Около кухненски маси из целия град кипеше същото объркване и гняв. Нещо не беше наред и мащабът на проблема ставаше все по-ясен с всеки изминал ден.
Отне почти година на градските одитори да потвърдят това, което мнозина от нас подозираха: на алгоритъма бяха дадени грешни инструкции. Той изчисляваше разстоянията "по права линия", а не действителните пешеходни маршрути. През Гьотеборг тече голяма река. Пропускането на този факт означаваше, че децата са изправени пред едночасови пътувания. За мнозина достигането до другата страна на реката пеша или с велосипед – както законът казва, че е правилният начин да се стигне до училище – беше просто невъзможно.
След възмущение от страна на семействата, процедурите бяха подобрени за следващата учебна година. Но за приблизително 700 деца, вече засегнати от дефектния алгоритъм, нищо не се промени. Те щяха да прекарат целите си години в прогимназията в "грешните" училища.
Официалната линия беше, че индивидуалните жалби са достатъчни. Но това пропуска същината. Алгоритмите не вземат просто изолирани решения; те създават системи от решения. Когато 100 деца са неправилно разпределени в училища на отсрещния бряг на реката, те заемат местата, предназначени за други. Тези деца тогава са изтласкани към различни училища, измествайки от своя страна други. Като домино, грешките се натрупват. До петото или шестото изместване несправедливостта става почти невъзможна за откриване, камо ли за оспорване и доказване в съда.
Тринадесетгодишни деца бяха разпределени в училища на километри разстояние – през реки и фиорди, над големи магистрали.
Тази алгоритмична несправедливост не е абстрактен проблем, нито е уникална за Швеция. Тя болезнено напомня на скорошни скандали в цяла Европа. Единият е скандалът с пощите в Обединеното кралство, където IT системата Horizon фалшиво обвини стотици пощенски оператори в кражба, което доведе до съдебни преследвания, банкрути и дори лишаване от свобода. В продължение на години резултатите от системата се третираха като почти непогрешими. Човешките показания бяха огъвани пред авторитета на машината. Друг пример е скандалът с обезщетенията за отглеждане на деца в Нидерландия, където система, използвана от нидерландската данъчна служба, неправилно маркира хиляди родители като извършители на измама. Семейства бяха потопени в дългове. Мнозина загубиха домовете си. Деца бяха изведени в приемни семейства. И в двата случая алгоритмичните грешки продължиха дълги години, тъй като автоматизираната система работеше зад завеса от техническа сложност и институционална защитна реакция. Грешките се трупаха. Вредата се влошаваше. Отговорността изоставаше.
Обратно в Гьотеборг през 2020 г., осъзнах, че простото обжалване на разпределението на сина ми няма да е достатъчно. Не можете да поправите системен проблем с индивидуални корекции. Затова, като част от изследователски проект, заведох дело срещу града, за да видя какво се случва, когато алгоритмите отидат в съда. Не оспорих само конкретното разпределение на сина ми – оспорих законността на цялата система за вземане на решения и всичко, което тя произведе. Твърдях, че дизайнът на алгоритъма нарушава закона.
Тъй като нямах достъп до системата – многократните ми искания да видя алгоритъма бяха игнорирани – не можех да го покажа на съда. Вместо това внимателно анализирах стотици разпределения, използвайки адреси и училищни избори, за да разбера как системата трябва да е работила, и представих това като доказателство.
Защитата на града беше шокиращо проста. Те твърдяха, че системата е просто "инструмент за подкрепа". Казаха, че не са направили нищо лошо и не предоставиха никакви доказателства: никакви технически документи, никакъв код, никакво обяснение как работи нещата.
И, за моя изненада, не бяха длъжни. Съдът постави тежестта на доказване върху мен. Съдиите казаха, че моя работа е да покажа, че системата е незаконна. Анализът ми на решенията не беше достатъчен. Без преки доказателства за кода не можех да отговаря на стандарта за доказване. Делото беше отхвърлено. С други думи: докажи какво има вътре в черната кутия, или загуби.
Това – повече от първоначалния административен провал – ме държи будна нощем. Знаем, че алгоритмите понякога се провалят. Точно затова имаме съдилища: да принудят разкриването, да изследват и да поправят нещата. Но когато правните процедури останат закотвени в миналото и когато съдиите нямат инструментите, уменията или правомощията да поставят под въпрос алгоритмичните системи, несправедливостта побеждава. Докато публичните агенции използват непрозрачни системи в голям мащаб, гражданите, изправени пред променящи живота последици, са инструктирани да обжалват – един по един – без никога да видят кода зад тях.
Уроците от скандалите с пощите и нидерландските детски обезщетения отекват това, което открих в Гьотеборг. Когато съдилищата се доверяват на технологията, вместо да я поставят под въпрос, и когато тежестта на доказване пада върху ощетените, а не върху тези, които са построили и използвали системата, алгоритмичната несправедливост не просто се появява – тя може да продължи с години. Дори когато самата технология е проста, както в Гьотеборг – където грешката беше използването на разстояние по права линия вместо действителни пешеходни маршрути – гражданите все още бяха изправени пред черна кутия, която трябваше да разкрият, за да я оспорят. В този случай това беше стъклена кутия, увита в много слоеве черна хартия.
Време е да поискаме нашите съдилища да отворят черните кутии на алгоритмичното вземане на решения. Трябва да прехвърлим тежестта на доказване на страната, която действително има достъп до алгоритъма, и да създадем правни правила за ефективни, системни корекции. Докато не актуализираме правните си процедури, за да съответстват на реалностите на дигиталното общество, ще продължаваме да се препъваме от скандал на скандал. Когато несправедливостта се доставя тихо чрез код, отчетността трябва да отговори шумно.
Шарлота Кронблад изследва дигиталната трансформация в университета в Гьотеборг.
**Често задавани въпроси**
Ето списък с ЧЗВ, базирани на статията "Заведох алгоритъм в съда в Швеция. Алгоритъмът спечели" от Шарлота Кронблад.
**Въпроси за начинаещи**
1. **За какво е тази статия?**
Статията е за реален съдебен случай, в който шведски изследовател се опита да оспори правителствен алгоритъм в съда. Алгоритъмът взе решение относно нея и тя твърдеше, че то е несправедливо. Съдът се произнесе в полза на алгоритъма.
2. **Защо алгоритъмът спечели?**
Съдът реши, че алгоритъмът просто следва закона, както е написан. Той не направи грешка – приложи правилата правилно. Проблемът беше, че самият закон беше твърде твърд, а не че алгоритъмът се повреди.
3. **Наистина ли можете да заведете алгоритъм в съда?**
Не директно. Не можете да съдите софтуер. Но можете да оспорите решението, което е взел, като съдите държавната агенция или компанията, която го е използвала. В този случай авторката оспори автоматизираното решение на Шведската агенция за социално осигуряване.
4. **Какъв вид решение взе алгоритъмът?**
Той отказа нейното заявление за удължени обезщетения за родителски отпуск. Алгоритъмът автоматично изчисли нейното право въз основа на строги правила за доходи и трудов стаж, без да вземе предвид нейната конкретна ситуация.
5. **Това често срещан проблем ли е?**
Да. Все повече правителства и компании използват алгоритми, за да вземат решения относно обезщетения, заеми, наемане на работа и дори наказателни присъди. Когато правилата са твърде опростени, хората с необичайни обстоятелства често биват несправедливо отхвърляни.
**Въпроси за средно напреднали**
6. **Защо авторката смяташе, че алгоритъмът греши?**
Тя твърдеше, че алгоритъмът не е взел предвид реалния ѝ модел на доходи. Тя беше фрийлансър, така че доходите ѝ не бяха стабилни месец след месец. Алгоритъмът използва твърдо 12-месечно правило за обратно изчисление, което я дисквалифицира, въпреки че като цяло беше спечелила достатъчно.
7. **Каква беше аргументацията на съда за заставане на страната на алгоритъма?**
Съдът каза, че алгоритъмът е просто инструмент, който прилага закона точно. Ако законът е погрешен, съдът не може да обвини алгоритъма. Авторката би трябвало да промени закона, а не да се бори със софтуера. По същество алгоритъмът беше правилен в рамките на погрешните правила на системата.
8. **Това означава ли, че алгоритмите винаги са прави в съда?**
Не. Ако даден алгоритъм е пристрастен, използва лоши данни или е проектиран да нарушава закона, той може да бъде оспорен. Този случай обаче показва, че когато алгоритъмът просто прилага съществуващ закон, дори и законът да е несправедлив, съдът може да не го отмени.
