Tunapenda kufikiri kwamba ukosefu wa haki hujitangaza kwa sauti kubwa. Wakati kitu kinapokwenda vibaya katika mfumo wa umma, kengele zinapaswa kulia, na mtu anapaswa kuchukua jukumu—au kuwajibishwa ikiwa hafanyi hivyo. Lakini mwaka 2020 huko Gothenburg, ukosefu wa haki ulikuja kimya kimya, ukiwa umevalishwa kama ufanisi.
Kwa mara ya kwanza, jiji lilitumia algoriti kuwagawa wanafunzi shuleni. Baada ya yote, kubainisha maeneo ya shule na uandikishaji ni tatizo kubwa la kiutawala kwa manispaa yoyote. Nini kinaweza kuwa bora kuliko mashine ya kuboresha umbali, mapendeleo, na uwezo? Mfumo huo ulikusudiwa kutumikia ufanisi wa umma: uliwasilishwa kama usioegemea upande wowote, uliorahisishwa, na wenye lengo.
Lakini jambo baya lilitokea. Mamia ya watoto walipewa shule zilizo maili nyingi kutoka nyumbani kwao—wakivuka mito na fjord, kupitia barabara kuu, katika vitongoji ambavyo hawakuwahi kutembelea na hawakuwa na uhusiano navyo. Wazazi walitazama maamuzi hayo kwa kutoamini. Je, kuna mtu aliangalia kama mtoto wa miaka 13 angeweza kutembea kwa usalama njia hiyo wakati wa baridi? Ni mantiki gani iliongoza chaguo hizi? Je, mapendeleo yao yaliyotajwa yalipuuzwa tu? Hakuna mtu katika utawala wa shule aliyeonekana kuwa na uwezo—au nia—ya kuelezea kilichotokea au kurekebisha makosa.
Nilitazama hili likitokea kama mtafiti wa teknolojia na wakili wa zamani, lakini pia kama mama. Mwanangu wa wakati huo mwenye umri wa miaka 12 alikuwa mmoja wa watoto walioathiriwa na algoriti. Hasira zetu ziliongezeka kadri utawala wa shule ulivyoshindwa kujibu. Kwa utulivu, walituambia tunaweza kukata rufaa ikiwa tuna tatizo na uwekaji wetu—kana kwamba ni suala la ladha binafsi. Kana kwamba tatizo ni kutoridhika kwa mtu binafsi, si kushindwa kwa mfumo mzima. Katika meza za jikoni kote jijini, machafuko na hasira zilezile zilichemsha. Kitu kilikuwa kibaya, na ukubwa wa tatizo ulikuwa ukionekana wazi zaidi kwa siku.
Ilichukua karibu mwaka kwa wakaguzi wa jiji kuthibitisha kile ambacho wengi wetu tulikuwa tukishuku: algoriti ilipewa maagizo yenye kasoro. Ilihesabu umbali "kama jogoo anavyoruka," si njia halisi za kutembea. Gothenburg ina mto mkubwa unaopita katikati yake. Kushindwa kuzingatia hilo kulimaanisha watoto walikabiliwa na safari za saa nzima. Kwa wengi, kufika upande wa pili wa mto kwa kutembea au baiskeli—kama sheria inavyosema ndiyo njia sahihi ya kwenda shuleni—halikuwezekana kabisa.
Baada ya kilio cha familia, taratibu ziliboreshwa kwa mwaka wa shule uliofuata. Lakini kwa takriban watoto 700 waliokuwa tayari wameathiriwa na algoriti yenye kasoro, hakuna kilichobadilika. Wangetumia miaka yao yote ya shule ya upili katika shule "zisizo sahihi."
Msimamo rasmi ulikuwa kwamba rufaa za mtu binafsi zilitosha. Lakini hilo linakosa hoja. Algoriti hazifanyi maamuzi pekee; zinaunda mifumo ya maamuzi. Wakati watoto 100 wanapowekwa vibaya katika shule upande wa pili wa mto, wanachukua nafasi zilizokusudiwa wengine. Watoto hao kisha wanasukumwa kwenda shule tofauti, na kuwahamisha wengine kwa zamu. Kama domino, makosa yanaenea. Kufikia uhamisho wa tano au sita, ukosefu wa haki unakuwa karibu kutowezekana kugunduliwa, achilia mbali kupingwa na kuthibitishwa mahakamani.
Watoto wenye umri wa miaka kumi na tatu walipewa shule zilizo maili nyingi—wakivuka mito na fjord, kupitia barabara kuu.
Ukosefu huu wa haki wa kialgoriti sio tatizo la kufikirika tu, wala sio la kipekee kwa Uswidi. Unalingana kwa uchungu na kashfa za hivi karibuni kote Ulaya. Moja ni kashfa ya Post Office nchini Uingereza, ambapo mfumo wa Horizon IT uliwashutumu vibaya mamia ya waendeshaji posta kwa wizi, na kusababisha mashtaka, kufilisika, na hata kifungo. Kwa miaka, matokeo ya mfumo yalichukuliwa kama yasiyokosea. Ushuhuda wa binadamu uliinamishwa kwa mamlaka ya mashine. Mfano mwingine ni kashfa ya marupurupu ya malezi ya watoto nchini Uholanzi, ambapo mfumo uliotumiwa na mamlaka ya ushuru ya Uholanzi uliwatia alama vibaya maelfu ya wazazi kama walaghai. Familia zilitumbukia kwenye deni. Wengi walipoteza nyumba zao. Watoto walichukuliwa kwenda kulelewa na walezi. Katika visa vyote viwili, kushindwa kwa algoriti kuliendelea kwa miaka mingi, huku mfumo wa kiotomatiki ukifanya kazi nyuma ya pazia la utata wa kiufundi na ulinzi wa kitaasisi. Makosa yalijilimbikiza. Madhara yakazidi. Uwajibikaji ulibaki nyuma.
Huko Gothenburg mwaka 2020, niligundua kwamba kukata rufaa tu kwa uwekaji wa mwanangu hakutatosha. Huwezi kurekebisha tatizo la kimfumo kwa marekebisho ya mtu binafsi. Kwa hiyo, kama sehemu ya mradi wa utafiti, nilimshtaki jiji kuona nini kinatokea algoriti zinapokwenda mahakamani. Sikupinga tu uwekaji maalum wa mwanangu—niliipinga uhalali wa mfumo mzima wa kufanya maamuzi na kila kitu kilichozalishwa. Nilisema kwamba muundo wa algoriti ulivunja sheria.
Kwa kuwa sikuweza kufikia mfumo—maombi yangu ya mara kwa mara ya kuona algoriti yalipuuzwa—sikuweza kuionyesha mahakamani. Badala yake, nilichambua kwa makini mamia ya uwekaji, kwa kutumia anwani na chaguo za shule kujua jinsi mfumo lazima ulivyofanya kazi, na nikawasilisha hilo kama ushahidi.
Ulinzi wa jiji ulikuwa rahisi kwa kushangaza. Walidai mfumo ulikuwa tu "chombo cha kusaidia." Walisema hawakufanya kosa lolote na hawakutoa uthibitisho: hakuna nyaraka za kiufundi, hakuna msimbo, hakuna maelezo ya jinsi mambo yalivyofanya kazi.
Na, kwa mshangao wangu, hawakuhitaji kufanya hivyo. Mahakama iliweka mzigo wa uthibitisho juu yangu. Majaji walisema ilikuwa kazi yangu kuonyesha mfumo ulikuwa haramu. Uchambuzi wangu wa maamuzi haukutosha. Bila ushahidi wa moja kwa moja wa msimbo, sikuweza kufikia kiwango cha uthibitisho. Kesi ilitupwa nje. Kwa maneno mengine: thibitisha kile kilicho ndani ya sanduku jeusi, au upoteze.
Hili—zaidi ya kushindwa kwa awali kwa utawala—ndilo linalonifanya nisilale usiku. Tunajua algoriti wakati mwingine zinashindwa. Hiyo ndiyo sababu hasa tuna mahakama: kulazimisha ufichuzi, kuchunguza, na kurekebisha mambo. Lakini wakati taratibu za kisheria zinabaki zimekwama katika zamani, na wakati majaji hawana zana, ujuzi, au mamlaka ya kuhoji mifumo ya kialgoriti, ukosefu wa haki unashinda. Wakati mashirika ya umma yanatumia mifumo isiyo wazi kwa kiwango kikubwa, wananchi wanaokabiliwa na matokeo yanayobadilisha maisha wanaambiwa wakate rufaa—mmoja mmoja—bila kuona msimbo ulio nyuma yake.
Mafunzo kutoka kwa kashfa za Post Office na marupurupu ya watoto nchini Uholanzi yanalingana na nilichokuta huko Gothenburg. Wakati mahakama zinapoamini teknolojia badala ya kuichunguza, na wakati mzigo wa uthibitisho unapoangukia kwa wale waliodhurika badala ya wale waliojenga na kutumia mfumo, ukosefu wa haki wa kialgoriti hauonekani tu—unaweza kudumu kwa miaka. Hata wakati teknolojia yenyewe ni rahisi, kama huko Gothenburg—ambapo kosa lilikuwa kutumia umbali wa mstari ulionyooka badala ya njia halisi za kutembea—wananchi bado walikabiliwa na sanduku jeusi walilopaswa kufichua ili kulipinga. Katika kesi hii, lilikuwa sanduku la kioo lililofungwa kwa tabaka nyingi za karatasi nyeusi.
Ni wakati wa kudai kwamba mahakama zetu zifungue masanduku meusi ya kufanya maamuzi kwa kialgoriti. Tunahitaji kuhamisha mzigo wa uthibitisho kwa upande ambao kwa kweli una ufikiaji wa algoriti, na kuunda sheria za kisheria za marekebisho madhubuti ya mfumo mzima. Hadi tutakaposasisha taratibu zetu za kisheria ili zilingane na uhalisi wa jamii ya kidijitali, tutaendelea kujikwaa kutoka kashfa hadi kashfa. Wakati ukosefu wa haki unapotolewa kimya kimya na msimbo, uwajibikaji lazima ujibu kwa sauti kubwa.
Charlotta Kronblad anatafiti mabadiliko ya kidijitali katika Chuo Kikuu cha Gothenburg.
**Maswali Yanayoulizwa Mara kwa Mara**
Hapa kuna orodha ya maswali yanayoulizwa mara kwa mara kulingana na makala niliyoipeleka algoriti mahakamani nchini Uswidi Algoriti ilishinda na Charlotta Kronblad.
**Maswali ya Kiwango cha Waanzilishi**
1. Makala hii inahusu nini?
Inahusu kesi halisi ya kisheria ambapo mtafiti wa Uswidi alijaribu kupinga algoriti ya serikali mahakamani. Algoriti ilifanya uamuzi kumhusu na alisema haukuwa wa haki. Mahakama iliamua kwa niaba ya algoriti.
2. Kwa nini algoriti ilishinda?
Mahakama iliamua kwamba algoriti ilikuwa ikifuata sheria kama ilivyoandikwa. Haikufanya kosa—ilitumia sheria kwa usahihi. Tatizo lilikuwa kwamba sheria yenyewe ilikuwa ngumu sana, si kwamba algoriti ilifanya kazi vibaya.
3. Je, unaweza kweli kuipeleka algoriti mahakamani?
Si moja kwa moja. Huwezi kumshtaki programu. Lakini unaweza kupinga uamuzi uliofanywa kwa kulishtaki shirika la serikali au kampuni iliyotumia. Katika kesi hii, mwandishi alipinga uamuzi wa kiotomatiki wa Shirika la Hifadhi ya Jamii la Uswidi.
4. Algoriti ilifanya uamuzi wa aina gani?
Ilikataa ombi lake la kuongezewa likizo ya wazazi. Algoriti ilihesabu kiotomatiki ustahiki wake kulingana na sheria kali za mapato na historia ya kazi, bila kuzingatia hali yake maalum.
5. Je, hili ni tatizo la kawaida?
Ndiyo, serikali na makampuni zaidi na zaidi yanatumia algoriti kufanya maamuzi kuhusu marupurupu, mikopo, ajira, na hata hukumu za jinai. Wakati sheria ni rahisi sana, watu wenye hali zisizo za kawaida mara nyingi hukataliwa isivyo haki.
**Maswali ya Kiwango cha Wastani**
6. Kwa nini mwandishi alidhani algoriti ilikuwa na makosa?
Alisema kwamba algoriti haikuzingatia muundo wake halisi wa mapato. Alikuwa mfanyakazi huru, kwa hiyo mapato yake hayakuwa thabiti mwezi hadi mwezi. Algoriti ilitumia sheria ngumu ya kuangalia nyuma kwa miezi 12 iliyomfanya astahiki, ingawa alikuwa amepata mapato ya kutosha kwa ujumla.
7. Je, sababu ya mahakama kuunga mkono algoriti ilikuwa nini?
Mahakama ilisema algoriti ilikuwa tu chombo kilichotumia sheria kwa usahihi. Ikiwa sheria ina kasoro, mahakama haiwezi kulaumu algoriti. Mwandishi angehitaji kubadilisha sheria, si kupambana na programu. Kwa asili, algoriti ilikuwa sahihi ndani ya sheria zenye kasoro za mfumo.
8. Je, hii inamaanisha algoriti huwa sahihi mahakamani?
Hapana. Ikiwa algoriti ina upendeleo, inatumia data mbaya, au inafanya kazi kinyume na sheria, inaweza kupingwa na kushindwa. Lakini katika kesi hii, mahakama iliona algoriti ilikuwa ikifuata sheria, hata kama sheria yenyewe ilikuwa ngumu.
