मैं स्वीडन में एक एल्गोरिदम को अदालत में ले गई। एल्गोरिदम जीत गया। | चार्लोटा क्रॉनब्लैड

हम यह सोचना पसंद करते हैं कि अन्याय अपनी उपस्थिति जोर-शोर से दर्ज कराता है। जब किसी सार्वजनिक व्यवस्था में कुछ गलत होता है, तो अलार्म बजने चाहिए, और किसी को जिम्मेदारी लेनी चाहिए—या यदि वे नहीं लेते तो उन्हें जवाबदेह ठहराया जाना चाहिए। लेकिन 2020 में गोथेनबर्ग में, अन्याय चुपचाप आया, दक्षता के वेश में।

पहली बार, शहर ने छात्रों को स्कूलों में नियुक्त करने के लिए एक एल्गोरिदम का उपयोग किया। आखिरकार, किसी भी नगर पालिका के लिए स्कूल ज़ोन और प्रवेश का निर्धारण करना एक बड़ा प्रशासनिक सिरदर्द है। दूरियों, प्राथमिकताओं और क्षमता को अनुकूलित करने के लिए मशीन से बेहतर और क्या हो सकता है? यह प्रणाली सार्वजनिक दक्षता की सेवा के लिए थी: इसे तटस्थ, सुव्यवस्थित और वस्तुनिष्ठ के रूप में प्रस्तुत किया गया था।

लेकिन कुछ बुरी तरह गलत हो गया। सैकड़ों बच्चों को उनके घरों से मीलों दूर स्कूलों में नियुक्त किया गया—नदियों और fjords के पार, प्रमुख राजमार्गों के ऊपर, उन पड़ोस में जहाँ वे कभी नहीं गए थे और जिनसे उनका कोई संबंध नहीं था। माता-पिता ने अविश्वास से निर्णयों को देखा। क्या किसी ने जाँच की थी कि क्या कोई 13 वर्षीय बच्चा सर्दियों में उस रास्ते पर सुरक्षित रूप से चल सकता है? इन विकल्पों का मार्गदर्शन करने वाला क्या तर्क था? क्या उनकी बताई गई प्राथमिकताओं को केवल अनदेखा कर दिया गया था? स्कूल प्रशासन में कोई भी यह समझाने में सक्षम—या इच्छुक—नहीं लग रहा था कि क्या हुआ था या गलतियों को सुधार सके।

मैंने यह एक प्रौद्योगिकी शोधकर्ता और पूर्व वकील के रूप में देखा, लेकिन एक माँ के रूप में भी। मेरा तब 12 वर्षीय बेटा एल्गोरिदम से प्रभावित बच्चों में से एक था। स्कूल प्रशासन की प्रतिक्रिया देने में विफलता के कारण हमारी निराशा बढ़ती गई। शांति से, उन्होंने हमें बताया कि अगर हमें अपने स्थानांतरण में कोई समस्या है तो हम अपील कर सकते हैं—मानो यह व्यक्तिगत पसंद का मामला हो। मानो मुद्दा व्यक्तिगत असंतोष था, न कि पूरे सिस्टम की विफलता। पूरे शहर में रसोई की मेजों के आसपास, वही भ्रम और गुस्सा उबल रहा था। कुछ गलत था, और समस्या का पैमाना दिन-ब-दिन स्पष्ट होता जा रहा था।

शहर के लेखा परीक्षकों को यह पुष्टि करने में लगभग एक साल लग गया कि हममें से कई लोगों को क्या संदेह था: एल्गोरिदम को दोषपूर्ण निर्देश दिए गए थे। इसने दूरियों की गणना "सीधी रेखा में" की, न कि वास्तविक पैदल मार्गों के अनुसार। गोथेनबर्ग से होकर एक बड़ी नदी बहती है। उसका हिसाब न रखने का मतलब था कि बच्चों को एक घंटे की यात्रा का सामना करना पड़ा। कई लोगों के लिए, पैदल या साइकिल से नदी के दूसरी तरफ पहुँचना—जैसा कि कानून कहता है कि स्कूल जाने का उचित तरीका है—बस असंभव था।

परिवारों के विरोध के बाद, अगले स्कूल वर्ष के लिए प्रक्रियाओं में सुधार किया गया। लेकिन दोषपूर्ण एल्गोरिदम से पहले से प्रभावित लगभग 700 बच्चों के लिए, कुछ नहीं बदला। वे अपने पूरे जूनियर हाई स्कूल के वर्ष "गलत" स्कूलों में बिताएंगे।

आधिकारिक लाइन यह थी कि व्यक्तिगत अपीलें पर्याप्त थीं। लेकिन यह मुद्दे की जड़ को नहीं पकड़ती। एल्गोरिदम केवल पृथक निर्णय नहीं लेते; वे निर्णयों की प्रणालियाँ बनाते हैं। जब 100 बच्चों को नदी के विपरीत किनारे पर स्कूलों में गलत तरीके से रखा जाता है, तो वे दूसरों के लिए निर्धारित स्थान ले लेते हैं। फिर उन बच्चों को अलग-अलग स्कूलों में धकेल दिया जाता है, जो बदले में दूसरों को विस्थापित करते हैं। डोमिनोज़ की तरह, त्रुटियाँ झरने की तरह फैलती हैं। पाँचवें या छठे विस्थापन तक, अन्याय का पता लगाना लगभग असंभव हो जाता है, अदालत में चुनौती देना और साबित करना तो दूर की बात है।

तेरह वर्षीय बच्चों को मीलों दूर स्कूलों में नियुक्त किया गया—नदियों और fjords के पार, प्रमुख राजमार्गों के ऊपर।

यह एल्गोरिदमिक अन्याय कोई अमूर्त समस्या नहीं है, न ही यह केवल स्वीडन के लिए अद्वितीय है। यह पूरे यूरोप में हाल के घोटालों की दर्दनाक याद दिलाता है। एक है यूके में पोस्ट ऑफिस घोटाला, जहाँ Horizon IT प्रणाली ने सैकड़ों डाकघर संचालकों पर झूठा चोरी का आरोप लगाया, जिससे अभियोग, दिवालियापन और यहाँ तक कि कारावास हुआ। वर्षों तक, सिस्टम के आउटपुट को लगभग अचूक माना जाता था। मानव गवाही को मशीन के अधिकार के आगे झुका दिया गया। एक और उदाहरण नीदरलैंड में चाइल्डकेयर लाभ घोटाला है, जहाँ डच कर प्राधिकरण द्वारा उपयोग की जाने वाली एक प्रणाली ने हजारों माता-पिता को गलत तरीके से धोखेबाज के रूप में चिह्नित किया। परिवार कर्ज में डूब गए। कई ने अपने घर खो दिए। बच्चों को पालक देखभाल में ले जाया गया। दोनों मामलों में, एल्गोरिदमिक विफलताएँ कई वर्षों तक जारी रहीं, क्योंकि स्वचालित प्रणाली तकनीकी जटिलता और संस्थागत रक्षात्मकता के पर्दे के पीछे संचालित होती रही। गलतियाँ जमा होती गईं। नुकसान बदतर होता गया। जवाबदेही पीछे रह गई।

2020 में गोथेनबर्ग वापस, मुझे एहसास हुआ कि अपने बेटे के स्थानांतरण के खिलाफ केवल अपील करना पर्याप्त नहीं होगा। आप व्यक्तिगत सुधारों से एक प्रणालीगत समस्या को ठीक नहीं कर सकते। इसलिए, एक शोध परियोजना के हिस्से के रूप में, मैंने यह देखने के लिए शहर पर मुकदमा दायर किया कि जब एल्गोरिदम अदालत में जाते हैं तो क्या होता है। मैंने केवल अपने बेटे के विशिष्ट स्थानांतरण को चुनौती नहीं दी—मैंने पूरी निर्णय लेने वाली प्रणाली और उससे उत्पन्न हर चीज़ की वैधता को चुनौती दी। मैंने तर्क दिया कि एल्गोरिदम का डिज़ाइन कानून तोड़ता है।

चूँकि मैं सिस्टम तक नहीं पहुँच सकी—एल्गोरिदम देखने के मेरे बार-बार के अनुरोधों को नजरअंदाज कर दिया गया—मैं इसे अदालत को नहीं दिखा सकी। इसके बजाय, मैंने सैकड़ों स्थानांतरणों का सावधानीपूर्वक विश्लेषण किया, पतों और स्कूल विकल्पों का उपयोग करके यह पता लगाया कि सिस्टम ने कैसे काम किया होगा, और इसे सबूत के रूप में प्रस्तुत किया।

शहर का बचाव आश्चर्यजनक रूप से सरल था। उन्होंने दावा किया कि सिस्टम केवल एक "सहायक उपकरण" था। उन्होंने कहा कि उन्होंने कुछ गलत नहीं किया और कोई सबूत नहीं दिया: कोई तकनीकी दस्तावेज नहीं, कोई कोड नहीं, कोई स्पष्टीकरण नहीं कि चीजें कैसे काम करती थीं।

और, मेरे आश्चर्य के लिए, उन्हें ऐसा करने की आवश्यकता नहीं थी। अदालत ने सबूत का बोझ मुझ पर डाल दिया। न्यायाधीशों ने कहा कि यह मेरा काम था कि मैं दिखाऊँ कि सिस्टम अवैध था। निर्णयों का मेरा विश्लेषण पर्याप्त नहीं था। कोड के प्रत्यक्ष सबूत के बिना, मैं सबूत के मानक को पूरा नहीं कर सकी। मामला खारिज कर दिया गया। दूसरे शब्दों में: साबित करो कि ब्लैक बॉक्स के अंदर क्या है, या हार जाओ।

यह—मूल प्रशासनिक विफलता से अधिक—मुझे रातों को जगाए रखता है। हम जानते हैं कि एल्गोरिदम कभी-कभी विफल होते हैं। यही कारण है कि हमारे पास अदालतें हैं: खुलासा करने, जाँच करने और चीजों को ठीक करने के लिए मजबूर करना। लेकिन जब कानूनी प्रक्रियाएँ अतीत में अटकी रहती हैं, और जब न्यायाधीशों के पास एल्गोरिदमिक प्रणालियों पर सवाल उठाने के लिए उपकरण, कौशल या अधिकार नहीं होते, तो अन्याय जीत जाता है। जबकि सार्वजनिक एजेंसियाँ बड़े पैमाने पर अपारदर्शी प्रणालियों का उपयोग करती हैं, जीवन बदलने वाले परिणामों का सामना करने वाले नागरिकों को एक-एक करके अपील करने के लिए कहा जाता है—बिना कभी इसके पीछे के कोड को देखे।

पोस्ट ऑफिस और डच बाल लाभ घोटालों से सबक गोथेनबर्ग में मुझे जो मिला, उसकी प्रतिध्वनि करते हैं। जब अदालतें प्रौद्योगिकी पर सवाल उठाने के बजाय उस पर भरोसा करती हैं, और जब सबूत का बोझ नुकसान उठाने वालों पर पड़ता है न कि सिस्टम बनाने और उपयोग करने वालों पर, तो एल्गोरिदमिक अन्याय केवल प्रकट नहीं होता—यह वर्षों तक रह सकता है। भले ही तकनीक स्वयं सरल हो, जैसे गोथेनबर्ग में—जहाँ गलती वास्तविक पैदल मार्गों के बजाय सीधी रेखा की दूरी का उपयोग करना था—नागरिकों को अभी भी एक ब्लैक बॉक्स का सामना करना पड़ा जिसे उन्हें चुनौती देने के लिए उजागर करना था। इस मामले में, यह एक कांच का बक्सा था जो काले कागज की कई परतों में लिपटा हुआ था।

अब समय आ गया है कि हम अपनी अदालतों से एल्गोरिदमिक निर्णय लेने के ब्लैक बॉक्स खोलने की माँग करें। हमें सबूत का बोझ उस पक्ष पर स्थानांतरित करने की आवश्यकता है जिसके पास वास्तव में एल्गोरिदम तक पहुँच है, और प्रभावी, पूरे सिस्टम के सुधारों के लिए कानूनी नियम बनाने की आवश्यकता है। जब तक हम अपनी कानूनी प्रक्रियाओं को डिजिटल समाज की वास्तविकताओं से मेल खाने के लिए अद्यतन नहीं करते, हम एक घोटाले से दूसरे घोटाले में ठोकर खाते रहेंगे। जब अन्याय कोड द्वारा चुपचाप दिया जाता है, तो जवाबदेही को जोर से जवाब देना चाहिए।

शार्लोटा क्रॉनब्लैड गोथेनबर्ग विश्वविद्यालय में डिजिटल परिवर्तन पर शोध करती हैं।

**अक्सर पूछे जाने वाले प्रश्न**

यहाँ शार्लोटा क्रॉनब्लैड द्वारा लिखित लेख "मैं स्वीडन में एक एल्गोरिदम को अदालत में ले गया। एल्गोरिदम जीत गया" पर आधारित अक्सर पूछे जाने वाले प्रश्नों की एक सूची दी गई है।

**शुरुआती स्तर के प्रश्न**

1. **यह लेख किस बारे में है?**
यह एक वास्तविक कानूनी मामले के बारे में है जहाँ एक स्वीडिश शोधकर्ता ने अदालत में एक सरकारी एल्गोरिदम को चुनौती देने की कोशिश की। एल्गोरिदम ने उसके बारे में एक निर्णय लिया और उसने तर्क दिया कि यह अनुचित था। अदालत ने एल्गोरिदम के पक्ष में फैसला सुनाया।

2. **एल्गोरिदम क्यों जीता?**
अदालत ने फैसला सुनाया कि एल्गोरिदम केवल लिखित कानून का पालन कर रहा था। इसने कोई गलती नहीं की—इसने नियमों को सही ढंग से लागू किया। समस्या यह थी कि कानून स्वयं बहुत कठोर था, न कि एल्गोरिदम में खराबी थी।

3. **क्या आप वास्तव में किसी एल्गोरिदम को अदालत में ले जा सकते हैं?**
सीधे तौर पर नहीं। आप सॉफ्टवेयर के एक टुकड़े पर मुकदमा नहीं कर सकते। लेकिन आप इसके द्वारा लिए गए निर्णय को चुनौती दे सकते हैं, उस सरकारी एजेंसी या कंपनी पर मुकदमा करके जिसने इसका उपयोग किया। इस मामले में, लेखिका ने स्वीडिश सामाजिक बीमा एजेंसी के स्वचालित निर्णय को चुनौती दी।

4. **एल्गोरिदम ने किस तरह का निर्णय लिया?**
इसने विस्तारित माता-पिता छुट्टी लाभों के लिए उसके आवेदन को अस्वीकार कर दिया। एल्गोरिदम ने उसकी विशिष्ट स्थिति पर विचार किए बिना, सख्त आय और कार्य इतिहास नियमों के आधार पर स्वचालित रूप से उसकी पात्रता की गणना की।

5. **क्या यह एक सामान्य समस्या है?**
हाँ। अधिक से अधिक सरकारें और कंपनियाँ लाभ, ऋण, नियुक्ति और यहाँ तक कि आपराधिक सजा के बारे में निर्णय लेने के लिए एल्गोरिदम का उपयोग करती हैं। जब नियम बहुत सरल होते हैं, तो असामान्य परिस्थितियों वाले लोगों को अक्सर अनुचित रूप से अस्वीकार कर दिया जाता है।

**मध्यवर्ती स्तर के प्रश्न**

6. **लेखिका ने क्यों सोचा कि एल्गोरिदम गलत था?**
उसने तर्क दिया कि एल्गोरिदम ने उसके वास्तविक आय पैटर्न का हिसाब नहीं रखा। वह एक फ्रीलांसर थी, इसलिए उसकी आय महीने-दर-महीने स्थिर नहीं थी। एल्गोरिदम ने एक कठोर 12 महीने के पूर्वावलोकन नियम का उपयोग किया जिसने उसे अयोग्य ठहराया, भले ही उसने कुल मिलाकर पर्याप्त कमाई की हो।

7. **एल्गोरिदम का पक्ष लेने के पीछे अदालत का तर्क क्या था?**
अदालत ने कहा कि एल्गोरिदम केवल एक उपकरण था जो कानून को सटीक रूप से लागू करता है। यदि कानून दोषपूर्ण है, तो अदालत सॉफ्टवेयर को दोषी नहीं ठहरा सकती। लेखिका को कानून बदलने की आवश्यकता होगी, न कि सॉफ्टवेयर से लड़ने की। संक्षेप में, एल्गोरिदम सिस्टम के दोषपूर्ण नियमों के भीतर सही था।

8. **क्या इसका मतलब यह है कि एल्गोरिदम अदालत में हमेशा सही होते हैं?**
नहीं। यदि कोई एल्गोरिदम पक्षपाती है, खराब डेटा का उपयोग करता है, या कानून का उल्लंघन करता है, तो उसे चुनौती दी जा सकती है और उसे उलटा जा सकता है। यह मामला दर्शाता है कि जब कानून स्पष्ट रूप से गलत होता है, तो एल्गोरिदम उसे लागू करने का एक सटीक उपकरण हो सकता है, भले ही परिणाम अनुचित हो।