ما دوست داریم فکر کنیم که بیعدالتی خود را با سر و صدا اعلام میکند. وقتی چیزی در یک سیستم عمومی اشتباه پیش میرود، باید زنگها به صدا درآیند و کسی مسئولیت را بپذیرد—یا اگر نپذیرد، پاسخگو باشد. اما در سال ۲۰۲۰ در گوتنبرگ، بیعدالتی آرام آمد، در لباسی از کارآمدی.
برای اولین بار، شهر از یک الگوریتم برای تخصیص دانشآموزان به مدارس استفاده کرد. به هر حال، تعیین مناطق مدرسه و پذیرش، یک سردرد اداری بزرگ برای هر شهرداری است. چه چیزی بهتر از یک ماشین برای بهینهسازی مسافتها، اولویتها و ظرفیتها؟ این سیستم برای خدمت به کارآمدی عمومی طراحی شده بود: بهعنوان چیزی خنثی، ساده و عینی ارائه شد.
اما چیزی بهشدت اشتباه پیش رفت. صدها کودک به مدارسی در کیلومترها دورتر از خانهشان تخصیص داده شدند—آن سوی رودخانهها و آبدرهها، آن سوی بزرگراههای اصلی، در محلههایی که هرگز ندیده بودند و هیچ ارتباطی با آن نداشتند. والدین با ناباوری به تصمیمات خیره شدند. آیا کسی بررسی کرده بود که یک کودک ۱۳ ساله میتواند در زمستان با خیال راحت آن مسیر را پیاده طی کند؟ چه منطقی این انتخابها را هدایت میکرد؟ آیا اولویتهای اعلامشدهشان به سادگی نادیده گرفته شده بود؟ به نظر میرسید هیچکس در اداره آموزش و پرورش قادر—یا مایل—به توضیح آنچه رخ داده یا رفع اشتباهات نبود.
من این رویداد را بهعنوان یک پژوهشگر در حوزه فناوری و یک وکیل سابق، اما همچنین بهعنوان یک مادر تماشا کردم. پسرم که آن زمان ۱۲ ساله بود، یکی از کودکانی بود که تحت تأثیر الگوریتم قرار گرفت. ناامیدی ما با عدم پاسخگویی اداره آموزش و پرورش افزایش یافت. آنها با خونسردی به ما گفتند اگر با جایگاهمان مشکل داریم میتوانیم اعتراض کنیم—انگار که موضوع سلیقه شخصی است. انگار که مشکل نارضایتی فردی بود، نه یک شکست در سطح سیستم. دور میزهای آشپزخانه در سراسر شهر، همان سردرگمی و خشم در حال جوشیدن بود. چیزی اشتباه بود و ابعاد مشکل هر روز آشکارتر میشد.
تقریباً یک سال طول کشید تا حسابرسان شهر تأیید کنند آنچه بسیاری از ما گمان میکردیم: به الگوریتم دستورالعملهای معیوب داده شده بود. این مسافتها را «بهصورت خط مستقیم هوایی» محاسبه میکرد، نه مسیرهای واقعی پیادهروی. گوتنبرگ یک رودخانه بزرگ از میان آن میگذرد. در نظر نگرفتن این موضوع به این معنا بود که کودکان با رفتوآمدهای یکساعته مواجه میشدند. برای بسیاری، رسیدن به آن سوی رودخانه با پیادهروی یا دوچرخه—همانطور که قانون میگوید راه مناسب برای رفتن به مدرسه است—به سادگی غیرممکن بود.
پس از اعتراض خانوادهها، رویهها برای سال تحصیلی بعد بهبود یافت. اما برای حدود ۷۰۰ کودکی که قبلاً تحت تأثیر الگوریتم معیوب قرار گرفته بودند، هیچ چیز تغییر نکرد. آنها تمام دوران راهنمایی خود را در مدارس «اشتباه» سپری میکردند.
خط رسمی این بود که اعتراضات فردی کافی است. اما این اصل مطلب را از دست میدهد. الگوریتمها فقط تصمیمات منفرد نمیگیرند؛ آنها سیستمهایی از تصمیمات ایجاد میکنند. وقتی ۱۰۰ کودک به اشتباه در مدارس آن سوی رودخانه قرار میگیرند، آنها جایگاههایی را میگیرند که برای دیگران در نظر گرفته شده بود. آن کودکان دیگر به نوبه خود به مدارس دیگری منتقل میشوند و دیگران را جابهجا میکنند. مانند دومینو، خطاها آبشاری میشوند. تا جابهجایی پنجم یا ششم، بیعدالتی تقریباً غیرقابل تشخیص میشود، چه رسد به اینکه در دادگاه به چالش کشیده و اثبات شود.
کودکان ۱۳ ساله به مدارسی در کیلومترها دورتر تخصیص داده شدند—آن سوی رودخانهها و آبدرهها، آن سوی بزرگراههای اصلی.
این بیعدالتی الگوریتمی یک مشکل انتزاعی نیست، و منحصر به سوئد هم نیست. این بهطور دردناکی یادآور رسواییهای اخیر در سراسر اروپاست. یکی رسوایی اداره پست در بریتانیاست، جایی که سیستم فناوری اطلاعات Horizon صدها اپراتور پست را به اشتباه به دزدی متهم کرد که منجر به پیگرد قانونی، ورشکستگی و حتی زندان شد. برای سالها، خروجی این سیستم تقریباً خطاناپذیر تلقی میشد. شهادت انسانی در برابر اقتدار ماشین خم میشد. مثال دیگر رسوایی مزایای مراقبت از کودک در هلند است، جایی که سیستمی که توسط سازمان مالیاتی هلند استفاده میشد، به اشتباه هزاران والدین را بهعنوان کلاهبردار علامتگذاری کرد. خانوادهها در بدهی فرو رفتند. بسیاری خانههای خود را از دست دادند. کودکان به مراقبتهای foster care سپرده شدند. در هر دو مورد، شکستهای الگوریتمی برای سالهای متمادی ادامه یافت، زیرا سیستم خودکار در پشت پردهای از پیچیدگی فنی و دفاعیات نهادی عمل میکرد. اشتباهات انباشته شدند. آسیب بدتر شد. پاسخگویی عقب ماند.
بازگشت به گوتنبرگ در سال ۲۰۲۰، من متوجه شدم که صرفاً اعتراض به جایگاه پسرم کافی نخواهد بود. شما نمیتوانید یک مشکل سیستمی را با راهحلهای فردی حل کنید. بنابراین، بهعنوان بخشی از یک پروژه تحقیقاتی، از شهر شکایت کردم تا ببینم وقتی الگوریتمها به دادگاه میروند چه اتفاقی میافتد. من فقط به جایگاه خاص پسرم اعتراض نکردم—من قانونی بودن کل سیستم تصمیمگیری و هر آنچه تولید کرده بود را به چالش کشیدم. استدلال کردم که طراحی الگوریتم قانون را نقض کرده است.
از آنجایی که نمیتوانستم به سیستم دسترسی داشته باشم—درخواستهای مکرر من برای دیدن الگوریتم نادیده گرفته شد—نمیتوانستم آن را به دادگاه نشان دهم. در عوض، من با دقت صدها جایگاه را تجزیه و تحلیل کردم، با استفاده از آدرسها و انتخابهای مدرسه برای فهمیدن اینکه سیستم چگونه باید کار کرده باشد، و آن را بهعنوان مدرک ارائه دادم.
دفاع شهر بهطور شگفتآوری ساده بود. آنها ادعا کردند که سیستم فقط یک «ابزار پشتیبانی» است. آنها گفتند که هیچ کار اشتباهی انجام ندادهاند و هیچ مدرکی ارائه نکردند: هیچ سند فنی، هیچ کد، هیچ توضیحی از نحوه کار.
و در کمال تعجب من، مجبور هم نبودند. دادگاه بار اثبات را بر دوش من گذاشت. قضات گفتند که این وظیفه من است که نشان دهم سیستم غیرقانونی است. تحلیل من از تصمیمات کافی نبود. بدون مدرک مستقیم از کد، نمیتوانستم استاندارد اثبات را برآورده کنم. پرونده رد شد. به عبارت دیگر: ثابت کن داخل جعبه سیاه چیست، یا بباز.
این—بیش از شکست اولیه اداری—چیزی است که شبها مرا بیدار نگه میدارد. ما میدانیم که الگوریتمها گاهی شکست میخورند. دقیقاً به همین دلیل است که دادگاه داریم: برای اجبار به افشا، بررسی و رفع مشکلات. اما وقتی رویههای قانونی در گذشته گیر کردهاند، و وقتی قضات ابزار، مهارت یا اختیار زیر سؤال بردن سیستمهای الگوریتمی را ندارند، بیعدالتی پیروز میشود. در حالی که سازمانهای دولتی از سیستمهای مبهم در مقیاس بزرگ استفاده میکنند، به شهروندانی که با نتایج تغییردهنده زندگی مواجه هستند گفته میشود یکییکی اعتراض کنند، بدون اینکه هرگز کد پشت آن را ببینند.
درسهای رسوایی اداره پست و مزایای کودک هلند همان چیزی را بازتاب میدهد که من در گوتنبرگ یافتم. وقتی دادگاهها به فناوری اعتماد میکنند به جای زیر سؤال بردن آن، و وقتی بار اثبات بر دوش کسانی میافتد که آسیب دیدهاند نه کسانی که سیستم را ساخته و استفاده کردهاند، بیعدالتی الگوریتمی فقط ظاهر نمیشود—بلکه میتواند سالها ادامه یابد. حتی وقتی خود فناوری ساده است، مانند گوتنبرگ—جایی که اشتباه استفاده از مسافت خط مستقیم به جای مسیرهای واقعی پیادهروی بود—شهروندان همچنان با یک جعبه سیاه مواجه بودند که برای به چالش کشیدن آن مجبور به کشفش بودند. در این مورد، یک جعبه شیشهای بود که در لایههای زیادی از کاغذ سیاه پیچیده شده بود.
زمان آن رسیده که از دادگاههایمان بخواهیم جعبههای سیاه تصمیمگیری الگوریتمی را باز کنند. ما باید بار اثبات را به طرفی منتقل کنیم که واقعاً به الگوریتم دسترسی دارد، و قوانین قانونی برای راهحلهای مؤثر و در سطح سیستم ایجاد کنیم. تا زمانی که رویههای قانونی خود را با واقعیتهای یک جامعه دیجیتال بهروز نکنیم، از رسوایی به رسوایی دیگر خواهیم لغزید. وقتی بیعدالتی بهآرامی توسط کد تحویل داده میشود، پاسخگویی باید با صدای بلند پاسخ دهد.
شارلوتا کرونبلاد در مورد تحول دیجیتال در دانشگاه گوتنبرگ تحقیق میکند.
