نحب أن نعتقد أن الظلم يعلن عن نفسه بصوت عالٍ. عندما يحدث خطأ ما في نظام عام، يجب أن تدق أجراس الإنذار، وينبغي لشخص ما أن يتحمل المسؤولية - أو يُحاسب إذا لم يفعل. لكن في عام 2020 في غوتنبرغ، وصل الظلم بهدوء، متخفيًا في ثوب الكفاءة.
لأول مرة، استخدمت المدينة خوارزمية لتوزيع الطلاب على المدارس. ففي النهاية، تحديد مناطق المدارس وشروط القبول يمثل صداعًا إداريًا كبيرًا لأي بلدية. وما أفضل من آلة لتحسين المسافات والتفضيلات والطاقة الاستيعابية؟ كان النظام يهدف إلى خدمة الكفاءة العامة: فقد قُدِّم على أنه محايد ومبسَّط وموضوعي.
لكن حدث خطأ فادح. فقد تم تخصيص مئات الأطفال لمدارس تبعد أميالاً عن منازلهم - عبر الأنهار والمضايق، وفوق الطرق السريعة الرئيسية، في أحياء لم يزوروها من قبل وليس لديهم أي صلة بها. نظر الآباء إلى القرارات في ذهول. هل تفقد أحد ما إذا كان بإمكان طفل في الثالثة عشرة من عمره السير بأمان في ذلك الطريق في الشتاء؟ أي منطق وجه هذه الاختيارات؟ هل تم تجاهل تفضيلاتهم المعلنة ببساطة؟ لم يبدُ أن أحدًا في إدارة المدرسة قادر - أو راغب - في شرح ما حدث أو إصلاح الأخطاء.
شاهدت هذا يتكشف بصفتي باحثة في مجال التكنولوجيا ومحامية سابقة، ولكن أيضًا كأم. كان ابني البالغ من العمر آنذاك 12 عامًا أحد الأطفال المتأثرين بالخوارزمية. نما إحباطنا مع فشل إدارة المدرسة في الاستجابة. قالوا لنا بهدوء إنه يمكننا تقديم استئناف إذا كانت لدينا مشكلة مع توزيعنا - كما لو كانت مسألة ذوق شخصي. كما لو كانت المشكلة هي عدم رضا فردي، وليس فشلاً على مستوى النظام. في جميع أنحاء المدينة، حول موائد المطابخ، كان نفس الارتباك والغضب يغليان. كان هناك خطأ ما، وكان حجم المشكلة يتضح أكثر يومًا بعد يوم.
استغرق الأمر ما يقرب من عام حتى يؤكد مراجعو الحسابات في المدينة ما شك فيه الكثير منا: أن الخوارزمية قد أعطيت تعليمات معيبة. لقد حسبت المسافات "في خط مستقيم"، وليس طرق المشي الفعلية. تمر بغوتنبرغ عبر نهر رئيسي. عدم أخذ ذلك في الاعتبار يعني أن الأطفال واجهوا تنقلات تستغرق ساعة. بالنسبة للكثيرين، كان الوصول إلى الجانب الآخر من النهر سيرًا على الأقدام أو بالدراجة - كما ينص القانون على أنها الطريقة الصحيحة للوصول إلى المدرسة - مستحيلًا ببساطة.
بعد احتجاج من العائلات، تم تحسين الإجراءات للعام الدراسي التالي. لكن بالنسبة لحوالي 700 طفل تأثروا بالفعل بالخوارزمية المعيبة، لم يتغير شيء. سيقضون سنوات إعداديتهم بأكملها في المدارس "الخاطئة".
كان الخط الرسمي هو أن الاستئنافات الفردية كافية. لكن هذا يغفل النقطة الأساسية. الخوارزميات لا تتخذ قرارات منعزلة فحسب؛ بل تخلق أنظمة من القرارات. عندما يتم وضع 100 طفل بشكل خاطئ في مدارس على الضفة المقابلة للنهر، فإنهم يأخذون الأماكن المخصصة للآخرين. ثم يتم دفع هؤلاء الأطفال إلى مدارس مختلفة، مما يزيح آخرين بدورهم. مثل قطع الدومينو، تتراكم الأخطاء. بحلول الإزاحة الخامسة أو السادسة، يصبح الظلم شبه مستحيل الاكتشاف، ناهيك عن الطعن فيه وإثباته في المحكمة.
تم تخصيص أطفال في الثالثة عشرة من العمر لمدارس تبعد أميالاً - عبر الأنهار والمضايق، وفوق الطرق السريعة الرئيسية.
هذا الظلم الخوارزمي ليس مشكلة مجردة، ولا يقتصر على السويد. إنه يردد بشكل مؤلم فضائح حديثة في جميع أنحاء أوروبا. إحداها فضيحة مكتب البريد في المملكة المتحدة، حيث اتهم نظام Horizon IT مئات مشغلي مكاتب البريد زورًا بالسرقة، مما أدى إلى مقاضاتهم وإفلاسهم وحتى سجنهم. لسنوات، تم التعامل مع مخرجات النظام على أنها شبه معصومة من الخطأ. تم ثني الشهادات البشرية لسلطة الآلة. مثال آخر هو فضيحة إعانات رعاية الأطفال في هولندا، حيث قام نظام تستخدمه مصلحة الضرائب الهولندية بوضع علامة خاطئة على آلاف الآباء كمحتالين. غرقت العائلات في الديون. فقد الكثيرون منازلهم. تم وضع الأطفال في رعاية بديلة. في كلتا الحالتين، استمرت الإخفاقات الخوارزمية لسنوات عديدة، حيث عمل النظام الآلي خلف حجاب من التعقيد التقني والدفاع المؤسسي. تراكمت الأخطاء. تفاقم الضرر. تخلفت المساءلة.
بالعودة إلى غوتنبرغ في عام 2020، أدركت أن مجرد الاستئناف على توزيع ابني لن يكون كافيًا. لا يمكنك إصلاح مشكلة نظامية بإصلاحات فردية. لذا، كجزء من مشروع بحثي، رفعت دعوى قضائية على المدينة لأرى ما يحدث عندما تذهب الخوارزميات إلى المحكمة. لم أتحد مجرد توزيع ابني المحدد - بل تحديت قانونية نظام اتخاذ القرار بأكمله وكل ما أنتجه. جادلت بأن تصميم الخوارزمية خالف القانون.
نظرًا لأنني لم أستطع الوصول إلى النظام - تم تجاهل طلباتي المتكررة لرؤية الخوارزمية - لم أستطع عرضه على المحكمة. بدلاً من ذلك، حللت بعناية مئات التوزيعات، باستخدام العناوين واختيارات المدارس لمعرفة كيف يجب أن يعمل النظام، وقدمت ذلك كدليل.
كان دفاع المدينة بسيطًا بشكل صادم. زعموا أن النظام كان مجرد "أداة دعم". قالوا إنهم لم يفعلوا أي خطأ ولم يقدموا أي دليل: لا وثائق فنية، ولا كود، ولا شرح لكيفية عمل الأمور.
ولدهشتي، لم يكن عليهم ذلك. وضعت المحكمة عبء الإثبات علي. قال القضاة إنه من واجبي أن أظهر أن النظام غير قانوني. لم يكن تحليلي للقرارات كافيًا. بدون دليل مباشر على الكود، لم أستطع استيفاء معيار الإثبات. تم رفض القضية. بعبارة أخرى: أثبت ما بداخل الصندوق الأسود، أو اخسر.
هذا - أكثر من الفشل الإداري الأصلي - هو ما يبقيني مستيقظة في الليل. نحن نعلم أن الخوارزميات تفشل أحيانًا. هذا هو بالضبط سبب وجود المحاكم: لإجبار على الإفصاح، والفحص، والإصلاح. لكن عندما تظل الإجراءات القانونية عالقة في الماضي، وعندما لا يمتلك القضاة الأدوات أو المهارات أو السلطة لاستجواب الأنظمة الخوارزمية، ينتصر الظلم. بينما تستخدم الوكالات العامة أنظمة غير شفافة على نطاق واسع، يُطلب من المواطنين الذين يواجهون نتائج تغير حياتهم الاستئناف - واحدًا تلو الآخر - دون رؤية الكود الذي يقف وراء ذلك أبدًا.
أصداء الدروس المستفادة من فضائح مكتب البريد وإعانات الأطفال الهولندية ما وجدته في غوتنبرغ. عندما تثق المحاكم في التكنولوجيا بدلاً من استجوابها، وعندما يقع عبء الإثبات على من تضرروا بدلاً من الذين بنوا واستخدموا النظام، فإن الظلم الخوارزمي لا يظهر فحسب - بل يمكن أن يستمر لسنوات. حتى عندما تكون التكنولوجيا نفسها بسيطة، كما في غوتنبرغ - حيث كان الخطأ هو استخدام المسافة في خط مستقيم بدلاً من طرق المشي الفعلية - لا يزال المواطنون يواجهون صندوقًا أسودًا كان عليهم كشفه لتحديه. في هذه الحالة، كان صندوقًا زجاجيًا مغلفًا بعدة طبقات من الورق الأسود.
لقد حان الوقت للمطالبة بأن تفتح محاكمنا الصناديق السوداء لصنع القرار الخوارزمي. نحتاج إلى تحويل عبء الإثبات إلى الطرف الذي لديه بالفعل إمكانية الوصول إلى الخوارزمية، وإنشاء قواعد قانونية لإصلاحات فعالة على مستوى النظام. حتى نقوم بتحديث إجراءاتنا القانونية لتتناسب مع حقائق المجتمع الرقمي، سنستمر في التعثر من فضيحة إلى أخرى. عندما يتم توصيل الظلم بهدوء عبر الكود، يجب أن ترد المساءلة بصوت عالٍ.
تشارلوتا كرونبلاد هي باحثة في التحول الرقمي في جامعة غوتنبرغ.
**أسئلة متكررة**
فيما يلي قائمة بالأسئلة المتكررة بناءً على المقالة "رفعت دعوى قضائية ضد خوارزمية في السويد... وخسرت" بقلم تشارلوتا كرونبلاد.
**أسئلة للمبتدئين**
1. **عن ماذا تتحدث هذه المقالة؟**
تتحدث عن قضية قانونية حقيقية حيث حاولت باحثة سويدية الطعن في خوارزمية حكومية في المحكمة. اتخذت الخوارزمية قرارًا بشأنها وجادلت بأنه غير عادل. حكمت المحكمة لصالح الخوارزمية.
2. **لماذا ربحت الخوارزمية؟**
قررت المحكمة أن الخوارزمية كانت تتبع القانون المكتوب فقط. لم ترتكب خطأً، بل طبقت القواعد بشكل صحيح. كانت المشكلة أن القانون نفسه كان صارمًا جدًا، وليس أن الخوارزمية تعطلت.
3. **هل يمكنك حقًا مقاضاة خوارزمية في المحكمة؟**
ليس بشكل مباشر. لا يمكنك مقاضاة قطعة برمجية. لكن يمكنك الطعن في القرار الذي اتخذته عن طريق مقاضاة الوكالة الحكومية أو الشركة التي استخدمته. في هذه الحالة، طعنت الكاتبة في القرار الآلي لهيئة التأمين الاجتماعي السويدية.
4. **أي نوع من القرارات اتخذته الخوارزمية؟**
رفضت طلبها للحصول على إعانات إجازة والدية ممتدة. قامت الخوارزمية تلقائيًا بحساب أهليتها بناءً على قواعد صارمة للدخل وتاريخ العمل، دون النظر إلى وضعها الخاص.
5. **هل هذه مشكلة شائعة؟**
نعم، المزيد والمزيد من الحكومات والشركات تستخدم الخوارزميات لاتخاذ قرارات بشأن المزايا والقروض والتوظيف وحتى إصدار الأحكام الجنائية. عندما تكون القواعد بسيطة جدًا، غالبًا ما يتم رفض الأشخاص ذوي الظروف غير العادية بشكل غير عادل.
**أسئلة للمستوى المتوسط**
6. **لماذا اعتقدت الكاتبة أن الخوارزمية كانت خاطئة؟**
جادلت بأن الخوارزمية لم تأخذ في الاعتبار نمط دخلها الحقيقي. كانت تعمل لحسابها الخاص، لذا لم يكن دخلها ثابتًا من شهر لآخر. استخدمت الخوارزمية قاعدة صارمة للنظر إلى الوراء لمدة 12 شهرًا مما جعلها غير مؤهلة، على الرغم من أنها كانت قد كسبت ما يكفي بشكل إجمالي.
7. **ما هو منطق المحكمة في الانحياز للخوارزمية؟**
قالت المحكمة إن الخوارزمية كانت مجرد أداة طبقت القانون تمامًا. إذا كان القانون معيبًا، فلا يمكن للمحكمة إلقاء اللوم على الخوارزمية. ستحتاج الكاتبة إلى تغيير القانون، وليس محاربة البرنامج. بشكل أساسي، كانت الخوارزمية صحيحة ضمن القواعد المعيبة للنظام.
8. **هل يعني هذا أن الخوارزميات دائمًا على صواب في المحكمة؟**
لا. إذا كانت الخوارزمية متحيزة أو تستخدم بيانات سيئة،
