Traduzcamos el siguiente texto del inglés al español: Nos gusta pensar que la injusticia se anuncia a gritos. Cuando algo sale mal en un sistema público, deberían sonar las alarmas y alguien debería asumir la responsabilidad, o rendir cuentas si no lo hace. Pero en 2020, en Gotemburgo, la injusticia llegó en silencio, disfrazada de eficiencia.
Por primera vez, la ciudad utilizó un algoritmo para asignar estudiantes a las escuelas. Después de todo, determinar las zonas escolares y las admisiones es un enorme dolor de cabeza administrativo para cualquier municipio. ¿Qué mejor que una máquina para optimizar distancias, preferencias y capacidad? Se suponía que el sistema serviría a la eficiencia pública: se presentó como neutral, simplificado y objetivo.
Pero algo salió terriblemente mal. A cientos de niños se les asignaron escuelas a kilómetros de sus hogares, al otro lado de ríos y fiordos, cruzando autopistas principales, en vecindarios que nunca habían visitado y con los que no tenían conexión alguna. Los padres miraban las decisiones incrédulos. ¿Alguien había verificado si un niño de 13 años podía caminar con seguridad por esa ruta en invierno? ¿Qué lógica guiaba esas elecciones? ¿Simplemente se ignoraron sus preferencias declaradas? Nadie en la administración escolar parecía capaz, o dispuesto, de explicar lo sucedido o corregir los errores.
Observé esto como investigadora en tecnología y ex abogada, pero también como madre. Mi hijo, entonces de 12 años, fue uno de los niños afectados por el algoritmo. Nuestra frustración creció cuando la administración escolar no respondió. Con calma, nos dijeron que podíamos apelar si teníamos un problema con nuestra asignación, como si fuera una cuestión de gusto personal. Como si el problema fuera la insatisfacción individual, no un fallo sistémico. Alrededor de las mesas de cocina de toda la ciudad, hervía la misma confusión e ira. Algo andaba mal, y la magnitud del problema se hacía más evidente cada día.
Pasó casi un año para que los auditores de la ciudad confirmaran lo que muchos sospechábamos: al algoritmo se le habían dado instrucciones defectuosas. Calculaba las distancias "en línea recta", no las rutas reales para caminar. Gotemburgo tiene un gran río que la atraviesa. No tenerlo en cuenta significaba que los niños enfrentaban desplazamientos de una hora. Para muchos, llegar al otro lado del río caminando o en bicicleta, como dicta la ley que es la forma adecuada de ir a la escuela, era simplemente imposible.
Después de la protesta de las familias, se mejoraron los procedimientos para el siguiente año escolar. Pero para aproximadamente 700 niños ya afectados por el algoritmo defectuoso, nada cambió. Pasarían todos sus años de secundaria en las escuelas "equivocadas".
La postura oficial era que las apelaciones individuales eran suficientes. Pero eso no aborda el problema. Los algoritmos no solo toman decisiones aisladas; crean sistemas de decisiones. Cuando 100 niños son mal asignados a escuelas en la orilla opuesta del río, ocupan los lugares destinados a otros. Esos niños son entonces desplazados a diferentes escuelas, desplazando a su vez a otros. Como fichas de dominó, los errores se propagan en cascada. Para el quinto o sexto desplazamiento, la injusticia se vuelve casi imposible de detectar, y mucho menos de impugnar y probar ante un tribunal.
A niños de trece años se les asignaron escuelas a kilómetros de distancia, al otro lado de ríos y fiordos, cruzando autopistas principales.
Esta injusticia algorítmica no es un problema abstracto, ni es exclusiva de Suecia. Se hace eco dolorosamente de escándalos recientes en toda Europa. Uno es el escándalo de la Oficina de Correos en el Reino Unido, donde el sistema informático Horizon acusó falsamente a cientos de operadores de oficinas de correos de robo, lo que llevó a procesamientos, quiebras e incluso encarcelamiento. Durante años, el resultado del sistema fue tratado como casi infalible. El testimonio humano se doblegó ante la autoridad de la máquina. Otro ejemplo es el escándalo de las prestaciones por cuidado infantil en los Países Bajos, donde un sistema utilizado por la autoridad fiscal neerlandesa señaló erróneamente a miles de padres como defraudadores. Las familias se endeudaron. Muchas perdieron sus hogares. Niños fueron puestos en hogares de acogida. En ambos casos, los fallos algorítmicos continuaron durante muchos años, mientras el sistema automatizado operaba tras un velo de complejidad técnica y actitud defensiva institucional. Los errores se acumularon. El daño empeoró. La rendición de cuentas se quedó atrás.
De vuelta en Gotemburgo en 2020, me di cuenta de que simplemente apelar la asignación de mi hijo no sería suficiente. No se puede arreglar un problema sistémico con soluciones individuales. Así que, como parte de un proyecto de investigación, demandé a la ciudad para ver qué sucede cuando los algoritmos van a los tribunales. No impugné solo la asignación específica de mi hijo; impugné la legalidad de todo el sistema de toma de decisiones y todo lo que produjo. Argumenté que el diseño del algoritmo infringía la ley.
Como no pude acceder al sistema (mis repetidas solicitudes para ver el algoritmo fueron ignoradas), no pude mostrarlo al tribunal. En su lugar, analicé cuidadosamente cientos de asignaciones, utilizando direcciones y opciones escolares para deducir cómo debía haber funcionado el sistema, y presenté eso como prueba.
La defensa de la ciudad fue sorprendentemente simple. Afirmaron que el sistema era solo una "herramienta de apoyo". Dijeron que no hicieron nada malo y no ofrecieron ninguna prueba: ni documentos técnicos, ni código, ni explicación de cómo funcionaban las cosas.
Y, para mi sorpresa, no tenían por qué hacerlo. El tribunal puso la carga de la prueba sobre mí. Los jueces dijeron que era mi trabajo demostrar que el sistema era ilegal. Mi análisis de las decisiones no fue suficiente. Sin evidencia directa del código, no pude cumplir con el estándar de prueba. El caso fue desestimado. En otras palabras: demuestra lo que hay dentro de la caja negra, o pierde.
Esto, más que el fallo administrativo original, es lo que me quita el sueño. Sabemos que los algoritmos a veces fallan. Es precisamente por eso que tenemos tribunales: para forzar la divulgación, examinar y corregir las cosas. Pero cuando los procedimientos legales se quedan anclados en el pasado, y cuando los jueces no tienen las herramientas, habilidades o autoridad para cuestionar los sistemas algorítmicos, la injusticia gana. Mientras las agencias públicas utilizan sistemas opacos a gran escala, se les dice a los ciudadanos que enfrentan resultados que cambian sus vidas que apelen, uno por uno, sin ver nunca el código que hay detrás.
Las lecciones de los escándalos de la Oficina de Correos y de las prestaciones infantiles neerlandesas se hacen eco de lo que encontré en Gotemburgo. Cuando los tribunales confían en la tecnología en lugar de cuestionarla, y cuando la carga de la prueba recae sobre los perjudicados en lugar de sobre quienes construyeron y utilizaron el sistema, la injusticia algorítmica no solo aparece, sino que puede durar años. Incluso cuando la tecnología en sí es simple, como en Gotemburgo, donde el error fue usar la distancia en línea recta en lugar de las rutas reales para caminar, los ciudadanos aún se enfrentaron a una caja negra que tenían que descubrir para impugnarla. En este caso, era una caja de cristal envuelta en muchas capas de papel negro.
Es hora de exigir que nuestros tribunales abran las cajas negras de la toma de decisiones algorítmica. Necesitamos trasladar la carga de la prueba a la parte que realmente tiene acceso al algoritmo, y crear reglas legales para soluciones efectivas a nivel de sistema. Hasta que actualicemos nuestros procedimientos legales para que coincidan con las realidades de una sociedad digital, seguiremos tropezando de escándalo en escándalo. Cuando la injusticia se entrega silenciosamente mediante código, la rendición de cuentas debe responder en voz alta.
Charlotta Kronblad investiga la transformación digital en la Universidad de Gotemburgo.
**Preguntas Frecuentes**
Aquí hay una lista de preguntas frecuentes basadas en el artículo "Llevé un algoritmo a los tribunales en Suecia. El algoritmo ganó" de Charlotta Kronblad.
**Preguntas de Nivel Principiante**
1. **¿De qué trata este artículo?**
Trata sobre un caso legal real en el que una investigadora sueca intentó impugnar un algoritmo gubernamental en los tribunales. El algoritmo tomó una decisión sobre ella y ella argumentó que era injusto. El tribunal falló a favor del algoritmo.
2. **¿Por qué ganó el algoritmo?**
El tribunal decidió que el algoritmo solo estaba siguiendo la ley tal como estaba escrita. No cometió un error: aplicó las reglas correctamente. El problema era que la ley en sí era demasiado rígida, no que el algoritmo funcionara mal.
3. **¿Realmente se puede llevar un algoritmo a los tribunales?**
No directamente. No se puede demandar a un software. Pero se puede impugnar la decisión que tomó demandando a la agencia gubernamental o empresa que lo utilizó. En este caso, la autora impugnó la decisión automatizada de la Agencia Sueca de Seguridad Social.
4. **¿Qué tipo de decisión tomó el algoritmo?**
Denegó su solicitud de beneficios extendidos por licencia parental. El algoritmo calculó automáticamente su elegibilidad basándose en reglas estrictas de ingresos e historial laboral, sin considerar su situación específica.
5. **¿Es este un problema común?**
Sí. Cada vez más gobiernos y empresas utilizan algoritmos para tomar decisiones sobre beneficios, préstamos, contrataciones e incluso sentencias penales. Cuando las reglas son demasiado simples, las personas con circunstancias inusuales a menudo son rechazadas injustamente.
**Preguntas de Nivel Intermedio**
6. **¿Por qué pensó la autora que el algoritmo estaba equivocado?**
Argumentó que el algoritmo no tuvo en cuenta su patrón de ingresos real. Como era trabajadora independiente, sus ingresos no eran estables mes a mes. El algoritmo utilizó una regla rígida de revisión de 12 meses que la descalificó, a pesar de que había ganado lo suficiente en total.
7. **¿Cuál fue el razonamiento del tribunal para fallar a favor del algoritmo?**
El tribunal dijo que el algoritmo era solo una herramienta que aplicaba la ley exactamente. Si la ley es defectuosa, el tribunal no puede culpar al algoritmo. La autora necesitaría cambiar la ley, no combatir el software. Esencialmente, el algoritmo era correcto dentro de las reglas defectuosas del sistema.
8. **¿Significa esto que los algoritmos siempre tienen la razón en los tribunales?**
No. Si un algoritmo está sesgado o utiliza datos incorrectos,
