Gostamos de pensar que a injustiça se anuncia em alto e bom som. Quando algo corre mal num sistema público, os alarmes devem soar e alguém deve assumir a responsabilidade — ou ser responsabilizado se não o fizer. Mas em 2020, em Gotemburgo, a injustiça chegou silenciosamente, disfarçada de eficiência.
Pela primeira vez, a cidade usou um algoritmo para atribuir alunos a escolas. Afinal, definir zonas escolares e admissões é uma enorme dor de cabeça administrativa para qualquer município. O que poderia ser melhor do que uma máquina para otimizar distâncias, preferências e capacidade? O sistema destinava-se a servir a eficiência pública: foi apresentado como neutro, simplificado e objetivo.
Mas algo correu terrivelmente mal. Centenas de crianças foram atribuídas a escolas a quilómetros de casa — através de rios e fiordes, por cima de autoestradas principais, em bairros que nunca tinham visitado e aos quais não tinham qualquer ligação. Os pais olhavam para as decisões incrédulos. Alguém tinha verificado se um jovem de 13 anos podia percorrer a pé aquela rota em segurança no inverno? Que lógica guiava estas escolhas? As suas preferências declaradas foram simplesmente ignoradas? Ninguém na administração escolar parecia capaz — ou disposto — a explicar o que tinha acontecido ou a corrigir os erros.
Assisti a isto a desenrolar-se enquanto investigadora em tecnologia e ex-advogada, mas também enquanto mãe. O meu filho, na altura com 12 anos, foi uma das crianças afetadas pelo algoritmo. A nossa frustração cresceu à medida que a administração escolar não respondia. Calmamente, disseram-nos que podíamos recorrer se tivéssemos um problema com a nossa colocação — como se fosse uma questão de gosto pessoal. Como se o problema fosse uma insatisfação individual, e não uma falha sistémica. À volta das mesas de cozinha por toda a cidade, a mesma confusão e raiva fervilhavam. Algo estava errado, e a escala do problema tornava-se mais clara a cada dia.
Levou quase um ano para os auditores da cidade confirmarem o que muitos de nós suspeitávamos: o algoritmo tinha recebido instruções defeituosas. Calculava distâncias "em linha reta", não as rotas reais a pé. Gotemburgo tem um grande rio a atravessá-la. Não ter em conta isso significava que as crianças enfrentavam deslocações de uma hora. Para muitas, chegar ao outro lado do rio a pé ou de bicicleta — como a lei diz ser a forma adequada de ir para a escola — era simplesmente impossível.
Após um clamor das famílias, os procedimentos foram melhorados para o ano letivo seguinte. Mas para cerca de 700 crianças já afetadas pelo algoritmo defeituoso, nada mudou. Passariam todos os seus anos de ensino básico nas escolas "erradas".
A versão oficial era que os recursos individuais eram suficientes. Mas isso falha o essencial. Os algoritmos não tomam apenas decisões isoladas; criam sistemas de decisões. Quando 100 crianças são colocadas erradamente em escolas na margem oposta do rio, ocupam as vagas destinadas a outras. Essas crianças são então empurradas para escolas diferentes, deslocando outras por sua vez. Como dominós, os erros em cascata. Ao quinto ou sexto deslocamento, a injustiça torna-se quase impossível de detetar, quanto mais de contestar e provar em tribunal.
Crianças de treze anos foram atribuídas a escolas a quilómetros de distância — através de rios e fiordes, por cima de autoestradas principais.
Esta injustiça algorítmica não é um problema abstrato, nem é exclusiva da Suécia. Ecoa dolorosamente escândalos recentes por toda a Europa. Um deles é o escândalo dos Correios no Reino Unido, onde o sistema informático Horizon acusou falsamente centenas de operadores postais de roubo, levando a processos judiciais, falências e até prisão. Durante anos, o resultado do sistema foi tratado como quase infalível. O testemunho humano foi submetido à autoridade da máquina. Outro exemplo é o escândalo das prestações de cuidados infantis nos Países Baixos, onde um sistema usado pela autoridade fiscal neerlandesa sinalizou erradamente milhares de pais como fraudadores. Famílias foram mergulhadas em dívidas. Muitas perderam as suas casas. Crianças foram colocadas em lares de acolhimento. Em ambos os casos, as falhas algorítmicas continuaram durante muitos anos, enquanto o sistema automatizado operava por detrás de um véu de complexidade técnica e defensividade institucional. Os erros acumularam-se. O dano agravou-se. A responsabilização ficou aquém.
De volta a Gotemburgo em 2020, percebi que simplesmente recorrer da colocação do meu filho não seria suficiente. Não se pode resolver um problema sistémico com correções individuais. Então, como parte de um projeto de investigação, processei a cidade para ver o que acontece quando os algoritmos vão a tribunal. Não contestei apenas a colocação específica do meu filho — contestei a legalidade de todo o sistema de tomada de decisão e tudo o que ele produziu. Argumentei que a conceção do algoritmo violava a lei.
Como não conseguia aceder ao sistema — os meus repetidos pedidos para ver o algoritmo foram ignorados — não o pude mostrar ao tribunal. Em vez disso, analisei cuidadosamente centenas de colocações, usando moradas e escolhas escolares para descobrir como o sistema devia ter funcionado, e apresentei isso como prova.
A defesa da cidade foi surpreendentemente simples. Alegaram que o sistema era apenas uma "ferramenta de apoio". Disseram que não fizeram nada de errado e não ofereceram qualquer prova: nenhum documento técnico, nenhum código, nenhuma explicação de como as coisas funcionavam.
E, para minha surpresa, não precisaram de o fazer. O tribunal colocou o ónus da prova sobre mim. Os juízes disseram que era meu dever mostrar que o sistema era ilegal. A minha análise das decisões não foi suficiente. Sem provas diretas do código, não consegui cumprir o padrão de prova. O caso foi arquivado. Por outras palavras: prove o que está dentro da caixa negra, ou perca.
Isto — mais do que a falha administrativa original — tira-me o sono. Sabemos que os algoritmos às vezes falham. É exatamente por isso que temos tribunais: para forçar a divulgação, examinar e corrigir as coisas. Mas quando os procedimentos legais ficam presos no passado, e quando os juízes não têm as ferramentas, competências ou autoridade para questionar sistemas algorítmicos, a injustiça vence. Enquanto as agências públicas usam sistemas opacos em grande escala, os cidadãos que enfrentam resultados que mudam as suas vidas são informados para recorrer — um a um — sem nunca verem o código por detrás disso.
As lições dos escândalos dos Correios e das prestações infantis neerlandesas ecoam o que encontrei em Gotemburgo. Quando os tribunais confiam na tecnologia em vez de a questionar, e quando o ónus da prova recai sobre os prejudicados em vez de sobre aqueles que construíram e usaram o sistema, a injustiça algorítmica não aparece apenas — pode durar anos. Mesmo quando a tecnologia em si é simples, como em Gotemburgo — onde o erro foi usar a distância em linha reta em vez das rotas reais a pé — os cidadãos ainda enfrentaram uma caixa negra que tinham de descobrir para a contestar. Neste caso, era uma caixa de vidro envolta em muitas camadas de papel preto.
É altura de exigir que os nossos tribunais abram as caixas negras da tomada de decisão algorítmica. Precisamos de transferir o ónus da prova para a parte que tem realmente acesso ao algoritmo, e criar regras legais para correções eficazes a nível sistémico. Até atualizarmos os nossos procedimentos legais para corresponder às realidades de uma sociedade digital, continuaremos a tropeçar de escândalo em escândalo. Quando a injustiça é entregue silenciosamente por código, a responsabilização deve responder em alto e bom som.
Charlotta Kronblad investiga a transformação digital na Universidade de Gotemburgo.
**Perguntas Frequentes**
Aqui está uma lista de FAQs baseadas no artigo "Levei um algoritmo a tribunal na Suécia. O algoritmo ganhou" de Charlotta Kronblad.
**Perguntas de Nível Iniciante**
1. **Sobre o que é este artigo?**
É sobre um caso legal real onde uma investigadora sueca tentou contestar um algoritmo governamental em tribunal. O algoritmo tomou uma decisão sobre ela e ela argumentou que era injusto. O tribunal decidiu a favor do algoritmo.
2. **Porque é que o algoritmo ganhou?**
O tribunal decidiu que o algoritmo estava apenas a seguir a lei tal como estava escrita. Não cometeu um erro — aplicou as regras corretamente. O problema era que a lei em si era demasiado rígida, não que o algoritmo tivesse funcionado mal.
3. **Pode-se realmente levar um algoritmo a tribunal?**
Não diretamente. Não se pode processar um pedaço de software. Mas pode-se contestar a decisão que ele tomou processando a agência governamental ou empresa que o usou. Neste caso, a autora contestou a decisão automatizada da Agência de Segurança Social Sueca.
4. **Que tipo de decisão o algoritmo tomou?**
Negou o seu pedido de prolongamento do subsídio parental. O algoritmo calculou automaticamente a sua elegibilidade com base em regras estritas de rendimento e histórico de trabalho, sem considerar a sua situação específica.
5. **Este é um problema comum?**
Sim, cada vez mais governos e empresas usam algoritmos para tomar decisões sobre benefícios, empréstimos, contratações e até sentenças criminais. Quando as regras são demasiado simples, pessoas com circunstâncias incomuns são frequentemente rejeitadas injustamente.
**Perguntas de Nível Intermédio**
6. **Porque é que a autora achou que o algoritmo estava errado?**
Argumentou que o algoritmo não teve em conta o seu padrão de rendimento real. Era freelancer, por isso o seu rendimento não era estável mês a mês. O algoritmo usou uma regra rígida de análise dos 12 meses anteriores que a desqualificou, apesar de ela ter ganho o suficiente no total.
7. **Qual foi o raciocínio do tribunal para ficar do lado do algoritmo?**
O tribunal disse que o algoritmo era apenas uma ferramenta que aplicava a lei exatamente. Se a lei é falha, o tribunal não pode culpar o algoritmo. A autora precisaria de mudar a lei, não de combater o software. Essencialmente, o algoritmo estava correto dentro das regras falhas do sistema.
8. **Isto significa que os algoritmos estão sempre certos em tribunal?**
Não. Se um algoritmo for tendencioso, usar dados maus
