Wir neigen zu der Annahme, dass Ungerechtigkeit sich lautstark bemerkbar macht. Wenn in einem öffentlichen System etwas schiefläuft, sollten Alarmglocken schrillen und jemand sollte Verantwortung übernehmen – oder zur Rechenschaft gezogen werden, wenn er es nicht tut. Doch 2020 in Göteborg kam die Ungerechtigkeit leise daher, getarnt als Effizienz.
Zum ersten Mal setzte die Stadt einen Algorithmus ein, um Schüler ihren Schulen zuzuweisen. Schließlich ist die Festlegung von Schulbezirken und Aufnahmeverfahren für jede Gemeinde ein enormer administrativer Kopfschmerz. Was könnte besser sein als eine Maschine, die Entfernungen, Präferenzen und Kapazitäten optimiert? Das System sollte der öffentlichen Effizienz dienen: Es wurde als neutral, rationalisiert und objektiv präsentiert.
Aber etwas lief furchtbar schief. Hunderte von Kindern wurden Schulen zugewiesen, die meilenweit von ihren Wohnorten entfernt waren – über Flüsse und Fjorde hinweg, über große Autobahnen, in Stadtteilen, die sie nie besucht hatten und zu denen sie keine Verbindung hatten. Eltern starrten ungläubig auf die Entscheidungen. Hatte jemand überprüft, ob ein 13-Jähriger diesen Weg im Winter sicher zu Fuß zurücklegen konnte? Welche Logik leitete diese Entscheidungen? Wurden ihre angegebenen Präferenzen einfach ignoriert? Niemand in der Schulverwaltung schien in der Lage – oder willens – zu erklären, was passiert war, oder die Fehler zu beheben.
Ich verfolgte dies als Forscherin im Bereich Technologie und ehemalige Anwältin, aber auch als Mutter. Mein damals 12-jähriger Sohn war eines der Kinder, die von dem Algorithmus betroffen waren. Unsere Frustration wuchs, als die Schulverwaltung nicht reagierte. Gelassen teilten sie uns mit, wir könnten Einspruch einlegen, wenn wir ein Problem mit unserer Zuweisung hätten – als ob es eine Frage des persönlichen Geschmacks wäre. Als ob das Problem individuelle Unzufriedenheit wäre, nicht ein systemweites Versagen. In der ganzen Stadt, an Küchentischen, brodelte dieselbe Verwirrung und Wut. Etwas stimmte nicht, und das Ausmaß des Problems wurde von Tag zu Tag deutlicher.
Es dauerte fast ein Jahr, bis die städtischen Rechnungsprüfer bestätigten, was viele von uns vermutet hatten: Der Algorithmus hatte fehlerhafte Anweisungen erhalten. Er berechnete Entfernungen „in der Luftlinie", nicht die tatsächlichen Gehwege. Durch Göteborg fließt ein großer Fluss. Dass dies nicht berücksichtigt wurde, bedeutete für die Kinder stundenlange Pendelzeiten. Für viele war es schlicht unmöglich, die andere Flussseite zu Fuß oder mit dem Fahrrad zu erreichen – so wie es das Gesetz als den richtigen Weg zur Schule vorsieht.
Nach einem Aufschrei der Familien wurden die Verfahren für das folgende Schuljahr verbessert. Aber für die etwa 700 Kinder, die bereits von dem fehlerhaften Algorithmus betroffen waren, änderte sich nichts. Sie sollten ihre gesamte Zeit in der Unterstufe in den „falschen" Schulen verbringen.
Die offizielle Linie war, dass individuelle Einsprüche ausreichten. Aber das verfehlt den Punkt. Algorithmen treffen nicht nur isolierte Entscheidungen; sie schaffen Systeme von Entscheidungen. Wenn 100 Kinder fälschlicherweise Schulen am gegenüberliegenden Flussufer zugewiesen werden, nehmen sie die Plätze ein, die für andere bestimmt waren. Diese Kinder werden dann an andere Schulen gedrängt, was wiederum andere verdrängt. Wie Dominosteine breiten sich die Fehler aus. Bei der fünften oder sechsten Verdrängung wird die Ungerechtigkeit fast unmöglich zu erkennen, geschweige denn vor Gericht anzufechten und zu beweisen.
Dreizehnjährige Kinder wurden Schulen zugewiesen, die meilenweit entfernt waren – über Flüsse und Fjorde hinweg, über große Autobahnen.
Diese algorithmische Ungerechtigkeit ist kein abstraktes Problem, noch ist sie auf Schweden beschränkt. Sie spiegelt schmerzhaft aktuelle Skandale in ganz Europa wider. Einer ist der Post Office-Skandal im Vereinigten Königreich, bei dem das Horizon-IT-System hunderte Postamtsbetreiber fälschlicherweise des Diebstahls beschuldigte, was zu Strafverfolgungen, Bankrotten und sogar Gefängnisstrafen führte. Jahrelang wurde die Ausgabe des Systems als nahezu unfehlbar behandelt. Menschliche Aussagen wurden der Autorität der Maschine gebeugt. Ein weiteres Beispiel ist der Skandal um Kinderbetreuungsgeld in den Niederlanden, bei dem ein von der niederländischen Steuerbehörde genutztes System tausende Eltern fälschlicherweise als Betrüger markierte. Familien wurden in Schulden gestürzt. Viele verloren ihre Häuser. Kinder wurden in Pflegefamilien gegeben. In beiden Fällen hielten die algorithmischen Fehlfunktionen viele Jahre an, während das automatisierte System hinter einem Schleier technischer Komplexität und institutioneller Abwehrhaltung operierte. Fehler häuften sich an. Der Schaden wurde größer. Die Rechenschaftspflicht hinkte hinterher.
Zurück in Göteborg im Jahr 2020 wurde mir klar, dass es nicht ausreichen würde, einfach gegen die Zuweisung meines Sohnes Einspruch zu erheben. Man kann ein systemisches Problem nicht mit individuellen Lösungen beheben. Also verklagte ich im Rahmen eines Forschungsprojekts die Stadt, um zu sehen, was passiert, wenn Algorithmen vor Gericht kommen. Ich focht nicht nur die spezifische Zuweisung meines Sohnes an – ich focht die Rechtmäßigkeit des gesamten Entscheidungssystems und all seiner Ergebnisse an. Ich argumentierte, dass das Design des Algorithmus gegen das Gesetz verstieß.
Da ich keinen Zugang zum System hatte – meine wiederholten Bitten, den Algorithmus einzusehen, wurden ignoriert – konnte ich ihn dem Gericht nicht zeigen. Stattdessen analysierte ich sorgfältig hunderte von Zuweisungen, indem ich Adressen und Schulwahlen nutzte, um herauszufinden, wie das System funktioniert haben musste, und legte dies als Beweis vor.
Die Verteidigung der Stadt war erschreckend einfach. Sie behaupteten, das System sei nur ein „Unterstützungswerkzeug". Sie sagten, sie hätten nichts falsch gemacht, und legten keine Beweise vor: keine technischen Dokumente, keinen Code, keine Erklärung, wie die Dinge funktionierten.
Und zu meiner Überraschung mussten sie das auch nicht. Das Gericht legte die Beweislast auf mich. Die Richter sagten, es sei meine Aufgabe zu zeigen, dass das System illegal sei. Meine Analyse der Entscheidungen reichte nicht aus. Ohne direkte Beweise für den Code konnte ich den Beweisstandard nicht erfüllen. Der Fall wurde abgewiesen. Mit anderen Worten: Beweise, was sich in der Black Box befindet, oder verliere.
Das – mehr noch als das ursprüngliche administrative Versagen – raubt mir den Schlaf. Wir wissen, dass Algorithmen manchmal versagen. Genau dafür haben wir Gerichte: um Offenlegung zu erzwingen, zu prüfen und Dinge zu reparieren. Aber wenn rechtliche Verfahren in der Vergangenheit stecken bleiben und wenn Richter nicht die Werkzeuge, Fähigkeiten oder Autorität haben, um algorithmische Systeme zu hinterfragen, gewinnt die Ungerechtigkeit. Während öffentliche Stellen undurchsichtige Systeme in großem Maßstab einsetzen, wird den Bürgern, die mit lebensverändernden Ergebnissen konfrontiert sind, gesagt, sie sollten einzeln Einspruch einlegen – ohne jemals den Code dahinter zu sehen.
Die Lehren aus den Skandalen um die Post Office und die niederländischen Kindergeldleistungen spiegeln wider, was ich in Göteborg fand. Wenn Gerichte der Technologie vertrauen, anstatt sie zu hinterfragen, und wenn die Beweislast bei den Geschädigten liegt und nicht bei denen, die das System gebaut und genutzt haben, dann tritt algorithmische Ungerechtigkeit nicht nur auf – sie kann Jahre andauern. Selbst wenn die Technologie selbst einfach ist, wie in Göteborg – wo der Fehler darin bestand, die Luftlinienentfernung anstelle der tatsächlichen Gehwege zu verwenden – standen die Bürger dennoch vor einer Black Box, die sie aufdecken mussten, um sie anzufechten. In diesem Fall war es eine Glaskiste, die in viele Lagen schwarzes Papier eingewickelt war.
Es ist an der Zeit, von unseren Gerichten zu fordern, die Black Boxes algorithmischer Entscheidungsfindung zu öffnen. Wir müssen die Beweislast auf die Partei verlagern, die tatsächlich Zugang zum Algorithmus hat, und rechtliche Regeln für wirksame, systemweite Korrekturen schaffen. Bis wir unsere rechtlichen Verfahren an die Realitäten einer digitalen Gesellschaft anpassen, werden wir weiter von Skandal zu Skandal stolpern. Wenn Ungerechtigkeit leise durch Code geliefert wird, muss Rechenschaft lautstark antworten.
Charlotta Kronblad erforscht digitale Transformation an der Universität Göteborg.
**Häufig gestellte Fragen**
Hier ist eine Liste von FAQs basierend auf dem Artikel „Ich habe einen Algorithmus in Schweden verklagt. Der Algorithmus hat gewonnen" von Charlotta Kronblad.
**Fragen für Einsteiger**
1. **Worum geht es in diesem Artikel?**
Es geht um einen realen Rechtsfall, in dem eine schwedische Forscherin versuchte, einen staatlichen Algorithmus vor Gericht anzufechten. Der Algorithmus traf eine Entscheidung über sie, und sie argumentierte, dass diese unfair sei. Das Gericht entschied zugunsten des Algorithmus.
2. **Warum hat der Algorithmus gewonnen?**
Das Gericht entschied, dass der Algorithmus lediglich das Gesetz so anwendete, wie es geschrieben stand. Er machte keinen Fehler – er wendete die Regeln korrekt an. Das Problem war, dass das Gesetz selbst zu starr war, nicht dass der Algorithmus eine Fehlfunktion hatte.
3. **Kann man einen Algorithmus wirklich verklagen?**
Nicht direkt. Man kann keine Software verklagen. Aber man kann die Entscheidung, die sie getroffen hat, anfechten, indem man die Regierungsbehörde oder das Unternehmen verklagt, das sie eingesetzt hat. In diesem Fall focht die Autorin die automatisierte Entscheidung der schwedischen Sozialversicherungsanstalt an.
4. **Welche Art von Entscheidung hat der Algorithmus getroffen?**
Er lehnte ihren Antrag auf verlängertes Elterngeld ab. Der Algorithmus berechnete automatisch ihre Anspruchsberechtigung auf der Grundlage strenger Einkommens- und Beschäftigungsverlaufsregeln, ohne ihre spezifische Situation zu berücksichtigen.
5. **Ist das ein häufiges Problem?**
Ja. Immer mehr Regierungen und Unternehmen setzen Algorithmen ein, um Entscheidungen über Leistungen, Kredite, Einstellungen und sogar über Strafzumessungen zu treffen. Wenn die Regeln zu einfach sind, werden Menschen mit ungewöhnlichen Umständen oft zu Unrecht abgelehnt.
**Fragen für Fortgeschrittene**
6. **Warum dachte die Autorin, dass der Algorithmus falsch lag?**
Sie argumentierte, dass der Algorithmus ihr tatsächliches Einkommensmuster nicht berücksichtigte. Sie war Freiberuflerin, daher war ihr Einkommen nicht von Monat zu Monat gleichmäßig. Der Algorithmus verwendete eine starre 12-Monats-Rückblickregel, die sie disqualifizierte, obwohl sie insgesamt genug verdient hatte.
7. **Was war die Begründung des Gerichts, sich auf die Seite des Algorithmus zu stellen?**
Das Gericht sagte, der Algorithmus sei nur ein Werkzeug, das das Gesetz exakt anwende. Wenn das Gesetz fehlerhaft sei, könne das Gericht nicht die Software dafür verantwortlich machen. Die Autorin müsste das Gesetz ändern, nicht die Software bekämpfen. Im Wesentlichen war der Algorithmus innerhalb der fehlerhaften Regeln des Systems korrekt.
8. **Bedeutet das, dass Algorithmen vor Gericht immer Recht haben?**
Nein. Wenn ein Algorithmus voreingenommen ist, schlechte Daten verwendet oder auf eine Weise funktioniert, die gegen das Gesetz verstößt, kann er vor Gericht angefochten werden. In diesem speziellen Fall stellte das Gericht jedoch fest, dass der Algorithmus das Gesetz korrekt anwendete, auch wenn das Gesetz zu einem unfairen Ergebnis führte.
