我们总以为，不公之事会大张旗鼓地现身。当公共系统出现问题时，警报应当响起，有人应当承担责任——若无人担责，也应被追究。但在2020年的哥德堡，不公却悄然而至，伪装成效率的模样。
这座城市首次使用算法为学生分配学校。毕竟，为任何市政当局规划学区与招生都是巨大的行政难题。还有什么比一台机器更能优化距离、偏好与容量呢？这套系统本应服务于公共效率：它被呈现为中立、精简且客观的。
但事情却出了大错。数百名儿童被分配到离家数英里之外的学校——要跨越河流与峡湾，穿过主要高速公路，前往他们从未去过、也毫无关联的社区。家长们难以置信地盯着这些决定。有没有人检查过，一个13岁的孩子能否在冬天安全地走完那条路？是什么逻辑在引导这些选择？他们明确表达的偏好是否被直接无视了？学校管理层似乎无人能够——或愿意——解释发生了什么，或纠正这些错误。
作为一名技术研究者与前律师，同时也作为一名母亲，我目睹了这一切的发生。我当时12岁的儿子就是受算法影响的孩子之一。随着学校管理层未能回应，我们的挫败感与日俱增。他们冷静地告诉我们，如果对分配结果有意见，可以提出申诉——仿佛这只是个人品味问题。仿佛问题在于个体的不满，而非系统性的失败。在这座城市的家家户户的餐桌旁，同样的困惑与愤怒在暗流涌动。事情不对劲，而问题的规模正一天天变得清晰。
花了将近一年时间，市审计员才证实了我们许多人早已怀疑的事：算法被赋予了有缺陷的指令。它计算的是“直线距离”，而非实际步行路线。哥德堡有一条主要河流穿城而过。未能考虑这一点意味着孩子们面临长达一小时的通勤。对许多人来说，步行或骑自行车到达河对岸——正如法律规定的那样，这是上学的正当方式——根本不可能。
在家庭的强烈抗议后，下一学年的程序得到了改进。但对于大约700名已经受到有缺陷算法影响的孩子来说，一切都没有改变。他们将整个初中时光都耗在“错误”的学校里。
官方的说法是，个人申诉就足够了。但这忽略了重点。算法不会做出孤立的决定；它们创造的是决策系统。当100名儿童被错误地分配到河对岸的学校时，他们就占用了本该属于别人的名额。那些孩子随后被推到不同的学校，进而又挤占了其他人。就像多米诺骨牌一样，错误层层叠加。到第五或第六次位移时，不公几乎变得无法察觉，更不用说在法庭上提出质疑并证明了。
13岁的孩子被分配到数英里外的学校——要跨越河流与峡湾，穿过主要高速公路。
这种算法造成的不公并非一个抽象问题，也并非瑞典独有。它痛苦地呼应了欧洲近期的丑闻。其一是英国的邮局丑闻，Horizon IT系统错误地指控数百名邮局经营者盗窃，导致起诉、破产甚至监禁。多年来，该系统的输出几乎被视为无懈可击。人类的证词屈从于机器的权威。另一个例子是荷兰的儿童福利丑闻，荷兰税务机构使用的一个系统错误地将数千名家长标记为欺诈者。家庭陷入债务，许多人失去了家园，孩子被送进寄养机构。在这两个案例中，算法故障持续了多年，因为自动化系统在技术复杂性和机构防御性的面纱背后运作。错误不断累积，伤害日益加剧，而问责却迟迟未能跟上。
回到2020年的哥德堡，我意识到仅仅对我儿子的分配结果提出申诉是不够的。你无法用个体修复来解决系统性问题。因此，作为研究项目的一部分，我将市政府告上了法庭，想看看当算法进入法庭时会发生什么。我挑战的不仅仅是我儿子具体的分配结果——我质疑的是整个决策系统及其所有产出的合法性。我主张算法的设计违反了法律。
由于我无法访问该系统——我多次要求查看算法的请求都被无视——我无法向法庭展示它。相反，我仔细分析了数百个分配结果，利用地址和学校选择来推断系统必然是如何运作的，并将其作为证据提交。
市政府的辩护简单得惊人。他们声称该系统只是一个“支持工具”。他们说自己没有做错任何事，并且没有提供任何证据：没有技术文件，没有代码，没有对事情如何运作的解释。
而令我惊讶的是，他们根本不需要提供。法庭将举证责任放在了我身上。法官们说，证明该系统非法是我的工作。我对决策结果的分析不够。没有代码的直接证据，我无法达到证明标准。案件被驳回了。换句话说：要么证明黑箱里有什么，要么就输掉官司。
正是这一点——而非最初的行政失误——让我夜不能寐。我们知道算法有时会失败。这正是我们拥有法庭的原因：强制披露、审查并修复问题。但当法律程序固守过去，当法官缺乏质疑算法系统的工具、技能或权威时，不公就会获胜。当公共机构大规模使用不透明的系统时，面临改变人生结果的公民被告知要逐一申诉，却永远看不到背后的代码。
邮局和荷兰儿童福利丑闻的教训，与我在哥德堡的发现如出一辙。当法庭信任技术而非质疑它，当举证责任落在受伤害者而非构建和使用系统的人身上时，算法造成的不公不仅会出现——它还可能持续多年。即使技术本身很简单，就像在哥德堡——错误在于使用直线距离而非实际步行路线——公民仍然面临着一个他们必须揭开才能挑战的黑箱。在这个案例中，它是一个被多层黑纸包裹的玻璃箱。
是时候要求我们的法庭打开算法决策的黑箱了。我们需要将举证责任转移给实际能接触到算法的一方，并为有效、系统性的修复制定法律规则。在我们更新法律程序以适应数字社会的现实之前，我们将不断从一个丑闻跌跌撞撞地走向另一个。当不公由代码悄然送达时，问责必须大声回应。
夏洛塔·克龙布拉德在哥德堡大学研究数字化转型。
