スウェーデンでアルゴリズムを裁判にかけました。アルゴリズムが勝ちました。| シャルロッタ・クロンブラッド

私たちは、不正は大きな音を立てて知らされるものだと考えがちです。公共システムに何か問題が起これば、警報が鳴り響き、誰かが責任を取るべきであり、もし取らなければ責任を問われるべきです。しかし、2020年のイェーテボリでは、不正は静かに、効率性という装いをまとってやってきました。

市は初めて、アルゴリズムを使って生徒を学校に割り当てました。結局のところ、学区の設定や入学手続きは、どの自治体にとっても大きな管理上の頭痛の種です。距離や希望、収容能力を最適化する機械ほど素晴らしいものがあるでしょうか？このシステムは公共の効率性に資することを目的としており、中立で、合理化され、客観的なものとして提示されました。

しかし、何かがひどく間違っていました。何百人もの子どもたちが、自宅から何マイルも離れた学校——川やフィヨルドを越え、主要高速道路を渡り、訪れたことのない、何の縁もない地域——に割り当てられました。保護者たちはその決定を信じられない思いで見つめました。13歳の子どもが冬にその道を安全に歩いて通えるか、誰か確認したのでしょうか？どのような論理がこれらの選択を導いたのでしょうか？彼らが表明した希望は単に無視されたのでしょうか？学校の管理部門の誰も、何が起こったのか説明したり、間違いを修正したりすることができないように見えました——あるいは、その気がないように見えました。

私は、テクノロジー研究者であり元弁護士として、そして同時に母親として、この出来事を見守りました。当時12歳だった私の息子も、このアルゴリズムの影響を受けた子どもの一人でした。学校管理部門が対応しなかったことで、私たちの不満は募るばかりでした。彼らは落ち着いて、配置に問題があれば異議申し立てができると言いました——あたかもそれが個人の好みの問題であるかのように。あたかも問題が個人の不満であり、システム全体の失敗ではないかのように。街中の台所のテーブルを囲んで、同じ混乱と怒りがくすぶっていました。何かが間違っており、問題の規模は日ごとに明らかになっていきました。

市の監査人が、私たちの多くが疑っていたことを確認するのにほぼ1年かかりました。アルゴリズムには欠陥のある指示が与えられていたのです。それは「直線距離」で距離を計算しており、実際の徒歩経路ではありませんでした。イェーテボリには主要な川が流れています。それを考慮しなかったため、子どもたちは1時間の通学時間を強いられました。多くの子どもにとって、法律が通学の適切な方法と定める徒歩や自転車で川の反対側に到達することは、まったく不可能でした。

家族からの抗議の声を受けて、翌年度の手続きは改善されました。しかし、欠陥のあるアルゴリズムの影響をすでに受けた約700人の子どもたちにとっては、何も変わりませんでした。彼らは中学校の全期間を「間違った」学校で過ごすことになるのです。

公式の見解は、個々の異議申し立てで十分だというものでした。しかし、それは本質を見誤っています。アルゴリズムは孤立した決定を下すだけでなく、決定のシステムを生み出します。100人の子どもたちが誤って川の対岸の学校に配置されると、彼らは他の子どもたちのために用意された席を奪います。そうすると、それらの子どもたちは別の学校に押しやられ、さらに他の子どもたちを追い出します。ドミノ倒しのように、エラーは連鎖します。5回目か6回目の追い出しが起こる頃には、不正はほとんど検出不可能になり、ましてや法廷で異議を唱え証明することはなおさら困難になります。

13歳の子どもたちが、自宅から何マイルも離れた学校——川やフィヨルドを越え、主要高速道路を渡って——に割り当てられました。

このアルゴリズムによる不正は、抽象的な問題ではなく、スウェーデン特有のものでもありません。それは、ヨーロッパ全土での最近のスキャンダルを痛烈に思い起こさせます。その一つが英国の郵便局スキャンダルで、Horizon ITシステムが何百人もの郵便局長を誤って窃盗で告発し、起訴、破産、さらには投獄に至りました。長年にわたり、システムの出力はほぼ間違いないものとして扱われました。人間の証言は機械の権威にねじ曲げられました。もう一つの例はオランダの保育手当スキャンダルで、オランダ税務当局が使用したシステムが何千人もの親を誤って詐欺師としてマークしました。家族は借金に陥りました。多くが家を失いました。子どもたちは里親に預けられました。どちらの場合も、アルゴリズムの失敗は長年にわたって続き、自動化されたシステムは技術的な複雑さと組織的な防御のベールの背後で作動していました。間違いは積み重なり、被害は悪化しました。説明責任は後手に回りました。

2020年のイェーテボリに戻ると、私は単に息子の配置に異議を申し立てるだけでは不十分だと気づきました。個別の修正でシステム全体の問題を解決することはできません。そこで、研究プロジェクトの一環として、アルゴリズムが法廷に持ち込まれたらどうなるかを見るために、市を訴えました。私は息子の特定の配置だけに異議を唱えたのではなく、意思決定システム全体とそれが生み出したすべてのものの合法性に異議を唱えました。私は、アルゴリズムの設計が法律に違反していると主張しました。

システムにアクセスできなかったため——アルゴリズムを見せてほしいという私の再三の要求は無視されました——私はそれを裁判所に示すことができませんでした。その代わりに、住所と学校の選択を使用してシステムがどのように機能したに違いないかを注意深く分析し、何百もの配置を分析し、それを証拠として提出しました。

市の弁護は驚くほど単純なものでした。彼らは、システムは単なる「支援ツール」だと主張しました。彼らは何も間違ったことはしていないと述べ、何の証拠も提供しませんでした。技術文書も、コードも、仕組みの説明もありませんでした。

そして、驚いたことに、彼らはそうする必要がなかったのです。裁判所は私に立証責任を課しました。裁判官は、システムが違法であることを示すのは私の仕事だと言いました。私の決定の分析だけでは不十分でした。コードの直接的な証拠がなければ、私は証明の基準を満たすことができませんでした。訴訟は却下されました。言い換えれば、ブラックボックスの中身を証明するか、さもなければ敗訴するか、ということです。

このこと——当初の行政上の失敗以上に——私を夜も眠れなくさせます。アルゴリズムが時々失敗することは私たちは知っています。まさにそのために裁判所があるのです。情報開示を強制し、調査し、修正するために。しかし、法的手続きが過去に固執し、裁判官がアルゴリズムシステムに疑問を呈するためのツール、スキル、権限を持たない場合、不正が勝利します。公的機関が不透明なシステムを大規模に使用する一方で、人生を変えるような結果に直面する市民は、その背後にあるコードを見ることなく、一人ずつ異議を申し立てるよう言われます。

郵便局やオランダの児童手当スキャンダルからの教訓は、私がイェーテボリで見つけたものと共鳴します。裁判所がテクノロジーを疑問視する代わりに信頼し、立証責任がシステムを構築し使用した者ではなく害を受けた者に課される場合、アルゴリズムによる不正は単に現れるだけでなく、何年も続く可能性があります。イェーテボリのようにテクノロジー自体が単純な場合でも——間違いは直線距離を実際の徒歩経路の代わりに使用したことでした——市民はそれに異議を唱えるために解明しなければならないブラックボックスに依然として直面しました。このケースでは、それは多くの層の黒い紙で包まれたガラスの箱でした。

私たちの裁判所がアルゴリズムによる意思決定のブラックボックスを開くよう要求する時が来ています。立証責任を実際にアルゴリズムにアクセスできる当事者に移し、効果的でシステム全体の修正のための法的ルールを創設する必要があります。私たちの法的手続きをデジタル社会の現実に合わせて更新するまで、私たちはスキャンダルからスキャンダルへとつまずき続けるでしょう。不正がコードによって静かに届けられるとき、説明責任は大声で応答しなければなりません。

シャルロッタ・クロンブラッドは、イェーテボリ大学でデジタルトランスフォーメーションを研究しています。

**よくある質問**

以下は、シャルロッタ・クロンブラッドによる記事「私はスウェーデンでアルゴリズムを裁判にかけた。アルゴリズムが勝った」に基づくFAQのリストです。

**初級レベルの質問**

1. **この記事は何についてですか？**
これは、スウェーデンの研究者が政府のアルゴリズムを法廷で争おうとした実際の訴訟についてです。アルゴリズムが彼女に関する決定を下し、彼女はそれが不公平だと主張しました。裁判所はアルゴリズムを支持する判決を下しました。

2. **なぜアルゴリズムが勝ったのですか？**
裁判所は、アルゴリズムは書かれた法律に従っているだけだと判断しました。それは間違いを犯したのではなく、ルールを正しく適用したのです。問題は、アルゴリズムが誤作動したからではなく、法律自体が硬直的すぎたことにありました。

3. **本当にアルゴリズムを裁判にかけることはできますか？**
直接はできません。ソフトウェアを訴えることはできません。しかし、それを使用した政府機関や企業を訴えることで、アルゴリズムが下した決定に異議を唱えることはできます。このケースでは、著者はスウェーデン社会保険庁の自動化された決定に異議を唱えました。

4. **アルゴリズムはどのような決定を下したのですか？**
それは、彼女の育児休暇給付金の延長申請を却下しました。アルゴリズムは、彼女の特定の状況を考慮せずに、厳格な収入と勤務歴のルールに基づいて自動的に彼女の資格を計算しました。

5. **これはよくある問題ですか？**
はい。ますます多くの政府や企業が、給付金、ローン、雇用、さらには刑事量刑に関する決定を下すためにアルゴリズムを使用しています。ルールが単純すぎると、特殊な状況にある人々が不当に拒否されることがよくあります。

**中級レベルの質問**

6. **なぜ著者はアルゴリズムが間違っていると思ったのですか？**
彼女は、アルゴリズムが彼女の実際の収入パターンを考慮していなかったと主張しました。彼女はフリーランサーだったため、収入は月ごとに一定ではありませんでした。アルゴリズムは、全体としては十分な収入があったにもかかわらず、彼女を失格とする厳格な12ヶ月の遡及ルールを使用しました。

7. **アルゴリズムを支持した裁判所の論理は何でしたか？**
裁判所は、アルゴリズムは法律を正確に適用する単なるツールであると述べました。もし法律に欠陥があるなら、裁判所はアルゴリズムを責めることはできません。著者はソフトウェアと戦うのではなく、法律を変える必要があるでしょう。基本的に、アルゴリズムはシステムの欠陥のあるルールの範囲内で正しかったのです。

8. **これは、アルゴリズムが法廷で常に正しいことを意味しますか？**
いいえ。もしアルゴリズムに偏りがあったり、悪いデータを使用していたり、法律に違反する方法で設計されていたりした場合、それは覆される可能性があります。このケースは、アルゴリズムが法律の厳格な文言に従った場合、たとえ結果が不公平に見えても、裁判所はそれを支持する可能性があることを示しています。