저는 스웨덴에서 알고리즘을 법정에 세웠습니다. 알고리즘이 이겼습니다. | 샬로타 크론블라드

우리는 불의가 큰 소리로 드러난다고 생각하곤 합니다. 공공 시스템에 문제가 생기면 경보가 울리고, 누군가 책임을 지거나—그렇지 않으면 문책을 당해야 합니다. 하지만 2020년 예테보리에서 불의는 효율성이라는 모습으로 조용히 찾아왔습니다.

처음으로, 이 도시는 학생들을 학교에 배정하는 데 알고리즘을 사용했습니다. 결국, 학군과 입학을 결정하는 것은 어떤 지방자치단체에게나 큰 행정적 골칫거리입니다. 거리, 선호도, 수용 능력을 최적화하는 기계보다 더 나은 것이 있을까요? 이 시스템은 공공 효율성을 위해 설계되었습니다. 중립적이고, 간소화되었으며, 객관적인 것으로 제시되었습니다.

하지만 끔찍한 일이 벌어졌습니다. 수백 명의 어린이들이 집에서 수 마일 떨어진 학교—강과 피오르드를 건너고, 주요 고속도로를 넘어, 한 번도 가본 적 없고 아무런 연고도 없는 동네에 배정되었습니다. 부모들은 결정을 믿을 수 없다는 듯이 바라보았습니다. 13세 아이가 겨울에 그 길을 안전하게 걸어갈 수 있는지 누군가 확인이라도 했을까요? 어떤 논리가 이러한 선택을 이끌었을까요? 그들이 밝힌 선호도는 그냥 무시된 것일까요? 학교 행정 부서에서는 아무도 무슨 일이 일어났는지 설명하거나 실수를 바로잡을 능력이—또는 의지가—없어 보였습니다.

저는 기술 연구자이자 전직 변호사로서, 그리고 또한 한 어머니로서 이 상황을 지켜보았습니다. 당시 12살이었던 제 아들도 이 알고리즘의 영향을 받은 아이들 중 하나였습니다. 학교 행정 부서가 응답하지 않으면서 우리의 좌절감은 커져만 갔습니다. 그들은 침착하게, 배정에 문제가 있으면 이의를 제기할 수 있다고 말했습니다—마치 개인적인 취향의 문제인 것처럼. 마치 문제가 개인의 불만이지 시스템 전반의 실패가 아닌 것처럼. 도시 곳곳의 주방 식탁에서 같은 혼란과 분노가 끓어오르고 있었습니다. 무언가 잘못되었고, 문제의 규모는 날이 갈수록 더 명확해지고 있었습니다.

도시 감사관들이 우리 중 많은 사람이 의심했던 바를 확인하는 데 거의 1년이 걸렸습니다. 알고리즘에 결함이 있는 지침이 주어졌던 것입니다. 알고리즘은 실제 걷는 경로가 아닌 "직선 거리"로 거리를 계산했습니다. 예테보리에는 주요 강이 흐르고 있습니다. 이를 고려하지 못한 것은 아이들이 한 시간씩 통학해야 한다는 것을 의미했습니다. 많은 아이들에게, 법이 학교에 가는 적절한 방법이라고 명시한 대로 걸거나 자전거를 타고 강 반대편에 도달하는 것은 불가능했습니다.

가족들의 항의가 있은 후, 다음 학년도를 위해 절차가 개선되었습니다. 하지만 결함이 있는 알고리즘의 영향을 이미 받은 약 700명의 아이들에게는 아무것도 바뀌지 않았습니다. 그들은 중학교 시절 전체를 "잘못된" 학교에서 보내야 했습니다.

공식적인 입장은 개별 이의 제기로 충분하다는 것이었습니다. 하지만 그것은 요점을 놓친 것입니다. 알고리즘은 고립된 결정만 내리는 것이 아닙니다. 결정의 시스템을 만듭니다. 100명의 아이들이 강 반대편에 있는 학교에 잘못 배정되면, 그들은 다른 아이들을 위해 마련된 자리를 차지하게 됩니다. 그러면 그 아이들은 다른 학교로 밀려나고, 또 다시 다른 아이들을 대체하게 됩니다. 도미노처럼, 오류는 연쇄적으로 퍼져나갑니다. 다섯 번째나 여섯 번째 대체쯤 가면, 불의는 거의 감지하기 어려워지고, 법정에서 이의를 제기하고 증명하는 것은 더욱 어려워집니다.

열세 살 아이들이 집에서 수 마일 떨어진 학교—강과 피오르드를 건너고, 주요 고속도로를 넘어—에 배정되었습니다.

이러한 알고리즘적 불의는 추상적인 문제도, 스웨덴에만 국한된 문제도 아닙니다. 이는 최근 유럽 전역의 스캔들을 고통스럽게 떠올리게 합니다. 하나는 영국의 우체국 스캔들로, Horizon IT 시스템이 수백 명의 우체국 운영자들을 절도범으로 허위 고발하여 기소, 파산, 심지어 투옥까지 이어졌습니다. 수년 동안 시스템의 출력은 거의 오류가 없는 것으로 취급되었습니다. 인간의 증언은 기계의 권위에 굴복했습니다. 또 다른 예는 네덜란드의 아동 수당 스캔들로, 네덜란드 세무 당국이 사용한 시스템이 수천 명의 부모를 사기범으로 잘못 지목했습니다. 가족들은 빚에 빠졌습니다. 많은 이들이 집을 잃었습니다. 아이들은 위탁 양육으로 보내졌습니다. 두 경우 모두, 알고리즘 오류는 자동화된 시스템이 기술적 복잡성과 제도적 방어라는 베일 뒤에서 작동하면서 수년간 지속되었습니다. 실수는 쌓였고, 피해는 악화되었으며, 책임 추궁은 뒤처졌습니다.

2020년 예테보리로 돌아와서, 저는 단순히 아들의 배정에 이의를 제기하는 것만으로는 충분하지 않다는 것을 깨달았습니다. 개별적인 해결책으로 시스템적인 문제를 고칠 수는 없습니다. 그래서 연구 프로젝트의 일환으로, 알고리즘이 법정에 갈 때 어떤 일이 일어나는지 알아보기 위해 시를 상대로 소송을 제기했습니다. 저는 아들의 특정 배정만 문제 삼은 것이 아니라, 전체 의사 결정 시스템과 그것이 만들어낸 모든 것의 합법성에 도전했습니다. 저는 알고리즘의 설계가 법을 위반했다고 주장했습니다.

시스템에 접근할 수 없었기 때문에—알고리즘을 보여달라는 반복적인 요청이 무시당했습니다—법원에 그것을 제시할 수 없었습니다. 대신, 저는 수백 건의 배정을 주소와 학교 선택을 사용하여 신중하게 분석함으로써 시스템이 어떻게 작동했을지 알아내고, 그것을 증거로 제시했습니다.

시의 변호는 놀라울 정도로 단순했습니다. 그들은 시스템이 단지 "지원 도구"일 뿐이라고 주장했습니다. 그들은 잘못한 것이 없다고 말했고, 아무런 증거도 제시하지 않았습니다: 기술 문서도, 코드도, 작동 방식에 대한 설명도 없었습니다.

그리고 놀랍게도, 그럴 필요가 없었습니다. 법원은 입증 책임을 저에게 돌렸습니다. 판사들은 시스템이 불법임을 보여주는 것이 제 일이라고 말했습니다. 결정에 대한 제 분석만으로는 충분하지 않았습니다. 코드에 대한 직접적인 증거 없이는, 저는 입증 기준을 충족할 수 없었습니다. 사건은 기각되었습니다. 다시 말해: 블랙박스 안에 있는 것을 증명하거나, 아니면 패소하라는 것입니다.

이것이—원래의 행정적 실패보다 더—제가 밤에 잠을 이루지 못하게 하는 이유입니다. 우리는 알고리즘이 때때로 실패한다는 것을 압니다. 그래서 법원이 있는 것입니다: 정보 공개를 강제하고, 조사하고, 문제를 바로잡기 위해서입니다. 하지만 법적 절차가 과거에 머물러 있고, 판사들이 알고리즘 시스템에 의문을 제기할 도구, 기술, 또는 권한을 갖추지 못했을 때, 불의가 승리합니다. 공공 기관이 불투명한 시스템을 대규모로 사용하는 동안, 삶을 바꾸는 결과에 직면한 시민들은 그 배후의 코드를 결코 보지 못한 채 하나씩 이의를 제기하라는 말을 듣습니다.

우체국과 네덜란드 아동 수당 스캔들에서 얻은 교훈은 제가 예테보리에서 발견한 것과 일맥상통합니다. 법원이 기술에 의문을 제기하기보다 신뢰하고, 입증 책임이 시스템을 구축하고 사용한 사람이 아닌 피해를 입은 사람에게 있을 때, 알고리즘적 불의는 단지 나타나는 것에 그치지 않고 수년간 지속될 수 있습니다. 예테보리의 경우처럼 기술 자체가 단순할 때조차—실수가 실제 걷는 경로 대신 직선 거리를 사용한 것이었을 때—시민들은 여전히 그것에 도전하기 위해 스스로 밝혀내야 하는 블랙박스에 직면했습니다. 이 경우, 그것은 여러 겹의 검은 종이로 포장된 유리 상자였습니다.

이제 우리 법원이 알고리즘적 의사 결정의 블랙박스를 열도록 요구할 때입니다. 입증 책임을 실제로 알고리즘에 접근할 수 있는 당사자에게로 전환하고, 효과적이고 시스템 전반적인 해결을 위한 법적 규칙을 만들어야 합니다. 우리의 법적 절차를 디지털 사회의 현실에 맞게 업데이트할 때까지, 우리는 계속해서 스캔들에서 스캔들로 비틀거릴 것입니다. 불의가 코드에 의해 조용히 전달될 때, 책임 추궁은 큰 소리로 응답해야 합니다.

샤를로타 크론블라드는 예테보리 대학교에서 디지털 전환을 연구하고 있습니다.

**자주 묻는 질문**

다음은 샤를로타 크론블라드가 쓴 "제가 스웨덴에서 알고리즘을 법정에 세웠습니다. 알고리즘이 이겼습니다"라는 기사를 바탕으로 한 FAQ 목록입니다.

**초급 수준 질문**

1. **이 기사는 무엇에 관한 것인가요?**
스웨덴의 한 연구자가 정부 알고리즘을 법정에서 이의제기하려 한 실제 법적 사건에 관한 것입니다. 알고리즘이 그녀에 대한 결정을 내렸고, 그녀는 그것이 불공평하다고 주장했습니다. 법원은 알고리즘의 손을 들어주었습니다.

2. **알고리즘이 왜 이겼나요?**
법원은 알고리즘이 단지 법이 쓰여진 대로 따랐을 뿐이라고 판결했습니다. 실수를 한 것이 아니라 규칙을 올바르게 적용한 것입니다. 문제는 알고리즘이 오작동한 것이 아니라 법 자체가 너무 경직되어 있었다는 점이었습니다.

3. **정말로 알고리즘을 법정에 세울 수 있나요?**
직접적으로는 불가능합니다. 소프트웨어를 고소할 수는 없습니다. 하지만 그것을 사용한 정부 기관이나 회사를 고소함으로써 알고리즘이 내린 결정에 이의를 제기할 수 있습니다. 이 경우, 저자는 스웨덴 사회보험청의 자동화된 결정에 이의를 제기했습니다.

4. **알고리즘은 어떤 결정을 내렸나요?**
그녀의 육아휴직 수당 연장 신청을 거부했습니다. 알고리즘은 그녀의 특정 상황을 고려하지 않고 엄격한 소득 및 근무 이력 규칙에 따라 자동으로 자격을 계산했습니다.

5. **이것은 흔한 문제인가요?**
네, 점점 더 많은 정부와 기업이 수당, 대출, 고용, 심지어 형량 선고에 관한 결정을 내리기 위해 알고리즘을 사용하고 있습니다. 규칙이 너무 단순할 때, 특이한 상황에 처한 사람들은 종종 부당하게 거부됩니다.

**중급 수준 질문**

6. **저자는 왜 알고리즘이 틀렸다고 생각했나요?**
그녀는 알고리즘이 그녀의 실제 소득 패턴을 고려하지 않았다고 주장했습니다. 그녀는 프리랜서였기 때문에 소득이 매달 일정하지 않았습니다. 알고리즘은 엄격한 12개월 소급 규칙을 사용하여, 그녀가 전체적으로 충분한 소득을 벌었음에도 불구하고 자격을 박탈했습니다.

7. **알고리즘 편을 든 법원의 논리는 무엇이었나요?**
법원은 알고리즘은 단지 법을 정확히 적용하는 도구일 뿐이라고 말했습니다. 만약 법에 결함이 있다면, 법원이 알고리즘을 탓할 수는 없습니다. 저자는 소프트웨어와 싸우는 것이 아니라 법을 바꿔야 할 것입니다. 본질적으로, 알고리즘은 시스템의 결함 있는 규칙 내에서 정확했습니다.

8. **이것이 법정에서 알고리즘이 항상 옳다는 것을 의미하나요?**
아닙니다. 만약 알고리즘이 편향되어 있거나 나쁜 데이터를 사용한다면, 법원은 그 결정을 뒤집거나 책임을 물을 수 있습니다. 이 사건은 알고리즘이 법의 문자 그대로를 따랐기 때문에 특별했지만, 그 법 자체가 유연하지 않았습니다.