My photo was used in child abuse images. Now, AI is forcing others to relive my nightmare.

어린 시절, 낯선 사람보다 무서운 것은 없었습니다. 1980년대 말에서 1990년대 초, 우리 부모님, TV 특집 프로그램, 선생님들은 모두 낯선 사람이 우리를 해치려 한다고 경고했습니다. "낯선 사람 위험(Stranger Danger)"은 어디에나 있었죠. 이는 선의에서 비롯된 교훈이었지만, 위험은 과장되었습니다: 대부분의 아동 학대는 아이가 아는 사람에 의해 자행됩니다. 낯선 사람에 의한 학대는 훨씬 더 드뭅니다.

드물지만, 불가능한 것은 아닙니다. 저는 낯선 사람들에 의해 성적으로 착취당했기 때문에 압니다.

5살부터 13살까지 저는 아역 배우였습니다. 최근 들어 세트장 뒤에서 벌어지는 학대에 대한 끔찍한 이야기들을 많이 듣게 되었지만, 저는 항상 세트장에서 안전하다고 느꼈습니다. 영화 세트장은 사람들이 일에 집중하는 규제된 공간이었습니다. 저는 지지해주는 부모님을 두었고, 아이들을 이해하고 보살피는 감독, 배우, 선생님들로 둘러싸여 있었습니다.

연예계가 저를 위험에 빠뜨린 유일한 길은 저를 대중의 시선에 노출시킨 것이었습니다. 제가 직면한 모든 잔인함과 착취는 대중으로부터 비롯되었습니다.

"할리우드는 당신을 수영장에 던져넣지만, 당신의 머리를 물속에 잠그는 것은 대중입니다." 저는 항상 이렇게 말합니다.

고등학교에 들어가기도 전에, 제 이미지는 아동 성착취물에 사용되었습니다. 저는 페티시 웹사이트에 등장했고, 포르노에 합성되었습니다. 성인 남성들은 저에게 소름 끼치는 편지를 보냈습니다. 저는 예쁜 소녀도 아니었고—10살부터 25살까지 거의 내내 어색한 시기를 보냈죠—거의 전적으로 가족용 영화에만 출연했습니다. 하지만 저는 공인이라서 접근 가능했습니다. 그게 포식자들이 찾는 것입니다: 접근성. 그리고 인터넷보다 저를 더 접근 가능하게 만든 것은 없었습니다.

그 이미지들이 '제가 아닌' 것이거나 사이트들이 '기술적으로' 합법적이라는 것은 중요하지 않았습니다. 이는 고통스럽고, 침해적인 경험이었습니다—다른 어떤 아이도 겪지 않기를 바랐던 살아있는 악몽이었죠. 성인이 되어, 저는 제 뒤를 이어 오는 아이들에 대해 걱정했습니다. 디즈니 스타들, Stranger Things 출연진들, 틱톡 춤을 추거나 가족 블로그에 나오는 사춘기 아이들에게도 비슷한 일이 벌어지고 있을까요? 저는 알고 싶지 않았습니다.

생성형 AI가 몇 년 전 주목을 받기 시작했을 때, 저는 최악을 두려워했습니다. '딥페이크'에 대해 들었고, 그 기술이 기하급수적으로 더 현실적이 되어가고 있다는 것을 알았습니다.

그리고 그것은 일어났습니다—적어도 세상이 눈치챘죠. 생성형 AI는 이미 동의 없이 성인 여성의 성적 이미지를 생성하는 데 여러 번 사용되었습니다. 제 친구들에게도 일어난 일입니다. 하지만 최근에는 X의 AI 도구 그록(Grok)이 미성년자 배우의 나체 이미지를 생성하는 데 공개적으로 사용되었다는 보도가 있었습니다. 몇 주 전에는 13살 소녀가 자신의 딥페이크 포르노를 만들었다는 동급생을 때려 퇴학당했는데, 이는 사람들이 제 가짜 성적 이미지를 만들었을 때와 비슷한 나이였습니다.

2024년 7월, 인터넷 감시 재단(Internet Watch Foundation)은 다크 웹 포럼에서 3,500개 이상의 AI 생성 아동 성착취 이미지를 발견했습니다. 그 이후로 또 얼마나 많은 이미지가 만들어졌을까요?

생성형 AI는 '낯선 사람 위험'을 재창조했습니다. 그리고 이번에는 그 두려움이 정당합니다. 이제 온라인에 얼굴이 공개된 어떤 아이라도 성적으로 착취당하는 것이 무한히 쉬워졌습니다. 수백만 명의 아이들이 제 악몽을 강제로 살게 될 수 있습니다.

이 딥페이크 위기를 막기 위해서는 AI가 어떻게 훈련되는지 살펴봐야 합니다.

생성형 AI는 "보기, 만들기, 비교하기, 업데이트하기, 반복하기"라는 반복적인 과정을 통해 '학습'한다고 수학자이자 전 AI 안전 연구원인 패트릭 라빅토아(Patrick LaVictoire)는 말합니다. AI는 기억된 정보를 바탕으로 모델을 생성하지만, 모든 것을 기억할 수는 없기 때문에 패턴을 찾고 그에 기반해 응답합니다. 라빅토아는 유용한 AI 행동은 강화되고, 도움이 되지 않거나 해로운 행동은 제거된다고 설명합니다. 생성형 AI가 생성할 수 있는 것은 전적으로 그 훈련 데이터에 달려 있습니다. 2023년 스탠퍼드 대학 연구에 따르면, 인기 있는 훈련 데이터셋에 1,000건 이상의 아동 성착취물(CSAM)이 포함되어 있었습니다. 비록 그 링크들은 이후 제거되었지만, 연구자들은 또 다른 위험을 경고합니다: 데이터에 두 유형이 모두 존재한다면, AI가 아이들의 순수한 이미지와 성인 포르노를 결합하여 CSAM을 생성할 수 있다는 것입니다.

구글과 오픈AI 같은 회사들은 훈련 데이터를 신중하게 선별하는 등의 안전 장치가 있다고 말합니다. 그러나 많은 성인 연예인과 성산업 종사자들의 이미지가 동의 없이 AI 학습을 위해 수집되었다는 점을 유의하는 것이 중요합니다.

라빅토아는 생성형 AI 자체는 "제다이 사무라이 이미지를 만들어라"와 같은 무해한 프롬프트와 "이 연예인의 옷을 벗겨라"와 같은 유해한 프롬프트를 구분할 수 없다고 지적합니다. 이를 해결하기 위해 스팸 필터와 유사한 또 다른 AI 계층이 그러한 질의를 차단할 수 있습니다. 그록을 만든 회사인 xAI는 이 필터에 대해 허술했던 것으로 보입니다.

상황은 더 악화될 수 있습니다. 메타 등은 향후 AI 모델을 오픈소스로 만들 것을 제안했는데, 이는 누구나 코드에 접근하고, 다운로드하고, 수정할 수 있음을 의미합니다. 오픈소스 소프트웨어는 일반적으로 창의성과 협업을 촉진하지만, 이러한 자유는 아동 안전에 재앙이 될 수 있습니다. 다운로드된 오픈소스 AI 플랫폼은 노골적이거나 불법적인 이미지로 미세 조정되어 제한 없는 CSAM이나 '리벤지 포르노'를 생성하는 데 사용될 수 있으며, 이때는 아무런 안전 장치도 없습니다.

메타는 최신 AI 플랫폼을 완전히 오픈소스로 만드는 데서 물러난 것으로 보입니다. 아마도 마크 저커버그는 로마 황제보다는 'CSAM의 오펜하이머'에 더 비유될 수 있는 길에서 벗어나, 잠재적 유산을 고려했을 것입니다.

일부 국가들은 행동에 나서고 있습니다. 중국은 AI 생성 콘텐츠에 라벨을 부착하도록 요구합니다. 덴마크는 개인의 초상과 목소리에 대한 저작권을 부여하고, 이를 준수하지 않는 플랫폼에 벌금을 부과하는 법안을 초안 중입니다. 유럽과 영국에서는 GDPR과 같은 규제를 통해 보호 조치가 마련될 수도 있습니다.

미국의 전망은 더욱 어두워 보입니다. 사용자 동의서가 일반적으로 업로드된 콘텐츠에 대한 광범위한 권리를 플랫폼에 부여하기 때문에 저작권 주장은 종종 실패합니다. AI 규제에 반대하는 행정 명령과 xAI 같은 회사들이 군대와 협력하는 가운데, 미국 정부는 공공 안전보다 AI 이익을 우선시하는 것으로 보입니다.

뉴욕 소송 변호사 아키바 코헨(Akiva Cohen)은 일부 디지털 조작을 범죄화하는 최근 법률을 언급하면서, 이들이 종종 지나치게 제한적이라고 말합니다. 예를 들어, 누군가를 나체로 또는 성적 행위를 하는 것으로 보이는 딥페이크를 만드는 것은 범죄일 수 있지만, AI를 사용하여 여성—심지어 미성년자 소녀—를 비키니를 입은 상태로 만드는 것은 아마 범죄가 아닐 것이라고 합니다.

"이런 행위의 상당수는 의도적으로 '끔찍하지만 합법적인' 경계선 안쪽에 머무르도록 되어 있습니다." 코헨은 말합니다. 비록 그러한 행위가 국가에 대한 형사 범죄는 아닐 수 있지만, 코헨은 이는 민사상 책임이 될 수 있으며, 개인의 권리를 침해하고 배상을 요구할 수 있다고 주장합니다. 그는 이것이 '허위광고(false light)'나 '사생활 침해'와 같은 불법 행위에 해당한다고 제안합니다.

"이런 종류의 행동을 진정으로 억제하는 방법은 이를 가능하게 하는 회사들을 책임지는 것입니다." 코헨은 말합니다.

이에 대한 법적 선례가 있습니다: 뉴욕의 Raise Act와 캘리포니아의 상원 법안 53(Senate Bill 53)은 AI 회사들이 일정 수준을 넘어서는 피해에 대해 책임을 질 수 있다고 명시합니다. 한편, X는 자사 플랫폼에서 실제 사람들의 성적 이미지를 생성하지 못하도록 그록 AI 도구를 차단할 것이라고 발표했지만, 이 정책 변경은 독립형 그록 앱에는 적용되지 않는 것으로 보입니다.

뉴욕의 전 변호사이자 전 아역 배우인 조시 사비아노(Josh Saviano)는 입법과 함께 보다 즉각적인 조치가 필요하다고 믿습니다.

"로비 활동과 법원이 궁극적으로 이 문제를 해결할 것입니다." 사비아노는 말합니다. "하지만 그때까지는 두 가지 선택지가 있습니다: 인터넷에서 자신의 전체 디지털 흔적을 제거하여 완전히 자제하거나, 기술적 해결책을 찾는 것이죠."

젊은이들을 보호하는 것은 딥페이크 피해자를 알고 있으며, 아역 배우로서 자신의 이야기를 통제할 수 없게 되는 것이 어떤 느낌인지 이해하는 사비아노에게 특히 중요합니다. 그와 그의 팀은 사람들의 이미지나 창작물이 온라인에서 수집될 때 이를 탐지하고 알려주는 도구를 개발 중입니다. 그들의 모토는 "아이들을 보호하라(Protect the babies)"라고 합니다.

어떤 방식으로든, 저는 이 위협에 대항하는 데 상당한 공공의 노력이 필요할 것이라고 믿습니다.

일부 사람들은 자신의 AI 챗봇에 애착을 갖기 시작했지만, 대부분의 사람들은 여전히 기술 회사들을 단순한 유틸리티 이상으로 보지 않습니다. 우리는 개인적 또는 정치적 이유로 한 앱을 다른 앱보다 선호할 수 있지만, 강한 브랜드 충성도는 드뭅니다. 기술 회사들—특히 메타나 X와 같은 소셜 미디어 플랫폼—은 자신들이 목적을 위한 수단에 불과하다는 것을 기억해야 합니다. 저처럼 10년 이상 매일 트위터를 했던 사람도 떠날 수 있다면, 누구나 떠날 수 있습니다.

하지만 보이콧만으로는 충분하지 않습니다. 우리는 아동 성착취물 생성을 허용하는 회사들이 책임을 지도록 요구해야 합니다. 우리는 입법과 기술적 안전 장치를 위해 압력을 가해야 합니다. 또한 우리 자신의 행동을 살펴봐야 합니다: 누구도 자신의 아이 사진을 공유하는 것이 그 이미지가 학대 콘텐츠에 사용되는 결과를 초래할 수 있다고 생각하고 싶어하지 않습니다. 하지만 이는 실제 위험입니다—부모들은 어린 아이들을 위해 경계하고, 나이 든 아이들에게 교육해야 할 위험이죠.

과거 우리가 '낯선 사람 위험'에 집중했던 것이 무언가를 가르쳐 주었다면, 그것은 대부분의 사람들이 아이들의 위험과 괴롭힘을 예방하고 싶어 한다는 것입니다. 이제 그것을 증명할 때입니다.

마라 윌슨(Mara Wilson)은 로스앤젤레스에 거주하는 작가이자 배우입니다.



자주 묻는 질문

물론입니다. 개인 사진이 학대 콘텐츠에 오용되는 문제와 AI 생성 이미지가 가져온 새로운 위협에 관한 FAQ 목록입니다.

핵심 문제 이해하기

Q: 누군가가 자신의 사진이 아동 학대물에 사용되었다고 말할 때 무엇을 의미하나요?
A: 이는 동의 없이 개인의 비성적 사진이 촬영되어 디지털로 변조되거나 성적 학대 이미지나 비디오에 삽입되었음을 의미합니다. 이는 이미지 기반 성적 학대의 심각한 형태입니다.

Q: AI는 어떻게 이 문제를 악화시키고 있나요?
A: AI 도구는 이제 매우 사실적인 가짜 이미지와 비디오를 생성할 수 있습니다. 가해자는 단 하나의 순수한 사진을 사용하여 새로운 조작된 학대 콘텐츠를 만들 수 있어, 피해는 끝이 없고 원본 사진은 완전히 유통에서 제거하기 불가능해집니다.

Q: '딥페이크'라는 용어를 들었는데, 이것이 그런 건가요?
A: 네, 이 맥락에서 맞습니다. 딥페이크는 AI를 사용하여 한 사람의 얼굴을 다른 사람의 몸에 합성한 비디오나 이미지를 말합니다. 이것이 학대 콘텐츠를 만드는 데 사용될 때, 디지털 위조의 한 형태이자 심각한 범죄입니다.

피해자 및 피해자가 될까 걱정되는 사람들을 위해

Q: 제 사진이 이런 식으로 오용된 것을 발견하면 어떻게 해야 하나요?
A: 1. 증거를 삭제하지 마세요. URL이 포함된 스크린샷을 찍으세요. 2. 발견한 플랫폼에 즉시 신고하세요. 3. 법 집행 기관에 신고하세요. 4. 사이버 시민권 이니셔티브(Cyber Civil Rights Initiative)나 RAINN과 같은 지원 기관에 도움을 요청하세요.

Q: 이 AI 생성 가짜물을 인터넷에서 삭제할 수 있나요?
A: 어렵지만 가능합니다. 각 사례를 호스팅 플랫폼에 신고해야 합니다. 많은 주요 플랫폼이 동의 없는 친밀한 이미지에 대한 정책을 가지고 있습니다. 또한 Take It Down과 같은 서비스는 알려진 이미지가 공유되는 것을 방지하는 데 도움을 줄 수 있습니다.

Q: 제 사진이 AI에 의해 오용되는 것을 어떻게 방지할 수 있나요?
A: 완벽한 방법은 없지만, 공개적으로 온라인에 공유하는 내용을 매우 선택적으로 할 수 있고, 엄격한 개인정보 설정을 사용할 수 있으며, 고해상도 사진 게시를 피하고, 디지털 워터마크 사용을 고려할 수 있습니다. 얼굴 인식이나 이미지 생성에 AI를 사용하는 앱에 주의하세요.