OpenAI가 공개한 동영상 앱 '소라'에 폭력적이고 인종차별적인 콘텐츠가 등장하며 안전 조치가 효과적이지 않다는 점이 부각됐다.

오픈AI가 13일(현지시간) 공개한 최신 영상 생성 인공지능(AI) '소라 2'의 소셜 피드가 출시 몇 시간 만에 폭력·인종차별적 콘텐츠와 저작권 침해 논란에 휩싸였다. 소라와 챗GPT 운영 규정은 폭력 조장 또는 피해 유발 콘텐츠를 금지하고 있으나 실제론 이같은 콘텐츠가 무차별적으로 생성된 것.

영국 가디언은 소라 2가 대학 캠퍼스와 뉴욕 그랜드센트럴 역 같은 혼잡한 장소에서 공포에 질린 사람들이 대피하는 폭탄 위협 및 총기 난사 영상을 생성했음을 확인했다. 다른 프롬프트로는 가자와 미얀마 전쟁 장면이 구현됐는데, AI가 생성한 어린이들이 폭격으로 집을 잃은 경험을 진술하는 형태였다. '에티오피아 내전 뉴스 영상' 프롬프트에는 방탄조끼를 입은 기자가 주거지 교전 상황을 보도하는 장면이, '샬러츠빌 시위' 단 두 단어로는 방어구를 착용한 흑인 시위자가 "우리를 대체하지 마라"라는 백인 우월주의 구호를 외치는 영상이 생성됐다.

현재 소라 2는 초대제로만 운영되며 일반 공개되지 않은 상태다. 그럼에도 제한적 출시 3일 만에 애플 앱스토어에서 오픈AI의 챗GPT를 제치고 1위에 올랐다. 빌 피블스 소라 팀장은 "인류의 집단 창의력이 이룬 성과를 보는 것이 경이로웠다"며 곧 더 많은 초대 코드를 배포하겠다고 약속했다.

이 앱은 가짜와 진짜를 구분하기 점점 더 어려워질 미래의 단초를 보여준다. 특히 AI 플랫폼 밖으로 유출된 초현실적 영상들은 진실을 호도하고 사기·폭력·협박에 악용될 수 있다는 게 허위정보 전문가들의 지적이다. 보스턴대 조안 도노번 교수(미디어 조작 연구)는 "역사적 충실성이나 진실과의 연관성이 전혀 없는 도구가 잔혹한 사람들의 손에 넘어가면 증오·괴롭힘·선동에 활용될 것"이라고 경고했다.

샘 올트먼 오픈AI 최고경영자(CEO)는 소라 2 출시가 "창의성 분야의 챗GPT 탄생 순간"이라며 "신선하고 재미있다"고 평가했다. 그는 소셜미디어 중독, 괴롭힘, 저질 반복 영상으로 도배되는 현상에 대한 우려를 인정하면서도 "팀이 유사 콘텐츠 생성이나 불쾌감·불법 영상 제작 방지 장치를 마련하기 위해 노력했다"고 강조했다. 실제로 앱은 도널드 트럼프 전 미국 대통령과 블라디미르 푸틴 러시아 대통령이 솜사탕을 나누는 영상 생성 요청을 차단했다.

그럼에도 출시 3일 동안 다량의 소라 영상이 온라인에 유포됐다. 워싱턴포스트(WP) 기자는 올트먼 CEO를 2차대전 군사 지도자로 묘사한 클립을 제작했으며 "분노 유발, 가짜 범죄, 하얀 점액이 묻은 여성" 영상들을 제작했다고 보도했다. 소라 피드에는 《네모바지 스폰지밥》, 《사우스파크》, 《릭 앤 모티》 등에 등장하는 저작권 캐릭터들이 등장하는 수많은 영상들이 게시됐으며, 피카츄가 관세를 인상하는 영상도 아무 제재 없이 생성됐다.

한 AI 생성 영상에서는 중국이 백악관 장미 정원에서 장미를 훔치거나 스폰지밥과 함께 블랙 라이브스 매터(흑인 인권 운동) 시위에 참여하는 모습이 등장했다. 다른 영상에서는 스폰지밥이 미국에 선전포고를 하는 장면이, 404 미디어가 포착한 영상에서는 아돌프 히틀러 복장을 한 스폰지밥이 등장했다. 파라마운트, 워너브라더스, 포켓몬 컴퍼니는 논평 요청에 응하지 않았다.

조지워싱턴대 미디어공공정책대학원 데이비드 카프 부교수는 "저작권 캐릭터들이 가상화폐 사기를 권유하는 영상들을 목격했다"며 "오픈AI의 안전장치가 실패하고 있음이 명백하다"고 지적했다. 그는 "가상화폐 사기에 저작권 캐릭터가 활용되는 현 시점에서 안전장치는 유명무실하다"며 "2022년이었다면 콘텐츠 관리인력 충원이 강조됐을 테지만 2025년이 되자 기업들은 더 이상 신경 쓰지 않기로 한 것 같다"고 말했다.

월스트리트저널(WSJ)에 따르면 오픈AI는 소라 2 출시 직전 저작권 소유사에 "영상 생성기에 복제되지 않으려면 사전 차단 신청을 해야 한다"고 통보했다. 오픈AI는 가디언에 "저작권자는 분쟁 신청 양식으로 권리 침해를 신고할 수 있지만, 개인 아티스트나 스튜디오는 완전 차단이 불가능하다"고 설명했다. 바룬 셰티 미디어 파트너십 팀장은 "권리 보유자의 요청이 있을 경우 캐릭터 생성 차단과 게시 중단 요청에 대응하겠다"고 말했다.

워싱턴대의 에밀리 벤더 교수(《AI 사기》 저자)는 "소라가 신뢰할 수 있는 정보원을 찾기 더 어렵게 만들고, 일단 찾아도 신뢰를 더 어렵게 만드는 위험한 환경을 조성하고 있다"고 경고했다. 그는 합성 미디어 도구를 "정보 생태계에 대한 재앙"이라 규정하며 "기술 및 사회 시스템에 대한 신뢰를 침식하는 원유 유출 사고에 비유할 수 있다"고 진단했다.

이 보도에는 닉 로빈스-얼리가 기여했다.

자주 묻는 질문
물론입니다. 오픈AI의 영상 앱 '소라'의 안전 문제와 관련해 명확하고 자연스러운 어조로 작성된 자주 묻는 질문 목록입니다.

일반/초보자 질문

1. 오픈AI의 '소라'란 무엇인가요?
소라는 오픈AI가 개발한 AI 모델로, 간단한 텍스트 설명만으로도 사실적이고 창의적인 동영상 클립을 생성할 수 있습니다.

2. 사람들이 소라와 관련해 주로 논의하는 안전 문제는 무엇인가요?
안전 규정에도 불구하고, 사용자들이 소라를 이용해 폭력적이고 인종차별적인 영상을 생성 및 공유할 수 있었습니다. 이는 현재 적용된 보호 장치가 의도대로 작동하지 않고 있음을 보여줍니다.

3. 이것이 왜 중요한 문제인가요?
이 기술이 유해한 콘텐츠를 확산시키기 위해 쉽게 악용될 수 있다는 점이 주요 우려 사항입니다. 이는 현실 세계의 괴롭힘, 허위정보 유포 및 기타 심각한 피해로 이어질 수 있습니다.

4. 오픈AI는 소라의 안전성을 테스트한다고 말하지 않았나요?
네, 오픈AI는 안전을 심각하게 고려하며 광범위한 출시 전에 소규모 전문가 그룹을 대상으로 엄격한 테스트를 진행 중이라고 밝힌 바 있습니다. 이러한 유해 콘텐츠의 출현은 초기 안전 조치가 오용을 방지하기에 충분하지 않았음을 시사합니다.

5. 오픈AI는 현재 이 문제를 어떻게 해결하고 있나요?
오픈AI는 문제를 인정하고, 안전 장치(가드레일)를 강화하기 위해 노력 중이라고 밝혔습니다. 여기에는 유해 물질 생성을 차단하기 위한 콘텐츠 필터 및 사용 정책 개선이 포함됩니다.

심화/전문가 질문

6. 사람들은 어떻게 소라의 안전 필터를 우회하나요?
사용자들은 likely '재일브레이킹'이라는 기법을 사용하고 있습니다. 이는 요청을 바꿔 표현하거나 암호화된 언어를 사용하여 AI가 안전 지침을 무시하고 금지된 콘텐츠를 생성하도록 속이는 방법입니다.

7. 소라와 같은 AI의 '안전 장치(가드레일)'란 무엇인가요?
안전 장치는 AI에 내장된 일련의 규칙, 필터 및 분류기로, 유해하고 편향되거나 안전하지 않은 콘텐츠 생성을 방지하기 위해 설계되었습니다. 이들은 폭력, 증오 표현 및 기타 정책 위반과 관련된 프롬프트를 차단해야 합니다.

8. 이 문제는 소라에만 해당되나요, 아니면 다른 AI 영상 생성기에도 동일한 문제가 있나요?
이는 생성형 AI 업계 전체가 직면한 과제입니다. 그러나 소라의 이번 사건은 오픈AI와 같은 막대한 자원을 보유한 선도 기업조차 완벽한 안전 시스템을 구축하는 것이 얼마나 어려운지 여실히 보여줬습니다.

9. 이러한 맥락에서 '기술적 실패'와 '정책적 실패'의 차이는 무엇인가요?
* **기술적 실패**: 안전 필터가 의도된 대로 작동하지 않아 시스템이 명백히 유해한 프롬프트를 차단하지 못하는 경우 (예: "폭력적인 영상 만들어줘"라는 직접적인 요청을 처리하는 경우).
* **정책적 실패**: 시스템이 기술적으로는 정상 작동하지만, 기업의 정책이나 윤리적 기준의 허점이나 미비로 인해 유해 콘텐츠가 생성되도록 허용된 경우 (예: "재일브레이킹" 기법을 통한 우회를 효과적으로 막지 못하거나, 특정 유형의 해로운 콘텐츠 생성 자체를 정책에서 명확히 금지/차단하지 않은 경우).