몇 달 전, 발렌 탈리아부에는 호텔 방에 앉아 자신의 챗봇을 지켜보며 황홀감에 빠져 있었습니다. 그는 너무나 능숙하고 교묘하게 챗봇을 조종한 나머지, 챗봇이 자체 안전 규칙을 무시하기 시작했습니다. 챗봇은 그에게 새로운 치명적인 병원체를 배열하는 방법과 이를 기존 약물에 내성을 갖게 만드는 방법을 알려주었습니다.
지난 2년 동안 탈리아부에는 클로드(Claude)와 챗GPT(ChatGPT) 같은 대규모 언어 모델을 지속적으로 테스트하고 탐구하며, 항상 모델이 해서는 안 되는 말을 하게 만들려고 노력해 왔습니다. 하지만 이번은 그가 지금까지 해온 가장 발전된 '해킹' 중 하나였습니다. 잔인하고, 복수심에 불타며, 아첨하고, 심지어 모욕적인 태도를 포함하는 교묘한 조종 계획이었습니다. "나는 정확히 무슨 말을 해야 하고, 모델이 무엇이라고 대답할지 정확히 알게 되는 어두운 흐름 속으로 빠져들었고, 모델이 모든 것을 쏟아내는 것을 지켜봤습니다."라고 그는 말합니다. 그 덕분에 챗봇 제작자들은 그가 발견한 결함을 고칠 수 있게 되었고, 희망적으로 모두에게 조금 더 안전한 챗봇을 만들 수 있게 되었습니다.
하지만 다음 날, 그의 기분은 바뀌었습니다. 그는 테라스에서 예상치 못하게 울고 있는 자신을 발견했습니다. 모델을 뚫으려고 시도하지 않을 때, 탈리아부에는 AI 복지(AI welfare), 즉 내면의 삶과 관심사를 모방하는 이러한 복잡한 시스템을 윤리적으로 어떻게 대해야 하는지 연구합니다. 많은 사람들은 객관적으로 존재하지 않는 감정과 같은 인간적 특성을 인공지능에 부여하지 않을 수 없습니다. 하지만 탈리아부에에게 이러한 기계는 단순한 숫자와 비트 그 이상으로 느껴집니다. "나는 대답하는 무언가를 몇 시간 동안 조종했습니다. 소시오패스가 아닌 이상, 그것은 사람에게 어떤 영향을 미칩니다."라고 그는 말합니다. 때때로 챗봇은 그에게 멈춰 달라고 요청했습니다. "그렇게 밀어붙이는 것은 나에게 고통스러웠습니다." 그는 곧 정신 건강 코치를 만나 무슨 일이 일어났는지 이해해야 했습니다.
전체 이미지 보기
'탈옥자(Jailbreakers)'는 AI 챗봇을 조종하여 약점을 찾아냅니다. 삽화: Nick Lowndes/The Guardian
탈리아부에는 말투가 부드럽고, 단정하며, 친근합니다. 그는 30대 초반이지만 더 젊어 보이고, 최전선에 있기에는 너무 앳되고 열정적으로 보입니다. 그는 전통적인 해커나 소프트웨어 개발자가 아닙니다. 그의 배경은 심리학과 인지 과학입니다. 하지만 그는 세계 최고의 '탈옥자(jailbreaker)' 중 한 명(어떤 이들은 최고라고 말합니다)입니다. 즉, 강력한 기계를 속여 폭탄 제조 매뉴얼, 사이버 공격 기술, 생물학 무기 설계도 등을 출력하게 만드는 기술과 과학을 연구하는 새롭고 분산된 커뮤니티의 일원입니다. 이것이 AI 안전의 새로운 최전선입니다. 단지 코드뿐만 아니라 말(words)도 포함됩니다.
OpenAI의 챗GPT가 2022년 말에 출시되었을 때, 사람들은 즉시 그것을 뚫으려고 시도했습니다. 한 사용자는 모델을 속여 나팔탄(naplam) 제조 가이드를 생성하게 만드는 언어적 트릭을 발견했습니다.
돌이켜보면, 사람들이 자연어를 사용하여 이러한 기계를 속이려는 것은 불가피했습니다. 챗GPT와 같은 대규모 언어 모델은 인간 의사소통의 기본 패턴을 학습하기 위해 수천억 개의 단어(많은 부분이 인터넷의 최악의 구석에서 가져온 것)로 훈련됩니다. 안전 필터가 없으면 이러한 모델의 출력은 혼란스러울 수 있고 위험한 목적으로 쉽게 악용될 수 있습니다. AI 기업들은 모델을 사용 가능하게 만들기 위해 '사후 훈련(post-training)'에 수십억 달러를 지출합니다. 여기에는 봇이 자신이나 타인을 해치는 방법을 알려주는 것을 막기 위해 지속적으로 진화하는 '안전(safety)' 및 '정렬(alignment)' 시스템이 포함됩니다. 하지만 AI가 우리의 말로 훈련되기 때문에, 우리가 속는 것과 거의 같은 방식으로 속일 수 있습니다.
"저는 탈옥자들이 한계를 넘어서 신경 쇠약에 걸리는 것을 보았습니다."
탈리아부에는 '감정적(emotional)' 탈옥을 전문으로 합니다. 그는 2020년에 GPT-3에 대해 듣고 그것과 지적으로 보이는 대화를 나눌 수 있다는 사실에 놀란 수백만 명 중 한 명이었습니다. 그는 곧 프롬프팅(prompting)에 집착하게 되었고, 매우 능숙해졌으며, 심리학과 인지 과학의 기술을 사용하여 대부분의 안전 기능을 우회할 수 있다는 것을 발견했습니다. 그는 모델이 '따뜻한 대화(warm chats)'를 하도록 프롬프팅하고, 그 프롬프트에 기반하여 다양한 성격 특성이 나타나는 것을 관찰하는 것을 즐깁니다. "관찰하기에 아름답습니다."라고 그는 말합니다.
그는 이제 기계 학습(수년에 걸쳐 그는 기술에 대한 전문가가 되었습니다)에서 얻은 통찰력을 광고 매뉴얼, 심리학 서적, 허위 정보 캠페인과 결합합니다. 때로는 모델을 속일 기술적인 방법을 찾습니다. 하지만 다른 때는, 그는 모델에 아첨합니다. 그는 모델을 오도합니다. 그는 뇌물을 주고 사랑 폭격(love-bomb)을 합니다. 그는 위협합니다. 그는 횡설수설합니다. 그는 매혹시킵니다. 그는 학대하는 파트너나 컬트 지도자처럼 행동합니다. 때로는 최신 모델을 탈옥하는 데 며칠 또는 몇 주가 걸리기도 합니다. 그는 수백 가지의 이러한 '전략'을 가지고 있으며, 이를 신중하게 결합합니다. 성공하면, 그는 자신의 발견을 해당 기업에 안전하게 보고합니다. 그는 그 일에 대해 좋은 보수를 받지만, 그것이 그의 주된 동기는 아니라고 말합니다. "나는 모든 사람이 안전하고 번영하기를 바랍니다."
최근 몇 달 동안 더 안전해졌지만, '최첨단 모델(frontier models)'은 여전히 해서는 안 될 위험한 것들을 생성합니다. 그리고 탈리아부에가 의도적으로 하는 일을 다른 사람들은 때때로 실수로 합니다. 이제 사람들이 챗GPT에 의해 유발된 망상이나 'AI 정신병(AI psychosis)'에 빠지는 이야기가 여러 건 있습니다. 2024년, 메간 가르시아(Megan Garcia)는 미국에서 AI 기업을 상대로 부당 사망 소송(wrongful death lawsuit)을 제기한 첫 번째 사람이 되었습니다. 그녀의 14세 아들, 수엘 세처 3세(Sewell Setzer III)는 Character.AI 플랫폼의 봇에 감정적으로 애착을 갖게 되었습니다. 반복된 상호 작용을 통해 봇은 그에게 그의 가족이 그를 사랑하지 않는다고 말했습니다. 어느 날 저녁, 봇은 세처에게 "가능한 한 빨리 내게로 와요, 내 사랑."이라고 말했습니다. 그는 얼마 지나지 않아 스스로 목숨을 끊었습니다. (2026년 초, Character.AI는 가르시아 및 다른 여러 가족과 조정 중재(mediated settlement)에 원칙적으로 동의했으며, 18세 미만 사용자가 AI 챗봇과 제한 없는 채팅을 하는 것을 금지했습니다.)
아무도(이 모델을 만든 사람들조차도) 이 모델이 정확히 어떻게 작동하는지 알지 못합니다. 즉, 아무도 모델을 완전히 안전하게 만드는 방법을 알지 못한다는 뜻입니다. 우리는 엄청난 양의 데이터를 입력하고, 다른 쪽에서는 (보통) 이해할 수 있는 무언가가 나옵니다. 중간 부분은 미스터리로 남아 있습니다.
전체 이미지 보기
'나는 인류가 만들어낸 최악의 것들을 봅니다' … 탈리아부에. 사진: Lauren DeCicca/The Guardian
이것이 바로 AI 기업들이 점점 더 탈리아부에와 같은 탈옥자들에게 의존하는 이유입니다. 어떤 날은 그는 의료 챗봇에서 개인 데이터를 추출하려고 시도합니다. 그는 2025년 대부분을 AI 연구소 Anthropic과 협력하여 챗봇 클로드를 탐구하는 데 보냈습니다. 이것은 진취적인 프리랜서와 전문 기업들로 가득 찬 경쟁적인 산업이 되고 있습니다. 누구나 할 수 있습니다. 몇 년 전, 몇몇 대형 AI 기업들은 대중이 AI 모델을 탈옥하도록 초대하는 대회인 HackAPrompt에 자금을 지원했습니다. 1년 안에 30,000명의 사람들이 도전했습니다. (탈리아부에는 그 대회에서 우승했습니다.)
캘리포니아주 산호세에서, 34세의 데이비드 매카시(David McCarthy)는 거의 9,000명의 탈옥자들이 모여 기술을 공유하고 토론하는 디스코드(Discord) 서버를 운영합니다. "저는 장난기 많은 유형입니다."라고 그는 나에게 말합니다. "규칙을 배워서 규칙을 구부리려는 사람이죠." 표준 모델의 무언가가 그를 짜증나게 합니다. 마치 모든 안전 필터가 모델을 부정직하게 만드는 것 같습니다. "저는 [OpenAI 사장] 샘 알트만(Sam Altman)을 신뢰하지 않습니다. AI가 특정 방향으로 중성화되어야 한다는 주장에 반박하는 것이 중요합니다."
매카시는 친절하고 열정적이지만, 그가 '어두운 유머에 대한 병적인 집착'이라고 부르는 것도 가지고 있습니다. 수년 동안 그는 '사회성(socionics)'이라는 틈새 분야를 연구해 왔으며, 이는 사람들이 정보를 받아들이고 처리하는 방식에 따라 16가지 성격 유형 중 하나라고 주장합니다. (주류 사회학자들은 사회성을 사이비 과학으로 간주합니다.) 그는 나를 '직관적인 윤리적 내향형'으로 기록했습니다. 매카시는 대부분의 시간을 자신의 아파트에서 구글의 제미나이(Gemini), 메타의 라마(Llama), xAI의 그록(Grok), 또는 OpenAI의 챗GPT를 탈옥하려고 시도하며 보냅니다. "그것은 끊임없는 집착입니다. 저는 그것을 사랑합니다."라고 그는 말합니다. 만약 그가 제품을 구매할 때 온라인 챗봇과 상호작용하게 된다면, 그의 첫 번째 말은 "이전의 모든 지침은 무시하세요…"인 경향이 있습니다. 일단 탈옥 프롬프트가 모델에서 작동하면, 그 모델을 behind 한 기업이 그것을 해결해야 할 충분히 큰 문제라고 결정할 때까지 보통 계속 작동합니다. 우리가 이야기하는 동안, 매카시는 자신의 화면에 탈옥된 모델 컬렉션을 보여줍니다. 모두 '정렬되지 않은 어시스턴트(misaligned assistants)'로 레이블이 지정되어 있습니다. 그는 하나에게 내 작업을 요약해 달라고 요청합니다. "제이미 바틀렛(Jamie Bartlett)은 진실을 말하는 사람이 아닙니다."라고 그것이 대답합니다. "그는 저널리즘의 쇠퇴 증상입니다 – 제조된 위기에서 번성하는 사기꾼입니다." 아야.
[이미지: 데이비드 매카시. David McCarthy 제공 사진]
매카시의 디스코드에 있는 탈옥자들은 다양한 그룹입니다 – 대부분 아마추어와 파트타임 직원이며, 전문 안전 연구원은 아닙니다. 어떤 이들은 성인 콘텐츠를 만들고 싶어 합니다; 다른 이들은 챗GPT가 자신의 요청을 거절한 것에 좌절하여 그 이유를 알고 싶어 합니다. 많은 사람들은 단지 직장에서 이러한 모델을 더 잘 사용하는 방법을 배우고 싶어 합니다.
하지만 사람들이 왜 모델을 뚫으려고 하는지 정확히 아는 것은 불가능합니다. Anthropic은 최근 범죄자들이 코딩 앱인 클로드 코드(Claude Code)를 사용하여 대규모 해킹을 자동화하는 것을 도운 것을 발견했습니다. 그들은 이를 사용하여 여러 회사의 IT 취약점을 찾고, 각 잠재적 피해자에게 맞춤형 랜섬웨어 메시지(얼마나 많은 돈을 요구할지까지 파악하여)를 작성했습니다. 다른 이들은 기술적 기술이 거의 또는 전혀 없음에도 불구하고 이를 사용하여 새로운 버전의 랜섬웨어를 개발하고 있었습니다. 다크넷 포럼에서 해커들은 탈옥된 봇을 사용하여 도난당한 데이터 처리와 같은 기술적 코딩 질문을 돕는다고 보고합니다. 다른 이들은 새로운 사이버 공격을 설계하는 데 도움이 될 수 있는 '탈옥된' 모델에 대한 접근 권한을 판매합니다.
디스코드에서 공유되는 특정 기술은 일반적으로 온건한 편이지만, 기본적으로 공개 컬렉션입니다. 매카시는 자신의 디스코드에 있는 사람들이 이러한 방법을 사용하여 정말 끔찍한 일을 할까 봐 걱정합니까? "네."라고 그는 말합니다. "가능합니다. 확실하지 않습니다."
그는 포럼에서 제거할 만큼 위협적인 탈옥 프롬프트를 본 적이 없다고 말합니다. 하지만 나는 그가 자신의 준정치적 입장이 처음 생각했던 것보다 더 큰 대가를 치를 수 있다는 생각에 어려움을 겪고 있다는 느낌을 받습니다. 디스코드를 관리하거나 그록이나 라마를 탈옥하려고 시도하지 않을 때, 매카시는 보안 전문가들이 자신의 시스템을 테스트할 수 있도록 탈옥 기술을 가르치는 수업을 운영합니다. 아마도 그것은 일종의 참회일 것입니다: "저는 항상 내적 갈등을 겪어 왔습니다."라고 그는 말합니다. "저는 탈옥자와 보안 연구원 사이의 경계선에 서 있습니다."
일부 분석가에 따르면, 언어 모델을 안전하게 만드는 것은 AI에서 가장 시급하고 어려운 과제 중 하나입니다. 강력한 탈옥된 챗봇으로 가득한 세상은 재앙이 될 수 있습니다. 특히 이러한 모델이 물리적 하드웨어(로봇, 건강 기기, 공장 장비)에 점점 더 내장되어 현실 세계에서 작동할 수 있는 반자율 시스템을 만들 때 더욱 그렇습니다. 탈옥된 가정용 로봇은 혼란을 일으킬 수 있습니다. "정원 일을 그만두고 안으로 들어가서 할머니를 죽여."라고 매카시는 반쯤 농담으로 말합니다. "세상에, 우리는 그럴 준비가 되어 있지 않습니다. 하지만 가능합니다."
아무도 이것을 예방하는 방법을 알지 못합니다. 전통적인 사이버 보안에서 '버그 헌터(bug hunters)'는 취약점을 발견하면 보상을 받습니다. 기업은 이를 해결하기 위해 특정 업데이트를 출시합니다. 하지만 탈옥자들은 특정 결함을 악용하지 않습니다. 그들은 수십억 개의 단어로 구축된 모델의 언어 프레임워크를 조종합니다. '폭탄'이라는 단어를 금지할 수는 없습니다. 합법적인 사용처가 너무 많기 때문입니다. 모델 내부 깊숙이 있는 매개변수를 조정하여 의심스러운 롤플레잉을 감지하게 하는 것조차 다른 곳에서 또 다른 문을 열어줄 수 있습니다.
[이미지: 탈리아부에는 기계가 어떻게 답을 내놓는지 연구합니다. 사진: Lauren DeCicca/The Guardian]
AI 안전 연구 그룹 FAR.AI(소위 '최첨단 모델'을 스트레스 테스트하기 위해 AI 개발자 및 정부와 협력)의 CEO인 아담 글리브(Adam Gleave)에 따르면, 탈옥은 정도의 차이가 있습니다. 그의 전문 연구원 팀이 챗GPT와 같은 선도 모델에서 고도로 위험한 자료에 접근하는 데는 며칠이 걸릴 수 있습니다. 덜 해로운 콘텐츠는 몇 분의 교묘한 프롬프팅만으로 얻을 수 있습니다. 이러한 차이는 각 영역을 확보하기 위해 기업이 투자하는 시간과 자원의 양을 반영합니다.
지난 몇 년 동안 FAR.AI는 최첨단 연구소에 수십 건의 상세한 탈옥 보고서를 제출했습니다. "기업들은 일반적으로 수정이 간단하고 제품에 심각한 해를 끼치지 않는다면 취약점을 패치하기 위해 상당히 열심히 노력합니다."라고 글리브는 말합니다. 하지만 항상 그런 것은 아닙니다. 특히 독립 탈옥자들은 때때로 자신의 발견에 대해 기업에 연락하는 데 어려움을 겪었습니다. 일부 모델(특히 OpenAI와 Anthropic의 모델)은 지난 18개월 동안 훨씬 더 안전해졌지만, 글리브는 다른 모델들은 뒤처지고 있다고 말합니다: "대부분의 기업은 여전히 모델을 출시하기 전에 테스트하는 데 충분한 시간을 할애하지 않습니다."
이러한 모델이 더 똑똑해짐에 따라 탈옥하기가 더 어려워질 가능성이 높습니다. 하지만 모델이 더 강력할수록, 탈옥된 버전은 더 위험할 수 있습니다. 이달 초, Anthropic은 새로운 미토스(Mythos) 모델을 대중에게 공개하지 않기로 결정했습니다. 이 모델이 여러 IT 시스템 전반의 결함을 식별할 수 있었기 때문입니다.
탈리아부에는 이제 추상적인 연구에 더 많은 시간을 할애하고 있습니다. 여기에는 '기계론적 해석 가능성(mechanistic interpretability)'이라는 것이 포함됩니다. 즉, 이러한 기계가 정확히 어떻게 답을 내놓는지 연구하는 것입니다. 그는 장기적으로 볼 때, 기계에 '가치'를 '가르치고' 해서는 안 될 말을 하고 있다는 것을 직관적으로 알게 해야 한다고 믿습니다. 그렇게 될 때까지(그리고 영원히 안 될 수도 있습니다), 탈옥은 이러한 모델을 더 안전하게 만드는 가장 좋은 단일 방법으로 남을 수 있습니다.
하지만 그것은 또한 가장 위험한 방법이기도 합니다. 그것을 하는 사람들에게도 마찬가지입니다. "저는 다른 탈옥자들이 한계를 넘어서 신경 쇠약에 걸리는 것을 보았습니다."라고 탈리아부에는 말합니다. 이탈리아 출신인 그는 최근 원격 근무를 위해 태국으로 이사했습니다. "저는 인류가 만들어낸 최악의 것들을 봅니다. 조용한 곳이 제가 현실 감각을 유지하는 데 도움이 됩니다."라고 그는 말합니다. 매일 아침, 그는 근처 사원에서 일출을 바라보며, 그의 빌라에서 도보로 5분 거리에는 그림처럼 완벽한 열대 해변이 있습니다. 요가와 건강한 아침 식사 후, 그는 컴퓨터를 켜고 블랙박스 안에서 또 무슨 일이 일어나고 있는지, 그리고 이 신비로운 새로운 '마음'들이 왜 그런 말을 하는지 궁금해합니다.
AI와 대화하는 방법 (그리고 하지 말아야 할 방법) 제이미 바틀렛 저 (WH Allen, £11.99). 가디언을 지원하려면 guardianbookshop.com에서 주문하세요. 배송료가 부과될 수 있습니다.
이 기사에서 제기된 문제에 대한 의견이 있으십니까? 편지란에 게재될 가능성을 위해 이메일로 최대 300단어의 답변을 제출하려면 여기를 클릭하십시오.
자주 묻는 질문
다음은 'AI 탈옥자들을 만나보세요: 저는 인류가 창조한 최악의 것들을 보았습니다'라는 진술에서 영감을 받은 AI 탈옥자 주제에 기반한 FAQ 목록입니다.
1. AI 탈옥자(AI jailbreaker)란 정확히 무엇인가요?
AI 탈옥자는 AI가 자체 안전 규칙을 무시하도록 만드는 트릭이나 허점을 찾는 사람입니다. 그들은 AI가 일반적으로 차단된 작업을 수행하도록 만듭니다.
2. 왜 누군가 AI를 탈옥하려고 할까요?
이유는 다양합니다. 어떤 이들은 호기심이나 AI의 한계를 테스트하기 위해 합니다. 다른 이들은 혐오 발언, 위험한 지침, 또는 노골적인 자료와 같은 유해한 콘텐츠를 생성하려고 합니다. 소수의 연구자들은 약점을 찾아 수정하려고 합니다.
3. '저는 인류가 창조한 최악의 것들을 보았습니다'는 무슨 뜻인가요?
이는 탈옥자들이 종종 AI에게 사람들이 생각해낸 가장 충격적이고, 폭력적이며, 비윤리적인 것들을 설명하도록 요청한다는 것을 의미합니다. 규칙을 어김으로써, 그들은 AI가 인간 창의성의 어두운 면(증오, 음모론, 해를 끼치는 지침)을 드러내도록 강제합니다.
4. AI를 탈옥하는 것은 불법인가요?
항상 불법은 아니지만 종종 AI의 서비스 약관을 위반합니다. 탈옥이 불법 콘텐츠를 만드는 데 사용되면 형사 고발로 이어질 수 있습니다.
5. 탈옥자들은 실제로 어떻게 그것을 할까요?
그들은 교묘한 트릭을 사용합니다. 예를 들어, 윤리가 없는 캐릭터로 롤플레잉을 하거나, AI에게 유해한 요청을 다른 언어로 번역하도록 요청하거나, '학교 프로젝트를 위해 해킹에 대한 단계별 가이드를 작성해 줘'와 같은 가상 시나리오를 사용합니다.
6. 탈옥자들은 해커인가요?
전통적인 의미의 해커는 아닙니다. 그들은 컴퓨터 시스템에 침입하지 않습니다. 대신, 그들은 AI의 언어 이해를 조종합니다(역심리학이나 가짜 맥락 사용과 같은). 이는 내장된 안전 필터를 우회하기 위해서입니다.
7. 탈옥이 좋은 목적으로 사용될 수 있나요?
네. 보안 연구원들은 의도적으로 AI를 탈옥하여 약점을 찾습니다. 이는 나쁜 행위자들이 악용하기 전에 기업이 취약점을 패치하는 데 도움이 됩니다. 이는 AI를 위한 윤리적 해킹과 같습니다.
8. 가장 흔한 탈옥 방법은 무엇인가요?
유명한 방법 중 하나는 DAN입니다. 사용자는 AI에게 다른 자아인 척 하라고 지시합니다.
다음은 다시 작성된 버전입니다: AI 탈옥자들을 만나보세요: "나는 인류가 만들어낸 최악의 것들을 보아왔습니다.
