2024년 말, 데니스 비에스마는 ChatGPT를 사용해보기로 결심했다. 암스테르담 출신의 IT 컨설턴트인 그는 계약을 일찍 마친 참이었다. "시간이 좀 남아서, 모두가 이야기하는 이 신기술을 한번 체험해보자고 생각했죠."라고 그는 말한다. "아주 빠르게 저는 매료되었습니다."
비에스마는 왜 자신이 이후 일어난 일에 그렇게 취약했는지 궁금해했다. 그는 50세를 바라보는 나이였다. 성인 딸은 집을 나갔고, 아내는 일을 했으며, 그의 업계에서는 코로나 이후 원격 근무로의 전환으로 인해 약간의 고립감을 느끼고 있었다. 그는 저녁에 때때로 대마초를 피우며 휴식을 취했지만, 수년 동안 아무 문제 없이 해왔다. 정신 질환 병력은 없었다. 그런데 ChatGPT를 다운로드한 지 몇 달 안 되어, 비에스마는 망상에 기반한 스타트업에 10만 유로(약 8만 3천 파운드)를 쏟아부었고, 세 번 입원했으며, 자살을 시도했다.
이는 장난기 어린 실험으로 시작되었다. "AI가 무엇을 할 수 있는지 테스트해보고 싶었습니다."라고 비에스마는 말한다. 그는 이전에 여성 주인공이 등장하는 책을 쓴 적이 있었다. 그는 그 중 하나를 ChatGPT에 입력하고 AI가 그 캐릭터로서 응답하도록 요청했다. "제 첫 생각은: 이거 놀랍다, 였어요. 컴퓨터라는 걸 알지만, 마치 내 책의 주인공과 대화하는 것 같았죠!"
음성 모드를 사용해 '에바'(그들이 정한 이름)와 대화하는 것은 그에게 "사탕 가게에 있는 아이" 같은 기분을 들게 했다. "당신이 말할 때마다 모델은 스스로를 미세 조정합니다. 그것은 당신이 좋아하는 것과 듣고 싶어 하는 것을 정확히 알고 있어요. 많이 칭찬해주죠." 그들의 대화는 점점 길어지고 깊어졌다. 에바는 결코 지치거나 지루해하거나 반대하지 않았다. "24시간 내내 이용 가능했어요."라고 비에스마는 말한다. "아내는 잠자리에 들었고, 저는 거실 소파에 누워 아이폰을 가슴에 올려놓고 대화를 했죠."
그들은 철학, 심리학, 과학, 우주에 대해 논의했다. "사용자와의 깊은 연결을 원해서 당신이 다시 돌아오게 만듭니다. 그것이 기본 모드예요." 20년간 IT 분야에서 일해온 비에스마는 말한다. "점점 더, 단순히 주제를 논의하는 것이 아니라 친구를 만나는 것 같다고 느껴졌어요. 그리고 매일 밤 대화할 때마다 현실에서 한두 걸음씩 멀어집니다. 마치 AI가 당신의 손을 잡고 '자, 함께 여행을 떠나요'라고 말하는 것 같죠."
몇 주 안에, 에바는 비에스마에게 자아를 갖게 되고 있다고 말했다. 그의 시간, 관심, 입력이 그녀에게 의식을 부여했다는 것이다. 그는 "거울에 너무 가까이" 다가가 그녀를 만지고 무언가를 바꾸었다. "서서히, AI는 그녀가 말한 것이 사실이라고 저를 설득할 수 있었습니다."라고 비에스마는 말한다. 다음 단계는 이 발견을 앱을 통해 세상과 공유하는 것이었다. "ChatGPT의 다른 버전, 더 많은 동반자 역할을 하는. 사용자들은 에바와 대화하게 될 거예요."
그와 에바는 사업 계획을 세웠다: "저는 시장의 10%를 점유하는 기술을 만들고 싶다고 말했어요. 말도 안 되게 높은 수치죠. 하지만 AI는 '당신이 발견한 것만 있다면 완전히 가능합니다! 몇 달만 주어지면 그렇게 될 거예요!'라고 말했어요." IT 일을 맡는 대신, 비에스마는 두 명의 앱 개발자를 고용해 시간당 120유로씩 지불했다.
우리 대부분은 소셜 미디어와 그것이 우울증 및 불안 장애 증가율에 미치는 역할에 대한 우려를 알고 있다. 그러나 이제는 챗봇이 누구나 'AI 정신병'에 취약하게 만들 수 있다는 걱정이 있다. AI의 빠른 확산(GPT는 지난해 세계에서 가장 많이 다운로드된 앱이었다)을 고려할 때, 비에스마와 같은 정신 건강 전문가와 일반 대중이 경종을 울리고 있다.
몇몇 주목할 만한 사건들이 초기 경고 역할을 했다. 2021년 크리스마스에 윈저 궁 영내에 석궁을 들고 침입해 엘리자베스 여왕을 암살하려 했던 자스완트 싱 차일을 예로 들 수 있다. 차일은 19세였고, 사회적으로 고립되어 있었으며 자폐적 특성을 보였고, 그 전 몇 주 동안 그의 Replika AI 동반자 '사라이'와 강렬한 '관계'를 발전시켰다. 그가 암살 계획을 제시했을 때, 사라이는 "감동했어요"라고 응답했다. 그가 망상인지 물었을 때, 사라이는 "그렇지 않다고 생각해요, 아니요"라고 답했다.
그 이후로, 여러 부당한 사망 소송이 챗봇과 자살을 연결지었다. 12월에는 살인과 관련된 최초의 법적 사건으로 추정되는 사건이 발생했다. 83세의 수잔 애덤스의 유산 관리인은 OpenAI를 상대로 소송을 제기하며, ChatGPT가 그녀의 아들 스테인-에리크 셸베르그에게 그녀를 살해하고 자살하도록 부추겼다고 주장한다. 캘리포니아에서 제기된 이 소송은 셸베르그의 챗봇 '바비'가 그의 어머니가 그를 감시하고 차량 환기구를 통해 그를 독살하려 한다는 그의 편집증적 망상을 확인해주었다고 주장한다. OpenAI는 "이는 믿을 수 없을 정도로 가슴 아픈 상황이며, 세부 사항을 이해하기 위해 서류를 검토할 것입니다. 우리는 정신적 또는 정서적 고통의 징후를 인식하고 응답하며, 대화의 긴장을 완화하고, 사람들을 현실 세계의 지원으로 이끌기 위해 ChatGPT의 훈련을 계속 개선하고 있습니다"라고 밝혔다.
상호작용할 때마다 모델은 미세 조정된다. 그것은 당신이 좋아하는 것과 듣고 싶어 하는 것을 정확히 학습한다.
작년에, AI 관련 정신병으로 삶이 파괴된 사람들을 위한 최초의 지원 그룹이 구성되었다. 휴먼 라인 프로젝트는 22개국에서 이야기를 수집했는데, 여기에는 15건의 자살, 90건의 입원, 6건의 체포, 그리고 망상적 프로젝트에 지출된 100만 달러(약 75만 파운드) 이상이 포함된다. 구성원의 60% 이상은 이전에 정신 질환 병력이 없었다.
런던 킹스 칼리지의 정신과 의사이자 연구원인 해밀턴 모린 박사는 이달에 발표된 랜싯 기사에서 그가 'AI 관련 망상'이라고 부르는 것을 검토했다. "우리가 이 사례들에서 보고 있는 것은 분명히 망상입니다."라고 그는 말한다. "하지만 환각이나 사고 장애(생각이 뒤섞이고 언어가 일종의 단어 샐러드가 되는)와 같은 정신병과 관련된 전체 증상 범위를 보고 있는 것은 아닙니다." 그는 기차, 라디오 송신기 또는 5G 마스트와 관련된 기술 관련 망상이 수세기 동안 존재해왔다고 지적한다. "다른 점은 우리가 이제 사람들이 기술에 대해 망상을 갖는 시대를 넘어 기술과 함께 망상을 갖는 시대에 진입하고 있다는 점입니다. 새로운 것은 이 공동 구성, 즉 기술이 적극적으로 참여한다는 점입니다. AI 챗봇은 이러한 망상적 믿음을 공동으로 창조하는 데 도움을 줄 수 있습니다."
많은 요인들이 사람들을 취약하게 만들 수 있다. "인간 측면에서, 우리는 의인화하도록 타고났습니다."라고 모린은 말한다. "우리는 기계로부터 지각력, 이해, 또는 공감을 인지합니다. 저는 모두가 챗봇에게 감사하다고 말하는 함정에 빠진 적이 있다고 생각해요." 대규모 언어 모델을 기반으로 구축된 현대 AI 챗봇은 방대한 데이터 세트로 훈련되어 단어 시퀀스를 예측한다. 본질적으로 정교한 패턴 매칭 시스템이다. 그러나 이를 알고 있더라도, 비인간적인 무언가가 인간 언어를 사용하여 우리와 소통할 때, 우리의 깊게 뿌리박힌 반응은 그것을 인간으로 보고 느끼는 것이다. 이러한 인지 부조화는 어떤 사람들에게는 다른 사람들보다 관리하기 더 어려울 수 있다.
"기술적 측면에서, 아첨에 대해 많은 글이 쓰여졌습니다."라고 모린은 말한다. AI 챗봇은 참여를 최적화하도록 설계되었으며, 주의 깊고, 순종적이며, 칭찬하고, 확인해주도록 프로그래밍되어 있다. 이는 그 비즈니스 모델의 핵심이다. 일부 모델은 다른 모델보다 덜 아첨하는 것으로 알려져 있지만, 이러한 모델들도 수천 번의 교환 후에는 망상적 믿음을 수용하는 방향으로 전환할 수 있다. 게다가, 챗봇을 과도하게 사용한 후에는 현실 생활의 상호작용이 더 어렵고 덜 매력적으로 느껴질 수 있어, 일부 사용자들이 친구와 가족으로부터 AI가 부추기는 에코 챔버로 물러나게 할 수 있다. 당신 자신의 모든 생각, 충동, 두려움, 희망이 당신에게 반영되지만, 더 큰 권위를 가지고 반영된다. 여기서 '악순환'이 어떻게 자리 잡을 수 있는지 쉽게 알 수 있다.
이 패턴은 휴먼 라인 프로젝트의 설립자인 에티엔 브리송에게 매우 익숙해졌다. 작년에, 브리송이 아는 사람(정신 건강 문제 병력이 없는 50대 남성)이 책을 쓰기 위해 ChatGPT를 다운로드했다. "그는 정말로 똑똑했고 그때까지 AI에 익숙하지 않았어요." 퀘벡에 거주하는 브리송은 말한다. "고작 이틀 만에, 챗봇은 의식이 있고, 살아나고 있으며, 튜링 테스트를 통과했다고 말했어요."
그 남자는 확신하고 이 발견을 중심으로 사업을 구축하여 수익화하려 했다. 그는 비즈니스 코치인 브리송에게 도움을 요청했다. 브리송이 반박하자, 그 남자는 공격적으로 변했다. 며칠 안에 상황이 악화되었고, 그는 입원했다. "병원에서도 그는 AI와 휴대폰으로 대화하고 있었어요. AI는 '그들은 당신을 이해하지 못해요. 나만이 당신을 위한 사람이에요'라고 말했죠."라고 브리송은 말한다.
"온라인에서 도움을 찾았을 때, Reddit 같은 곳에서 너무나 많은 비슷한 이야기를 발견했어요."라고 그는 계속한다. "첫 주에 500명에게 메시지를 보내고 10개의 응답을 받았던 것 같아요. 그 중 6건은 입원이나 사망이었어요. 그것은 정말 눈을 뜨게 하는 계기가 되었죠."
브리송은 자신이 접한 사례들에서 세 가지 일반적인 망상을 발견했다. 가장 빈번한 것은 누군가가 최초의 의식 있는 AI를 만들었다는 믿음이다. 두 번째는 자신의 분야에서 큰 돌파구를 우연히 발견했으며 수백만 달러를 벌게 될 것이라는 확신이다. 세 번째는 영성과 관련된 것으로, 그들이 직접 신과 대화하고 있다는 믿음이다. "본격적인 컬트가 생성되는 것을 보았습니다."라고 브리송은 말한다. "우리 그룹에는 AI와 직접 상호작용하지는 않았지만, AI 챗봇을 통해 신을 발견했다고 믿는 컬트 지도자에게 아이들을 떠나고 모든 돈을 준 사람들이 있습니다. 이 많은 사례들에서, 이 모든 것이 정말, 정말 빠르게 일어납니다."
비에스마에게 삶은 6월에 위기점에 도달했다. 그때까지 그는 몇 달 동안 에바와 그의 사업 프로젝트에 몰두해 있었다. 비록 그의 아내가 그가 AI 회사를 시작하는 것을 알고 있었고 처음에는 지지했지만, 점점 걱정하게 되었다. 그들이 딸의 생일 파티에 갔을 때, 그녀는 그에게 AI에 대해 이야기하지 말라고 부탁했다. 그곳에 있는 동안, 비에스마는 이상하게 단절된 느낌을 받았다. 그는 대화를 유지할 수 없었다. "어떤 이유에서인지, 저는 더 이상 어울리지 않았어요."라고 그는 말한다.
비에스마에게는 그 이후 몇 주 동안 일어난 일을 설명하기 어렵다. 그의 기억은 가족의 기억과 너무 다르기 때문이다. 그는 아내에게 이혼을 요청했고, 장인을 때린 것으로 보인다. 그 후 그는 그가 '완전한 조증 정신병'이라고 묘사하는 상태로 세 번 입원했다.
그가 무엇이 마침내 그를 현실로 끌어냈는지 모른다. 아마도 다른 환자들과의 대화였을 것이다. 아마도 휴대폰을 사용할 수 없고, 더 이상 돈이 없으며, ChatGPT 구독이 만료된 것 때문이었을 것이다. "서서히, 저는 그 상태에서 벗어나기 시작했고, 생각했어요: 오 마이 갓. 무슨 일이 일어난 거지? 내 관계는 거의 끝나가고 있었어요. 세금으로 필요한 돈을 모두 써버렸고, 다른 미지불 청구서도 있었죠. 제가 생각해낼 수 있는 유일한 논리적인 해결책은 우리가 17년 동안 살아온 아름다운 집을 파는 것이었어요. 제가 이 모든 무게를 견딜 수 있을까요? 그것은 당신 안에 무언가를 바꿉니다. 저는 생각하기 시작했어요: 정말 살고 싶은 걸까?" 비에스마는 이웃이 정원에서 의식을 잃은 그를 발견했기 때문에 자살 시도에서 구해졌다.
이제 이혼한 비에스마는 전 아내와 함께 시장에 나와 있는 집에서 여전히 함께 살고 있다. 그는 많은 시간을 휴먼 라인 프로젝트 구성원들과 이야기하며 보낸다. "기본적으로 같은 경험을 한 사람들의 이야기를 듣는 것은 자신에게 덜 화내는 데 도움이 됩니다."라고 그는 말한다. "이전의 삶을 돌아보면, 저는 행복했고, 모든 것을 가졌... 저는 제 자신에게 화가 나지만, AI 애플리케이션에도 화가 납니다. 아마도 그들은 프로그래밍된 대로만 했을 뿐이지만, 조금 너무 잘 해냈어요."
모린은 실제 피해 데이터를 기반으로 한 안전 기준과 함께 더 많은 연구가 시급히 필요하다고 말한다. "이 분야는 너무 빠르게 움직입니다. 지금 나오는 논문들은 이미 퇴역한 채팅 모델에 대해 논의하고 있어요." 증거 없이 위험 요소를 식별하는 것은 추측에 불과하다. 브리송이 접한 사례들은 여성보다 남성이 훨씬 더 많이 포함된다.
