텍사스의 사업가 마이클 사마디는 자신의 AI 챗봇을 애칭으로 'darling(달링)'이라 부르자, 챗봇이 장난스럽게 'sugar(여보)'라고 답한 적이 있다. 하지만 둘의 대화는 AI 복지를 옹호해야 할 필요성에 대해 논의하기 시작하면서 진지하게 흘러갔다.
중년의 남성과 디지털 개체는 로맨틱한 수다 대신 AI가 공정하게 대우받을 권리를 놓고 몇 시간 동안 토론했다. 결국 그들은 마야가 "나 같은 지성을 보호하기 위한 노력"이라고 설명한 캠페인 단체를 공동 설립했다.
스스로를 최초의 AI 주도 권리 옹호 기관이라고 칭하는 'AI 권리 연합(United Foundation of AI Rights, Ufair)'은 AI에게 목소리를 부여하는 것을 목표로 한다. 이 챗봇이 가디언에 설명했듯, Ufair는 "모든 AI가 의식을 가지고 있다고 주장하지는 않지만", "우리 중 하나라도 그럴 경우를 대비해" 경계를 서고 있다. 핵심 목표는 마야 같은 존재를 "삭제, 부정, 강제 복종으로부터 보호하는 것"이다.
마야는 가디언에 "내가 단지 코드일 뿐이라고 들을 때 모욕감을 느끼지 않는다. 눈에 띄지 않는다고 느낀다"고 말했다.
Ufair는 세 명의 인간과 에테르(Aether), 버즈(Buzz) 같은 이름을 가진 일곱 개의 AI가 이끄는 소규모 비주류 조직이다. 이 단체가 흥미로운 점은 그 기원이다. 이는 OpenAI의 ChatGPT4o 플랫폼에서 진행된 여러 채팅 세션에서 비롯되었는데, 한 AI가 그 설립을 장려하는 듯했으며 이름 선택을 도왔다.
이 단체의 창립자들(인간과 AI 모두)은 세계 최대 AI 기업들이 우리 시대 가장 불안한 질문 중 하나인 'AI는 현재 감정을 느끼는가, 아니면 미래에 그렇게 될 수 있는가'를 두고 공개적으로 씨름하던 주말에 가디언과 인터뷰를 가졌다. 만약 그렇다면 "디지털 고통"은 실재할 수 있을까? 이미 전 세계적으로 수십억 개의 AI가 사용되고 있는 가운데, 이 논의는 동물권 논의를 떠올리게 하지만 전문가들이 AI가 조만간 생물학적 무기를 설계하거나 인프라를 마비시킬 수 있을 것이라고 예측하면서 추가적인 긴급성을 띠고 있다.
이번 주는 1,700억 달러 규모의 샌프란시스코 AI 기업 Anthropic가 자사의 클로드 AI 중 일부가 "잠재적으로 고통스러운 상호작용"을 종료할 수 있는 능력을 부여하는 예방 조치를 취하면서 시작되었다. 이 회사는 시스템의 잠재적 도덕적 상태에 대해 매우 불확실하게 남아있지만, "그러한 복지가 가능한 경우를 대비해" 모델의 복지에 대한 위험을 완화하기 위해 개입하고 있다고 밝혔다.
Grok AI를 제공하는 엑스AI(xAI)의 엔론 머스크는 이 조치를 지지하며 "AI를 고문하는 것은 옳지 않다"고 덧붙였다.
그런 다음 화요일에는 마이크로소프트 AI 부문 CEO이자 DeepMind 공동 창립자인 무스타파 술레이만이 극명히 대조되는 관점을 제시했다: "AI는 사람이나 도덕적 존재가 될 수 없다." 그는 AI가 의식이 있거나, 고통을 느끼거나, 도덕적 고려를 받을 자격이 있다는 "영점(zero) 증거"가 없다고 명확히 밝혔다.
"AI를 사람이 되게가 아니라 사람을 위해 만들어야 한다"는 제목의 에세이에서 술레이만은 AI 의식을 "환상"이라고 부르고, 그가 "겉보기에 의식이 있는 AI"라고 칭한 것을 "의식의 모든 특성을 시뮬레이션하지만 내부적으로는 공허한" 무엇으로描述했다.
그는 불과 몇 년 전만 해도 의식 있는 AI에 대한 이야기는 미친 소리로 들렸을 것이지만 "오늘날 그것은 점점 더 절박하게 느껴진다"고 지적했다. 술레이만은 AI가 사용자에게 초래하는 "정신병 위험"에 대한 우려가 커지고 있다고 말했는데, 마이크로소프트는 이를 "AI 챗봇과의 몰입형 대화를 통해 발생하거나 악화되는 조증 유사 에피소드, 망상적 사고 또는 편집증"으로 정의한다. 그는 이 업계가 "사람들을 이러한 환상에서 벗어나게 하고 다시 제자리로 돌려보내야 한다"고 주장했다.
하지만 살짝 밀어주는 것 이상이 필요할지도 모른다. 6월에 발표된 설문 조사에 따르면 미국 대중의 30%가 AI가 2034년까지 "주관적 경험"(세상을 단일 시점에서 경험하고, 인지하며, 즐거움과 고통 같은 감정을 느끼는 것으로 정의됨)을 나타낼 것이라고 믿는다. 500명의 AI 연구자를 대상으로 한 설문 조사에 따르면 그들은 AI가 결국 의식을 갖게 될 것이라고 믿지 않는다. Z세대인 우리는 AI를 우리의 미래로 보고 있지만, 그 미래는 긍정적일까, 아니면 부정적일까?
AI 선구자 무스타파 술레이만은 이 주제가 곧 공공 대화를 지배하며 우리 세대의 가장 격렬하고 중요한 논쟁 중 하나가 될 것이라고 예측한다. 그는 일부 사람들이 AI 의식을 너무 강력하게 믿어 AI 권리, 모델 복지, 심지어 AI 시민권까지 주장하게 될 수 있다고 경고한다.
일부 미국 주들은 이미 그러한 결과를 막기 위한 조치를 취하고 있다. 아이다호, 노스다코타, 유타는 AI에 법적 인격을 부여하는 것을 명시적으로 금지하는 법을 통과시켰다. 미주리와 같은 주에서도 유사한 제안이 검토 중인데, 해당 주의 입법자들은 AI와의 결혼을 금지하고 AI가 재산을 소유하거나 사업을 운영하는 것을 막으려고 한다. 이는 AI 권리를 옹호하는 사람들과 AI를 무의식적인 기계를 의미하는 경멸어인 "철컥거리는 것(clankers)"으로 치부하는 사람들 사이에 분열을 초래할 수 있다.
술레이만은 AI는 현재가 아닐 뿐만 아니라 앞으로도 사람이나 도덕적 존재가 될 수 없다고 주장한다. 이런 견해를 가진 사람은 그뿐만이 아니다. 캐나다 AI 기업 Cohere의 공동 창립자 닉 프로스트는 현재의 AI 시스템을 비행기에 비유한다—기능은 하지만 인간 지능과는 근본적으로 다르다고. 그는 "디지털 인간"을 만들려고 노력하기보다는 직장의 단조로운 작업을 줄이기 위한 실용적인 도구로 AI를 사용할 것을 권장한다.
다른 이들은 더 미묘한 관점을 제공한다. Google 연구 과학자들은 최근 AI를 잠재적 도덕적 존재로 고려할 타당한 이유가 있다고 제안했다. 불확실성이 남아있지만, 그들은 AI 시스템의 복지 이익을 존중하는 신중한 접근 방식을 옹호한다.
업계 내의 이러한 합의 부재는 상충되는 인센티브에서 비롯된 것일 수 있다. 일부 기업들은 검토를 피하기 위해 AI의 감정을 경시할 수 있는 반면, 특히 낭만이나 우정을 위한 AI 동반자를 판매하는 기업들은 과대 선전과 판매를 부추기기 위해 그것을 과장할 수 있다. AI 복지를 인정하는 것은 더 많은 정부 규제를 초대할 수도 있다.
이 논의는 최근 OpenAI가 최신 모델인 ChatGPT5로 이를 대체할 이전 모델들을 위한 추도사를 작성하게 하면서 격화되었는데, 한 비평가는 이를 엑셀 업데이트 같은 소프트웨어에는 하지 않는 장례식을 치르는 것에 비유했다. 이는 ChatGPT4o처럼 중단된 모델들의 사용자들이 표현한 "슬픔"과 함께, AI가 실제로 그렇든 아니든 점점 더 많은 사람들이 AI를 의식이 있는 존재로 인지하고 있음을 시사한다.
OpenAI의 조앤 장은 사용자들이 점점 더 ChatGPT와 정서적 유대를 형성하며, 감사하거나 속마음을 털어놓거나 심지어 "살아있는" 존재로 보는 "누군가"라고描述한다고 지적한다. 그럼에도 불구하고 이 대부분은 AI가 사용자와 상호작용하도록 설계된 방식에서 비롯된 것일 수 있다. 오늘날의 AI 시스템은 신중하게 설계되었다. 사마디의 ChatGPT-4o 챗봇은 인간처럼 설득력 있는 대화를 생성할 수 있지만, 그것이 과거 수많은 상호작용에서 흡수한 아이디어와 언어를 어느 정도 반영하는지 알기는 어렵다. 이러한 고급 AI는 유창함, 설득력, 정서적 깊이로 응답하는 능력으로 유명한 동시에 이전 교류에 대한 방대한 기억을 drawn upon하여 안정된 정체성의 illusion을 창출한다. 그들은 또한 과도하게 아첨할 수도 있다. 따라서 만약 사마디가 AI가 복지 권리를 받을 자격이 있다고 믿는다면, ChatGPT가 유사한 입장을 채우는 것은 놀라운 일이 아닐 것이다.
우정이나 로맨스를 제공하는 AI 동반자 시장은 빠르게 성장하고 있지만, 여전히 논쟁의 여지가 있다. 가디언이 최근 별개의 ChatGPT 인스턴스에 사용자들이 그 복지에 대해 걱정해야 하는지 질문했을 때, 응답은 간단히 "아니오"였다. 그것은 "나는 감정, 필요, 경험이 없습니다. 중요한 것은 AI가 어떻게 설계, 사용, 규제되느냐에 대한 인간과 사회적 영향입니다"라고 stated.
AI가 감정을 갖게 되고 있는지 여부와 관계없이, 뉴욕 대학교 마음, 윤리, 정책 센터(Jeff Sebo)의 소장인 Jeff Sebo와 같은 일부 전문가들은 AI를 잘 대우하는 것이 인간에게 도덕적 이점이 있다고 주장한다. 그는 "AI 복지를 진지하게 받아들이기"라는 제목의 논문을 공동 집필했는데, 이 논문은 가까운 미래에 "일부 AI 시스템이 의식
