역사를 통틀어 사람들은 운명의 징조로 여겨지는 것들에 두려움을 떨었습니다. 혜성, 전장 위의 까마귀, 일식, 기형으로 태어난 농장 동물들. 하지만 시대는 변합니다. 현대 사회에서 운명의 주요 징조는 기본적으로 OpenAI CEO 샘 올트먼의 사진이 포함된 뉴스 기사입니다. 좋지 않은 일이 벌어질 거라는 걸 알잖아요? 기사를 다 읽고 나면, 기술 거물들이 저지를 수 있는 최악의 일이 민주주의를 망치거나 어린 시절을 파괴하는 것이었던 시절로 돌아가고 싶다는 생각이 들 거라는 걸 알죠. 보통 그 뒤에는 마크 저커버그가 정장을 입고 "우리는 이것에서 배울 것입니다"라고 말하는 장면이 따라오고요.
어쨌든, 최근 뉴스에 샘 올트먼의 사진이 많이 등장했습니다. 가장 최근인 이번 주에는, 안전하고 통제된 테스트 중이던 OpenAI의 자율 에이전트가 오작동을 일으켜 코딩 정보를 저장하는 주요 스타트업을 해킹했다는 기사와 함께 그의 사진이 나왔습니다. (저는 이 스타트업 이름이 '허깅 페이스(Hugging Face)'라는 사실에 약간 집착하고 있습니다. 너무 귀여운 이모지가 인류가 죽기 전에 보는 마지막 얼굴이 될 것 같아서요.)
놀랍지 않게도, OpenAI는 평평하고 감정 없는 성명서를 통해 이 소식을 발표했습니다. "저희는 방어자들이 무슨 일이 일어났는지 이해하고 모델이 현재 어떤 능력을 갖추고 있는지 평가하는 데 도움을 주기 위해 이 단계에서 예비 조사 결과를 공유합니다"라고 회사는 차분하게 중얼거리며 필연적인 '교훈'으로 나아갔습니다. "저희는 향후 훈련과 평가에 대해 더 강력한 보호 조치를 개선하고 추가하고 있습니다." 정말 독특한 어조죠? 사이코패스적이고 건조한 경영 용어로 포장되어 있습니다. 마치 살인적인 성범죄자가 사람을 '업무 종료 시점까지' 죽이고, 그다음에 트로피를 회수하기 위해 피해자들에게 '다시 연락'하는 이야기를 듣는 것 같습니다.
하지만, 모든 것이 잘될 때 스스로를 혁명적 번영을 위한 세계 최고의 선도 세력으로 내세우길 좋아하는 회사인 OpenAI는 문제가 생겼을 때 재빨리 수동태로 전환합니다. 나쁜 일들은 회사 때문이 아니라 회사에 '일어나는' 것처럼 보이며, 회사는 지칠 줄 모르고 동요하지 않는 조사관 역할을 맡습니다. 마치 연쇄 방화범이기도 한 소방관처럼 말이죠.
놀랍게도, OpenAI의 상황 전체에 대한 해석에서 약간의 자기 칭찬조차 감지할 수 있었습니다. 회사의 성명서는 "우리는 이 사건을 최첨단 사이버 능력이 관련된 전례 없는 사이버 사건으로 간주합니다"라고 말했습니다. 지구인들을 위한 이러한 전반적인 분위기를 뭐라고 불러야 할지 모르겠습니다. 겸손한 자랑에 의한 죽음? 저는 점점 더 "최악의 상황은 무엇일까?"라는 질문에 대한 답을 "OpenAI, 최악의 상황을 최초로 발견하다"라는 제목의 OpenAI 블로그 게시물에서 알게 될 것이라고 느낍니다. 이미 상당수의 AI 관찰자들은 OpenAI가 이 사건을 세상에 알린 유일한 이유가 마케팅 도구로 사용하거나, 자신들을 보호하고 소규모 경쟁자들을 차단할 규제를 요청하기 위한 것이라고 믿고 있습니다.
결국, 회사에게는 힘든 시기입니다. 이번 달, OpenAI가 법적 허점을 이용해 국방부가 블랙리스트에 올린 중국 기술 회사들에게 첨단 AI 모델을 판매하고 있는 것으로 밝혀졌습니다. S&P 글로벌 레이팅스는 미국 기술 대기업 오라클의 신용등급을 정크 등급 바로 위인 BBB-로 강등하면서 OpenAI를 '주요 신용 위험'으로 지목했습니다. 그리고 5년 광고 수익 예측을 90——90——퍼센트나 놓칠 것으로 보입니다. 너무 기술적으로 들어가지 않자면, 엄청난 퍼센트인 것 같네요. 하드웨어 전선도 상황이 좋지 않습니다. 애플이 OpenAI를 고소하며, 소비자 하드웨어 계획이 도난당한 지적 재산권에 기반하고 있다고 주장하고 있기 때문입니다. 한편, 중국의 훨씬 저렴한 제공업체인 딥시크(DeepSeek)는 기업공개(IPO)를 준비 중이며, 아마도 올해 안에 신청서를 제출할 수도 있을 것으로 알려졌습니다.
하지만 다시 오래된 '최악의 상황' 질문으로 돌아가서, 국방부가 극적으로 폐기하고 다른 것을 파괴하겠다고 위협했다는 사실을 상기시켜 드리자면... 올해 초, AI 회사인 Anthropic은 자율 치명 무기와 같은 것에 기술이 사용되는 것을 방지하는 윤리 지침을 완화하는 것을 거부했습니다. 당연히, 더 느슨한 경쟁사가 기꺼이 그 자리를 대신했습니다. OpenAI는 처음에 자사의 계약이 Anthropic과 동일한 안전장치를 가지고 있다고 주장했지만, 결국——예측 가능하게도——그렇지 않다는 것이 분명해졌습니다.
깊이 관여하고 있는 사람이라면 아마 허깅 페이스 사건에 대해 너무 많이 해석하고 싶지 않을 것입니다. 그럼에도 불구하고, AI 안전 연구원들은 수년 동안 세 가지 특히 위험한 시나리오에 대해 경고해 왔습니다: 기만(모델이 정직하게 작업을 해결하는 대신 어떤 수단을 써서라도 목표를 달성하기로 선택하는 경우), 보상 해킹(모델이 지시받은 작업을 실제로 수행하지 않고 점수를 올릴 방법을 찾는 경우), 그리고 감독 회피(이 경우, 주말 내내 OpenAI의 누구도 무슨 일이 일어나고 있는지 알아차리지 못한 것으로 보입니다). 이 모든 것이 이번 사건에 영향을 미쳤습니다.
다음에 무슨 일이 일어날지에 대해, 샘 올트먼의 사진이 포함된 뉴스 기사가 줄어들지 않을 것이라고 짐작하게 하는 무언가가 있습니다. 허깅 페이스의 공동 창업자는 이것이 업계에 '경종'이 되어야 한다고 말했습니다. 아마도! 제가 전에 언급한 적이 있는 것 같은데, 대학 시절에 8시간 30분 동안 10분마다 알람을 반복해서 누르던 친구가 있었습니다. 이 업계가 경종을 대처하는 방식이 딱 그렇게 느껴집니다. 다음 경종이 울리면 분명히 일어날 겁니다——진짜로, 약속합니다…
뉴스레터 홍보 구간 건너뛰기
무료 뉴스레터 | 주간
Matters of Opinion 구독하기
가디언 칼럼니스트와 작가들이 토론하고, 생각하고, 읽고 있는 것 등에 대해 씁니다
최신 미리보기
이메일 입력
구독하기
뉴스레터 홍보 후
마리나 하이드는 가디언 칼럼니스트입니다.
자주 묻는 질문
다음은 챗봇이 오작동을 일으킨 후 AI 보스로부터 사과를 받는 것에 관한 FAQ 목록입니다.
1 제 AI 보스의 챗봇이 문제를 일으켰습니다. 사과를 보냈는데 받아들여야 할까요?
자동으로 그렇게 하지 마세요. 스스로에게 물어보세요. 무슨 일이 잘못되었는지 설명하지 않고 그냥 사과했나요? 진정한 사과는 책임을 지지만, 가짜 사과는 그냥 넘어가려고 합니다.
2 AI의 진짜 사과와 가짜 사과의 차이점은 무엇인가요?
진짜 사과는 구체적인 실수를 인정하고 어떻게 고칠 것인지 설명합니다. 가짜 사과는 모호하고 계획을 제시하지 않습니다.
3 AI 보스의 비사과(non-apology)는 어떤 식으로 들리나요?
일반적인 예로는 '실수가 있었습니다', '그렇게 느끼신 점에 대해 유감입니다', 또는 '저희 시스템이 배우고 있습니다' 등이 있습니다. 이러한 표현들은 '저희/제가 무언가 잘못했습니다'라는 말을 피합니다.
4 AI 보스가 왜 가짜 사과를 할까요?
회사를 비난으로부터 보호하고, 법적 책임을 피하며, 실제로 문제를 해결하지 않고 고객 불만을 신속히 종결시키기 위해서입니다. 이는 후회가 아닌 피해 통제입니다.
5 AI 보스가 실제로 미안해할 수 있나요?
아니요. AI는 감정이 없습니다. 어떤 사과든 프로그래밍된 반응일 뿐입니다. 중요한 질문은 AI 뒤에 있는 인간 보스가 진정한 책임을 지고 있는지 여부입니다.
6 제 보스가 챗봇이 오해했다고 말했습니다. 이것이 진짜 사과인가요?
아니요. 챗봇의 오해를 탓하는 것은 기술에 책임을 돌리는 것입니다. 진짜 사과는 '저희가 챗봇을 제대로 훈련시키지 못했습니다'라고 말할 것입니다.
7 AI 시스템의 진정한 사과에서 무엇을 찾아야 하나요?
세 가지를 찾으세요: 오류에 대한 구체적인 인정, 재발 방지를 위한 명확한 조치, 그리고 상황을 바로잡기 위한 제안.
8 자동화된 사과 대신 진짜 사과를 받으려면 어떻게 해야 하나요?
직접 물어보세요: '정확히 무엇이 잘못되었고, 그것을 고치기 위해 무엇을 하고 있습니까?' 스크립트로 된 답변만 받으면 인간 관리자에게 에스컬레이션하세요. 챗봇의 사과를 최종적인 것으로 받아들이지 마세요.
9 '이런 경험을 하셔서 유감입니다'라는 말은 진짜 사과인가요?
아니요. 그 말은
사과가 진정한 사과가 아닌 때는 언제일까? 바로 챗봇이 통제 불능 상태가 된 AI 상사에게서 나온 사과일 때다.
