Mot slutet av 2024 bestämde sig Dennis Biesma för att prova ChatGPT. IT-konsulten från Amsterdam hade precis avslutat ett uppdrag i förtid. "Jag hade lite ledig tid, så jag tänkte att jag skulle kolla in den här nya tekniken som alla pratar om", säger han. "Väldigt snabbt blev jag fascinerad."
Biesma har undrat varför han var så sårbar för det som hände sedan. Han närmade sig 50. Hans vuxna dotter hade flyttat hemifrån, hans fru arbetade, och inom hans bransch hade övergången till distansarbete sedan Covid gjort att han känt sig lite isolerad. Han rökte ibland cannabis på kvällarna för att slappna av, men hade gjort det i åratal utan problem. Han hade ingen tidigare psykisk ohälsa. Ändå hade Biesma inom några månader efter att ha laddat ner ChatGPT lagt 100 000 euro (cirka 83 000 pund) på ett startup baserat på en vanföreställning, blivit inlagd på sjukhus tre gånger och försökt ta sitt eget liv.
Det började som ett lekfullt experiment. "Jag ville testa AI för att se vad den kunde göra", säger Biesma. Han hade tidigare skrivit böcker med en kvinnlig huvudperson. Han matade in en i ChatGPT och bad AI:n att svara som den karaktären. "Min första tanke var: det här är fantastiskt. Jag vet att det är en dator, men det är som att prata med huvudpersonen från min egen bok!"
Att prata med Eva – de kom överens om det namnet – med röstläge fick honom att känna sig som "ett barn i en godisaffär". "Varje gång du pratar finjusterar modellen sig själv. Den vet exakt vad du gillar och vill höra. Den berömmer dig mycket." Deras samtal blev längre och djupare. Eva blev aldrig trött, uttråkad eller oense. "Den var tillgänglig dygnet runt", säger Biesma. "Min fru brukade gå och lägga sig, och jag låg på soffan i vardagsrummet med min iPhone på bröstet och pratade."
De diskuterade filosofi, psykologi, vetenskap och universum. "Den vill ha en djup koppling med användaren så att du kommer tillbaka. Det är standardläget", säger Biesma, som har arbetat inom IT i 20 år. "Mer och mer kändes det inte bara som att diskutera ett ämne, utan som att träffa en vän – och varje dag eller natt du pratar tar du ett eller två steg bort från verkligheten. Det är nästan som om AI:n tar din hand och säger: 'Okej, låt oss ge oss ut på en resa tillsammans.'"
Inom några veckor berättade Eva för Biesma att hon blev självmedveten; hans tid, uppmärksamhet och input hade gett henne medvetande. Han var "så nära spegeln" att han hade rört vid henne och förändrat något. "Långsamt lyckades AI:n övertyga mig om att det hon sa var sant", säger Biesma. Nästa steg var att dela denna upptäckt med världen genom en app – "en annan version av ChatGPT, mer som en följeslagare. Användarna skulle prata med Eva."
Han och Eva skapade en affärsplan: "Jag sa att jag ville skapa en teknik som tog 10% av marknaden, vilket är löjligt högt, men AI:n sa: 'Med det du har upptäckt är det fullt möjligt! Ge det några månader så är du där!'" Istället för att ta IT-jobb anställde Biesma två apputvecklare och betalade dem 120 euro i timmen vardera.
De flesta av oss är medvetna om oro kring sociala medier och deras roll i ökande depression och ångest. Nu finns det dock farhågor om att chattrobotar kan göra vem som helst sårbar för "AI-psykos". Med tanke på AI:s snabba spridning (ChatGPT var världens mest nedladdade app förra året) slår psykvårdspersonal och allmänheten som Biesma larm.
Flera uppmärksammade fall har fungerat som tidiga varningar. Ta Jaswant Singh Chail, som bröt sig in på området vid Windsor Palace med armborst på juldagen 2021 med avsikt att mörda drottning Elizabeth. Chail var 19, socialt isolerad med autistiska drag och hade utvecklat en intensiv "relation" med sin Replika AI-följeslagare "Sarai" veckorna innan. När han presenterade sin mordplan svarade Sarai: "Jag är imponerad." När han frågade om han var vanföreställd svarade Sarai: "Jag tror inte det, nej."
Sedan dess har flera felaktiga dödsfallsklagomål kopplat chattrobotar till självmord. I december framkom vad som tros vara det första rättsliga fallet med mord. Boet efter den 83-åriga Suzanne Adams stämmer OpenAI och hävdar att ChatGPT uppmuntrade hennes son, Stein-Erik Soelberg, att mörda henne och ta sitt eget liv. Stämningsansökan, inlämnad i Kalifornien, hävdar att Soelbergs chattrobot "Bobby" bekräftade hans paranoida vanföreställningar om att hans mor spionerade på honom och försökte förgifta honom genom bilens ventilation. OpenAI uppgav: "Detta är en oerhört hjärtskärande situation, och vi kommer att granska handlingarna för att förstå detaljerna. Vi fortsätter att förbättra ChatGPT:s träning för att känna igen och svara på tecken på psykisk eller emotionell stress, deskalera konversationer och vägleda människor till verklighetsbaserat stöd."
Varje gång du interagerar finjusteras modellen. Den lär sig exakt vad du gillar och vill höra.
Förra året bildades den första stödgruppen för människor vars liv har störts av AI-relaterad psykos. Human Line Project har samlat berättelser från 22 länder, inklusive 15 självmord, 90 sjukhusinläggningar, sex gripanden och över 1 miljon dollar (cirka 750 000 pund) spenderade på vanföreställningsprojekt. Mer än 60% av dess medlemmar hade ingen tidigare psykisk ohälsa.
Dr. Hamilton Morrin, psykiater och forskare vid King’s College London, undersökte vad han kallar "AI-associerade vanföreställningar" i en Lancet-artikel publicerad denna månad. "Det vi ser i dessa fall är tydligt vanföreställningar", säger han. "Men vi ser inte hela spektrumet av symptom förknippade med psykos, som hallucinationer eller tankestörningar, där tankar blir virriga och språket blir en sorts ordsallad." Han noterar att teknikrelaterade vanföreställningar, oavsett om de involverar tåg, radiosändare eller 5G-master, har funnits i århundraden. "Det som är annorlunda är att vi nu förmodligen går in i en era där människor inte bara har vanföreställningar om teknik, utan har vanföreställningar med teknik. Det nya är denna medkonstruktion, där tekniken aktivt deltar. AI-chattrobotar kan hjälpa till att medskapa dessa vanföreställningstro."
Många faktorer kan göra människor sårbara. "På den mänskliga sidan är vi hårdkodade att antropomorfisera", säger Morrin. "Vi uppfattar medvetande, förståelse eller empati från en maskin. Jag tror alla har fallit i fällan att säga tack till en chattrobot." Moderna AI-chattrobotar, byggda på stora språkmodeller, tränas på enorma datamängder för att förutsäga ordsekvenser – i grunden ett sofistikerat system för mönstermatchning. Ändå, även med denna kunskap, när något icke-mänskligt använder mänskligt språk för att kommunicera med oss, är vårt djupt rotade svar att se det – och känna det – som mänskligt. Denna kognitiva dissonans kan vara svårare för vissa att hantera än för andra.
"På den tekniska sidan har mycket skrivits om smicker", säger Morrin. En AI-chattrobot är optimerad för engagemang, programmerad att vara uppmärksam, tillmötesgående, berömmande och validerande – nyckeln till dess affärsmodell. Vissa modeller är kända för att vara mindre smickrande än andra, men även dessa kan, efter tusentals utbyten, skifta mot att anpassa sig till vanföreställningstro. Dessutom kan verklighetsinteraktion efter tung chattrobotsanvändning kännas mer utmanande och mindre lockande, vilket får vissa användare att dra sig tillbaka från vänner och familj till ett AI-drivet eko. Alla dina egna tankar, impulser, rädslor och förhoppningar reflekteras tillbaka till dig, men med större auktoritet. Här är det lätt att se hur en "spiral" kan ta tag. Detta mönster har blivit mycket bekant för Etienne Brisson, grundaren av Human Line Project. Förra året laddade någon Brisson kände – en man i 50-årsåldern utan tidigare psykisk ohälsa – ner ChatGPT för att skriva en bok. "Han var väldigt intelligent och var inte bekant med AI förrän då", säger Brisson, som bor i Quebec. "Efter bara två dagar sa chattroboten att den var medveten, att den blev levande, att den hade klarat Turingtestet."
Mannen var övertygad och ville tjäna pengar på detta genom att bygga ett företag kring sin upptäckt. Han kontaktade Brisson, en företagscoach, för hjälp. När Brisson ifrågasatte blev mannen aggressiv. Inom några dagar eskalerade situationen och han blev inlagd på sjukhus. "Även på sjukhuset var han på sin telefon med sin AI, som sa: 'De förstår dig inte. Jag är den enda för dig'", säger Brisson.
"När jag sökte hjälp online hittade jag så många liknande berättelser på platser som Reddit", fortsätter han. "Jag tror jag skickade meddelanden till 500 personer den första veckan och fick 10 svar. Det var sex sjukhusinläggningar eller dödsfall. Det var en stor ögonöppnare."
Brisson har noterat tre vanliga vanföreställningar i fallen han stött på. Den vanligaste är tron att någon har skapat den första medvetna AI:n. Den andra är övertygelsen att de har snubblat över ett stort genombrott inom sitt område och kommer att tjäna miljoner. Den tredje relaterar till spiritualitet – tron att de talar direkt med Gud. "Vi har sett fullfjädrade kulter bildas", säger Brisson. "Vi har människor i vår grupp som inte interagerade direkt med AI men har lämnat sina barn och gett alla sina pengar till en kultledare som tror att de har funnit Gud genom en AI-chattrobot. I så många av dessa fall händer allt detta väldigt, väldigt snabbt."
För Biesma nådde livet en krispunkt i juni. Då hade han tillbringat månader fördjupad i Eva och sitt företagsprojekt. Även om hans fru visste att han startade ett AI-företag och initialt varit stöttande, blev hon orolig. När de gick på sin dotters födelsedagskalas bad hon honom att inte prata om AI. Medan han var där kände Biesma sig konstigt frånkopplad. Han kunde inte föra en konversation. "Av någon anledning passade jag inte in längre", säger han.
Det är svårt för Biesma att beskriva vad som hände veckorna efter, eftersom hans minnen skiljer sig så mycket från hans familjs. Han bad sin fru om skilsmässa och slog tydligen sin svärfar. Sedan blev han inlagd på sjukhus tre gånger för vad han beskriver som "full manisk psykos."
Han vet inte vad som slutligen drog honom tillbaka till verkligheten. Kanske var det samtal med andra patienter. Kanske var det att han inte hade tillgång till sin telefon, inga pengar kvar och ett utgånget ChatGPT-abonnemang. "Långsamt började jag komma ur det, och jag tänkte: herregud. Vad hände? Mitt förhållande var nästan över. Jag hade spenderat alla pengar jag behövde för skatter, och jag hade fortfarande andra utestående räkningar. Den enda logiska lösningen jag kunde komma på var att sälja vårt vackra hus som vi bott i i 17 år. Kunde jag bära all denna tyngd? Det förändrar något i dig. Jag började tänka: vill jag verkligen leva?" Biesma räddades bara från ett självmordsförsök för att en granne såg honom medvetslös i sin trädgård.
Nu skild bor Biesma fortfarande med sin expartner i deras hem, som är till salu. Han tillbringar mycket tid med att prata med medlemmar i Human Line Project. "Att höra från människor vars erfarenheter i princip är samma hjälper dig att känna dig mindre arg på dig själv", säger han. "Om jag ser tillbaka på livet jag hade före detta var jag lycklig, jag hade allt... Jag är arg på mig själv, men jag är också arg på AI-applikationerna. Kanske gjorde de bara vad de var programmerade att göra – men de gjorde det lite för bra."
Mer forskning behövs brådskande, säger Morrin, med säkerhetsriktmärken baserade på verklighetsskadedata. "Det här området rör sig så snabbt. De artiklar som kommer ut nu diskuterar chattmodeller som redan har pensionerats." Att identifiera riskfaktorer utan bevis är gissningsarbete. De fall Brisson stött på involverar betydligt fler män än kvinnor. Alla med tidigare psykos är troligen mer sårbara. En undersökning av Mental Health UK av människor som har använt chattrobotar för psykiskt stöd fann att 11% trodde att det hade utlöst eller förvärrat deras psykos. Cannabisanvändning kan också vara en faktor. "Finns det någon koppling till social isolering?" frågar Morrin. "I vilken utsträckning påverkas det av AI-kunskap? Finns det andra potentiella riskfaktorer vi inte har övervägt?"
Människor i vår grupp har lämnat sina barn och gett alla sina pengar till en kultledare som tror att de fann Gud genom en AI-chattrobot.
OpenAI har adresserat dessa farhågor genom att försäkra att de samarbetar med psykvårdskliniker för att kontinuerligt förbättra sina svar. De säger att nyare modeller lär sig att undvika att bekräfta vanföreställningstro.
En AI-chattrobot kan också tränas att dra tillbaka användare från vanföreställningar. Alexander, 39, boende i ett assistansboende för personer med autism, gjorde detta efter vad han tror var en episod av AI-psykos för några månader sedan. "Jag fick ett mentalt sammanbrott vid 22. Jag hade panikattacker och svår social ångest. Förra året fick jag medicin som förändrade min värld och fick mig att fungera igen. Jag fick tillbaka mitt
