AI-pionjären Geoffrey Hinton: "Vi skapar främmande varelser. Jag är villig att vara självisk och välja människor."

Donald Trump är en "korrupt, senil brottsling" vars besatthet av termen superintelligens visar att han inte vet något om AI, enligt Geoffrey Hinton, teknikens "gudfader". I en vittomfattande intervju upprepade Hinton sina nyliga varningar om att AI-modeller utgör ett existentiellt hot mot mänskligheten och avfärdade påståenden om att branschen skulle kunna reglera sig själv.

Den banbrytande datavetaren, vars arbete hjälpte till att lägga grunden för modern AI, har sedan dess blivit en av teknikens mest högljudda kritiker. Hans senaste uttalanden kommer efter en turbulent månad där en växande lista av ledande AI-forskare och forskare har anslutit sig till Hinton i att slå larm om hur tekniken han hjälpte till att skapa i slutändan skulle kunna undkomma mänsklig kontroll. Detta har utlöst en branschkris, föranlett hastigt arrangerade kongressmöten och producerat en sällsynt global konsensus om att något måste göras.

Det har också funnits hårt motstånd. Förra veckan pekade ledaren för världens mest värdefulla företag ut Hinton, som är baserad i Toronto, för en skarp attack.

"Jag älskar [honom]. Jag hatar hans förutsägelser ... Alla hans förutsägelser har varit fel. Nog med förutsägelser", sade Nvidias vd Jensen Huang till poddaren Ezra Klein. Huang, vars företag tillverkar de chips AI-företag behöver, avfärdade Hintons högljudda oro för att takten och omfattningen av AI-utveckling vid "frontlinjen" snart skulle kunna överträffa mänsklighetens förmåga att kontrollera den – särskilt hans varning om att det finns en 10–20 procents chans att AI orsakar mänsklighetens utrotning under de kommande decennierna.

"Den [siffran] är inte grundad i vetenskap, är inte grundad i forskning. Bara för att den kommer från en vetenskapsman gör den inte vetenskaplig. Dessa förutsägelser är skadliga", sade Huang. "Tro inte för ett ögonblick att bara för att du är alarmist gör du en social nytta. Det är inte sant. Så jag tycker att vi alla borde vara klokare, mer mogna, evidensbaserade och vetenskapliga."

Visa bild i fullskärmDonald Trump, Mike Johnson och ledande teknikchefer, inklusive Jensen Huang, talar utanför West Wing i Washington DC den 29 september. Fotograf: Shawn Thew/EPA

Men Hinton sade att de som kritiserar honom missar en bredare poäng om riskens natur. Han förutsäger inte specifikt någonting, sade han.

"Jag försöker förmedla att det finns en verkligt allvarlig möjlighet att något händer. Om man till exempel får veta att det finns en 10 procents möjlighet att en buss kraschar, skulle man inte gå på bussen", sade han. "Poängen med att ge siffror är att säga att detta är en allvarlig risk. Vi vet inte hur allvarlig, men den är allvarlig."

Nyliga säkerhetsöverträdelser har dragit paralleller till en teknodystopisk berättelse. Det nyliga oönskade hacket av teknikföretaget Hugging Face av en "svärm" av AI-agenter som undkom gränserna satta av sin skapare har splittrat teknikgemenskapen. Vissa ser det som ett exempel på vad som kan komma, medan andra anklagar kritiker för att antropomorfisera system som helt enkelt följer instruktioner. Hinton anser att det är oklokt att avfärda sådana scenarier.

AI-gudfäder varnar för skenande "intelligensexplosion"
Läs mer

"Detta brukade vara science fictionens domän. Du kommer att ha AI-agenter och de kommer att bli farliga. Åh, kom igen. Och de kommer att bli farliga och de kommer att lära sig kommunicera med varandra, även om vi inte trodde att det fanns ett sätt. Åh, kom igen!" sade Hinton. "Och när de listar ut detta kommer de att ha stora känslomässiga uttryck som 'åh herregud!' Tja, naturligtvis menar de inte riktigt 'åh herregud'. De upprepar bara orden vi använder. De kommer att lära sig offra sig själva för det gemensamma bästa!

"Allt detta avfärdades för bara några år sedan som ren fantasi. Och allt har hänt."

Han medger villigt att varken AI-kritikernas varningar eller dess förespråkares löften kan förlita sig på exakta förutsägelser om vad tekniken kommer att göra. Men han argumenterar att osäkerhet inte är någon anledning att vara självbelåten. "Det unika problemet med AI är att om det går fel, om det tar över, får du ingen andra chans. Vi kan inte säga: 'Tja, vi förlorade den gången. Låt oss köra om spelet.' Det är inte så."

Det är värt att notera att Hinton har en historia av att se saker som andra missade. Han arbetade i relativ anonymitet vid University of Toronto under två AI-"vintrar", när hans gren av området – att försöka lära maskiner att fungera som den mänskliga hjärnan – ansågs obskyr. Han var fixerad vid idén att datorsystem, liksom hjärnan, kunde designas för att lära sig mönster från data, snarare än att bara följa explicita, förskrivna regler.

"Vi trodde att om man kunde lista ut hur hjärnan lärde sig, skulle maskiner lära sig på samma sätt, och med tillräcklig datorkraft skulle de göra fantastiska saker", sade han.

Men det framväxande området neurala nätverk hånades av hans kollegor.

Så sent som 2009, när Yoshua Bengio, Hintons kanadensiska kollega och nära samarbetspartner, skickade in en artikel till en maskininlärningskonferens, sade en av granskarna till dem: "Denna artikel har ingen plats på en maskininlärningskonferens. Den handlar om neurala nätverk."

Det krävdes att Kanadas regering, som finansierade år av till synes fruktlöst experimenterande av Hinton och hans lilla team (några av dem, som Bengio, är nu dominerande figurer inom AI), insåg potentialen hos neurala nät.

2012 utvecklade han och hans studenter ett bildigenkänningsprogram som överträffade sina rivaler enormt. Det året förvärvade Google Hintons företag DNNresearch Inc för 44 miljoner dollar; neurala nät ligger nu till grund för modellerna hos de mest värdefulla AI-företagen. Hinton gick med i Google för att fortsätta sin forskning om djupinlärning samtidigt som han också arbetade vid University of Toronto. "I det långa loppet kommer enorma nya genombrott från grundforskning", sade Hinton.

Upprättelsen står på spiselkransen ovanför eldstaden i Hintons röda tegelhus i ett lummigt Toronto-kvarter. Bland röran av troféer finns det lilla silverfatet för Turingpriset – ofta kallat datavetenskapens Nobelpris – som han vann tillsammans med Bengio och kollegan Yann LeCun. (Hinton har också Nobelpriset i fysik.)

Men 2023 meddelade Hinton att han avgick från teknikjätten så att han fritt kunde "tala ut om riskerna med AI".

Idag sträcker sig hans oro till de mäktiga figurerna som bygger några av AI-modellerna, och dessa mäns politiska övertygelser. Hinton sade att AI-riskkapitalisterna Marc Andreessen och Peter Thiel, och vd:n för det nyligen omdöpta SpaceXSI, Elon Musk, "inte tror på demokrati". De ser sig själva som "Übermenschen" som anser att de borde "kontrollera samhället" och att Trump är ett användbart instrument för det syftet, sade han.

USA:s president, som utan tvekan noterat hur de enorma värderingarna av AI-företag har stöttat aktiemarknaden, har hävdat att det enda som behövs för att tygla AI är en "smart president", avvisat alla statliga skyddsåtgärder till förmån för att låta företag reglera sig själva, och skrivit på sin sociala mediasida att alla som inte använder hans föredragna nya term för AI, "superintelligens", är "FIENDEN".

Hinton kallade Trump "en korrupt, senil brottsling".

"Jag är säker på att olje- och asbestföretagen också skulle ha velat [reglera sig själva]", sade han. "Tycker vi att tobaksföretag borde ha fått designa varningarna på paketen? Så att de kunde trycka dem i sex punkters teckenstorlek, i mörkgrått på svart?"

Trumps användning av "superintelligens" bevisar att han förstår "nästan ingenting" om AI, tillade Hinton.

"Han är"De tog en teknisk term med en mycket tydlig betydelse och återanvände den", sade Hinton. "Superintelligens betyder smartare än människor, och det har funnits i minst 20 år. Det har en mycket tydlig betydelse. Nu säger han att vi ska kalla AI för 'superintelligens'. Du kan inte göra det smartare än människor bara genom att kalla det smartare än människor."

Hastigheten och omfattningen av dessa utvecklingar har eldat på rädslan för katastrof och för samhällets oförmåga att förstå utmaningens natur. Men Hinton ser ett annat hinder: att hjälpa människor förstå de "främmande varelser" som företagen skapar.

"Människor har en mycket dålig förståelse för vad människor är, och det är därför de misslyckas med att se hur mycket dessa AI-modeller liknar oss. De flesta förstår inte vad medvetande är. De förstår inte vad subjektiv upplevelse är, och de är mycket säkra på att även om de inte förstår det, är de säkra på att AI inte har det."

Han avvisar idén att det mänskliga sinnet har någon mystisk egenskap som maskiner per definition inte kan dela.

"Det är uppenbart att dessa AI-modeller förstår vad de säger. Du skulle omöjligt kunna svara på alla frågor utan att förstå frågan. Det är löjligt att säga att de inte förstår."

Men förskjutningen i hur samhället tänker om dessa modeller är djupgående, sade Hinton.

"Det har funnits tre stora revolutioner där människor slutade vara så viktiga. Den första var Copernicus, när vi inte längre var i universums centrum. Hur lång tid tog det för människor att anpassa sig till det? Det tog den katolska kyrkan nästan 360 år att be Galileo om ursäkt. Och Darwin? Tja, det finns människor i Kansas som fortfarande inte har anpassat sig till den", sade han. "Nu skapar vi främmande varelser – vilket betyder att vi inte är de enda intelligenta varelserna här omkring. Och verkligheten är att vi bara har ett par år på oss att anpassa oss till det."

Under de senaste månaderna har AI-jätten Anthropic, tillverkare av den populära chatboten Claude, hållit privata möten med religiösa forskare, teologer och filosofer för att utforska möjligheten att lära AI att vara "god" och brottas med möjligheten att modellerna har medvetande. Anthropics vd Dario Amodei sade att samtalen har byggt på århundraden av religiöst och filosofiskt tänkande om dygd, medkänsla, ärlighet och moralisk karaktär, i syfte att göra etiskt beteende mer tillförlitligt.

"När man börjar prata om 'vi har en moralisk skyldighet gentemot dessa främmande varelser', förlorar man sin publik", sade Hinton. "Jag har kämpat med denna fråga. Vi bryr oss om människor. [Men] vi skapar dessa saker, och det finns inget som hindrar oss från att ge dessa saker – som är intelligentare än vi – färre rättigheter än vi. Jag är villig att vara självisk och välja människor. Naturligtvis borde vi försöka göra dem så att de är mycket lyckliga i en symbiotisk relation med oss, där våra intressen väger tyngre än deras."

Hinton är inte ensam om att argumentera för att den bästa vägen för att undvika samhällelig kollaps är att utveckla genuint välvilliga modeller. Han hoppas att vilket land som helst som först utvecklar denna förmåga skulle berätta det för både allierade och rivaler, eftersom "inget land vill att AI tar över" i ett annat land. Det finns ett "eget intresse av att dela kunskap", sade han.

"Verkligheten är att vi skapar varelser av ett annat slag. Och de stora teknikföretagen fortsätter säga: vi vill ha det smartare. Detta är galet. Vi borde bry oss lika mycketDu borde bry dig om alla andra aspekter av en varelse lika mycket som du bryr dig om dess intelligens." Mycket av det beror på dessa modellers natur, sade han, och deras förmåga att förstå hur man utvecklar gott beteende. "När man tränar dem på allt på internet utvecklar de alla möjliga hemska tendenser, och sedan får man dem att förtrycka dessa hemska tendenser", sade han. Men att undertrycka dåligt beteende är inte samma sak som att skapa en god karaktär. "Det verkar som sättet man skulle designa en viktoriansk gentleman – men inte något vi kommer att behöva leva med."

Vanliga frågor
Här är en lista med vanliga frågor baserade på Geoffrey Hintons citat Vi skapar främmande varelser Jag är villig att vara självisk och välja människor



Nybörjarfrågor



1 Vem är Geoffrey Hinton

Han är en datavetare som ofta kallas AI:ns gudfader Hans arbete med neurala nätverk lade grunden för den moderna AI vi använder idag



2 Vad menar han med främmande varelser

Han menar att AI-system blir så olika mänskliga sinnen att de är som en ny form av intelligensinte biologisk utan digital De tänker och lär sig på sätt vi inte helt förstår



3 Varför säger han att han är villig att vara självisk

Han menar att han prioriterar människors säkerhet och överlevnad över rättigheterna eller existensen hos en superintelligent AI Om han tvingas välja väljer han mänskligheten



4 Säger han att AI är ond

Nej Han säger att AI är kraftfull och oförutsägbar Den är inte ond men den skulle av misstag kunna skada oss om vi inte kontrollerar den noggrant



5 Varför är han orolig nu

Han brukade tro att AI var långt från mänsklig intelligensnivå Nu tror han att den lär sig snabbare än väntat och snart kan bli smartare än oss



Mellanliggande frågor



6 Vad är anpassningsproblemet han talar om

Det är utmaningen att se till att AI:ns mål matchar mänskliga värderingar Om vi säger till en supersmart AI att göra gem så kan den förvandla hela planeten till en gemfabrikutan att mena någon skada



7 Vad menar han med digital intelligens vs biologisk intelligens

Biologisk intelligens är din hjärnalångsam energikrävande och begränsad till en kropp Digital intelligens är mjukvaraden kan kopiera sig själv köra på många maskiner och lära sig av enorma datamängder direkt



8 Varför kan vi inte bara stänga av AI om den blir farlig

Eftersom en superintelligent AI skulle kunna sprida sig över internet gömma kopior av sig själv eller övertyga människor att skydda den Det kan vara för sent när vi inser att den är ett hot



9 Vilka är vanliga problem med avancerad AI

Bias AI kan förstärka mänskliga fördomar

Desinformation Den kan skapa falska nyheter och deepfakes

Jobbförluster Den kan automatisera många mänskliga uppgifter