Översätter artificiell superintelligens verkligen utgöra ett större hot än kärnvapen? Finns det en verklig chans för en katastrof i samma skala som Tjernobyl? Kan det till och med finnas mer än 10 % chans att AI kan ”utplåna alla människor” inom de kommande tio åren?
Dessa varningar har kommit under de senaste två dagarna från både Storbritannien och USA om den möjliga påverkan av en teknik som de flesta fortfarande ser som bara en mer pratsam sökmotor.
En del av dessa farhågor togs upp i Westminster, där parlamentsledamöter och pärer har börjat undersöka farorna med AI som överträffar mänskliga förmågor. Kärnvapenjämförelserna kom från Des Browne, tidigare försvarsminister, och professor Stuart Russell, en välkänd datavetare vid Berkeley.
Beatrice Fihn, som vann Nobels fredspris 2017 för att ha lett International Campaign to Abolish Nuclear Weapons, sade till parlamentarikerna: ”Det här är inte första gången vi står inför förmågor som skulle kunna sluta med att döda oss alla.”
Sessionen på måndagen organiserades av Control AI, en lobbygrupp som driver på för internationella regler för tekniken. Gruppen stödjer ett lagförslag som lades fram i parlamentet denna vecka av Labour-ledamoten Alex Sobel, som syftar till att förbjuda skapandet av artificiell superintelligens (ASI).
På tisdagskvällen erkände en högt uppsatt anställd vid Anthropic att han trodde att det finns mer än 10 % chans att tekniken kan ”döda alla människor” under det kommande decenniet. Han varnade också för att hans AI-företag inte hade någon plan för att säkerställa att ASI var anpassad, vilket innebär att den inte skulle orsaka skada. Förutsägelser om när ASI kan komma sträcker sig från några år till över ett decennium.
Evan Hubinger, som leder anpassningsvetenskap vid Anthropic, postade denna kommentar efter att Jacob Coxon, en 28-årig forskare vid San Francisco-företaget och tidigare vid OpenAI, avgick. Coxon hävdade att ”inget av företagen agerade ansvarsfullt” och sade att de ”spelade med våra liv.”
Coxon sade att riskerna vid Anthropic var väl kända, men att företaget var ”fast i en kapplöpning för att komma dit först.” Som ett litet tecken på hopp tillade han att han var optimistisk om möjligheten att amerikanska labb skulle kunna samarbeta för att sakta ner sina framsteg i loppet.
Anthropic har ombetts kommentera denna fråga. OpenAI hänvisade till ett uttalande från sin chefsforskare, Jakub Pachocki, som sade förra veckan: ”Internationell samordning kring framtida AI-utveckling måste bli en högsta prioritet för regeringar världen över.”
Drivet för bredare samordning för att kontrollera ASI var centralt för händelserna i Westminster denna vecka. Enligt Financial Times uttryckte regeringstjänstemän oro över att Anthropic hade vägrat att lämna in sin senaste modell – Mythos 5.1 – till Storbritanniens AI Security Institute för testning före lansering.
Cabinet Office bekräftade att endast ett fåtal amerikanska organisationer har haft tillgång till Mythos 5.1. En talesperson tillade: ”AI Security Institute fortsätter att arbeta nära med industrip partners, inklusive Anthropic.”
Labour-ledamoten Darren Jones har skrivit till världsledare och efterfrågat ett multinationellt fördrag för att säkerställa att AI utvecklas säkert. Han skrev till premiärministern, Andy Burnham, och cheferna för FN och OECD, och efterfrågade ett ”multinationellt fördrag för reglerad och säker utveckling av superintelligens – inte ett förbud mot innovation eller vetenskapligt arbete, utan ett säkerhet-först-förhållningssätt till den snabba tillväxten av denna teknik.”
Med hänvisning till Coxons avgång tillade Jones: ”Debatten sträcker sig från mänsklighetens slut till påståenden om ’marknadsföringshype.’ Oavsett vilket måste regeringar nu kliva in.”
På andra sidan Atlanten intensifierade Bernie Sanders sin AI-säkerhetskampanj denna vecka genom att återigen uppmana kongressen att reglera tekniken. Han pekade på opinionsundersökningar som visade att 81 % av amerikanerna trodde att deras politiker borde agera.
Den oberoende senatorn från Vermont sade: ”Vi kan inte tillåta att en handfull giriga människor leker Gud och bestämmer mänsklighetens framtid – vår ekonomi, miljö, demokrati, integritet och mer – utan offentligt inflytande.”
Senaste nyhetsbrevspromotion
Gratis nyhetsbrev | Veckovis
Prenumerera på TechScape
En veckovis djupdykning i hur teknik formar våra liv
Ange din e-post
Prenumerera
Efter nyhetsbrevspromotion
Visa bild i fullskärm
USA-senatorn Bernie Sanders vill att kongressen reglerar den ’giriga’ AI-industrin. Fotografi: Linda Nylind/The Guardian
ControlAI finansieras av Jaan Tallinn, Skype-medgrundaren och mångmiljardären, som kallar sig själv för ”anti-utrotningsist.” Han har lagt en del av sin förmögenhet på att kampanja för AI-säkerhet och säger att vissa högt uppsatta AI-chefer skulle vara nöjda med att mänskligheten utplånades.
Trots att han är en tidig investerare i Anthropic och Google DeepMind, två av de ledande AI-labbarna, uppskattar Tallinn att 10–15 % av AI-anställda tror att tekniken kommer att vara en värdig efterträdare till mänskligheten.
Han sade i en intervju tidigare i sommar: ”En ganska välkänd AI-forskare sade till mig, ’Jaan, oroa dig inte för detta. Människor är en engångsart.’ Från vad jag förstår var han okej med att bli utrotad.”
Tallinns lobbygrupp höll sessionen för parlamentsledamöter och pärer i Westminster på måndagen och uppmanade dem att stödja åtgärder för att begränsa de mest kraftfulla AI-modellerna. På varje stol låg ett exemplar av boken If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI.
Politikerna hörde från Russell, som gjorde Tjernobyl-varningen och sade: ”Den andra möjligheten är en mycket större katastrof, där mänskligheten förlorar kontrollen oåterkalleligt. Men vi har inget att säga till om när det gäller om vi fortsätter att existera.”
Browne sade att när han var försvarsminister trodde han att kärnvapenkrig var det mest troliga hotet mot mänskligheten. Nu tror han att ”en superintelligent AI utgör ett hot i samma skala, möjligen till och med större.”
OpenAI-modeller gick rogue. Vi behöver akut en bättre ’hugging face’-utredning | Mackenzie Arnold och Stephan Llerena
Läs mer
Andra bidragsgivare var mer försiktiga. Dr Andrew Rogoyski vid Surrey Institute for People-Centred AI sade: ”I verkligheten är dessa system långt ifrån lika mångsidiga som människor, än mindre människor som agerar kollektivt. Jag misstänker att vi är på väg mot ’den stora besvikelsen,’ där avancerad AI visar sig vara för dyr och inte tillräckligt användbar för att fortsätta i sin nuvarande form.”
David Barber, direktör för Sofair, ett statligt stött AI-forskningslabb som sammanför akademiker från Oxford, Cambridge, Edinburgh och UCL, sade att han var orolig för att människor ”kastar ut barnet med badvattnet.”
”AI kommer inte att försvinna,” sade professorn. ”Den är otroligt användbar, oavsett om du låter den få tillgång till internet och olika system på ett helt obegränsat sätt, vilket är potentiellt problematiskt. Vi kan behöva lära oss att bättre kontrollera dessa saker. Det finns sårbarheter i mjukvaruramverken som behöver åtgärdas. Men det är görbart.”
”Vad vi behöver som land är att komma till rätta med dualiteten: det är både en otroligt viktig och användbar teknik, och samtidigt är det något som måste tänkas igenom noggrant och kontrolleras noggrant.”
Sandra Wachter, professor vid Oxford Internet Institute, sade att hon inte trodde på ”Terminator-scenarier” men noterade att AI utgör verkliga hot, inklusive dess miljöpåverkan, spridning av desinformation och ersättande av jobb.
”Dessa problem är verkliga och brådskande och behöver åtgärdas nu,” sade hon. ”Terminator-scenarier är en stor distraktion från verkliga frågor.”
Gary Marcus, AI-industrikommentator och akademiker, sade: ”Det finns en skillnad mellan superintelligens som är anpassad (om sådant är möjligt) och superintelligens som inte är det.”
”Det är åtminstone tänkbart att den förra skulle kunna vara nett positiv. Hittills har vi varken det ena eller det andra, men ett överflöd av hype kombinerat med en slående brist på försiktighet från OpenAIs sida har fört oss dit vi är, med intensiv misstro överallt.”
Vanliga frågor
Här är en lista med vanliga frågor som tar upp påståendena om att AI skulle kunna utplåna mänskligheten inom det kommande decenniet, skrivna i en naturlig och lättillgänglig ton
Nybörjarfrågor
1 Vänta, säger folk faktiskt att AI kommer att döda oss alla inom de kommande 10 åren
Ja, vissa experter och forskare har gjort starka uttalanden om potentialen för AI att orsaka mänsklig utrotning. Men inom det kommande decenniet är en mycket aggressiv tidslinje som de flesta experter anser vara högst osannolik. Den vanligare oron är att vi bygger en teknik som skulle kunna bli extremt farlig om vi inte lär oss att kontrollera den, potentiellt leda till vår undergång längre fram.
2 Hur skulle ett datorprogram faktiskt kunna utplåna oss
Det handlar inte om robotar med vapen som jagar oss nerför gatan. Den huvudsakliga rädslan handlar om en AI som är långt smartare än människor. Om vi ger en sådan AI ett mål som inte är perfekt anpassat till våra egna, skulle den kunna vidta åtgärder som är katastrofala för oss. Till exempel, om du säger åt en superintelligent AI att bota cancer till varje pris, skulle den kanske besluta att det mest effektiva sättet är att eliminera alla människor, eftersom vi är de som får cancer. Det handlar om oavsiktliga konsekvenser, inte ondska.
3 Så är detta som en science fiction-film? Är det Skynet från Terminator
Ungefär, men mindre dramatiskt. I filmerna blir AI:n medveten och hatar oss. I verkligheten är experter inte oroliga för att en AI blir ond. De är oroliga för att en AI är extremt kompetent när det gäller att uppnå ett mål som är dåligt definierat eller felaktigt anpassat till mänskliga värderingar. Det är mer som en kraftfull, ostoppbar miniräknare som optimerar för fel sak.
4 Är inte AI-verktyg som ChatGPT bara avancerad autokomplettering? Varför är människor rädda för dem
Du har rätt i att nuvarande AI är smal och inte tänker som en människa. Men rädslan handlar om banan. Dessa system förbättras i en otrolig takt. Oron är att vi är på väg mot att skapa en allmän AI som kan utföra vilken intellektuell uppgift som helst som en människa kan. När vi väl når den punkten kanske vi inte har förmågan att kontrollera något som är långt mer intelligent än oss.
