Udgør kunstig superintelligens virkelig en større trussel end atomvåben? Er der en reel chance for en katastrofe på størrelse med Tjernobyl? Kunne der endda være mere end 10 % sandsynlighed for, at AI måske "udsletter alle mennesker" inden for de næste ti år?
Disse advarsler er kommet frem i løbet af de sidste to dage fra både Storbritannien og USA om den mulige indvirkning af en teknologi, som de fleste mennesker stadig ser som blot en mere snakkesalig søgemaskine.
Nogle af disse bekymringer blev rejst i Westminster, hvor parlamentsmedlemmer og medlemmer af Overhuset er begyndt at undersøge farerne ved AI, der overgår menneskelige evner. Atomvåbensammenligningerne kom fra Des Browne, en tidligere forsvarsminister, og professor Stuart Russell, en kendt datalog ved Berkeley.
Beatrice Fihn, som vandt Nobels fredspris i 2017 for at lede den internationale kampagne for at afskaffe atomvåben, sagde til parlamentsmedlemmerne: "Dette er ikke første gang, vi står over for kapaciteter, der kan ende med at slå os alle ihjel."
Sessionen mandag blev organiseret af Control AI, en lobbygruppe, der presser på for internationale regler for teknologien. Den støtter et lovforslag, der blev fremlagt i parlamentet denne uge af Labour-parlamentsmedlem Alex Sobel, som har til formål at forbyde skabelsen af kunstig superintelligens (ASI).
Tirsdag aften indrømmede en senior medarbejder hos Anthropic, at han troede, at der var mere end 10 % sandsynlighed for, at teknologien kunne "dræbe alle mennesker" i det næste årti. Han advarede også om, at hans AI-virksomhed ikke havde nogen plan for at sikre, at ASI var afstemt, hvilket betyder, at det ikke ville forårsage skade. Forudsigelser for, hvornår ASI måske ankommer, spænder fra et par år til over et årti.
Evan Hubinger, som leder afstemningsvidenskab hos Anthropic, postede denne kommentar, efter at Jacob Coxon, en 28-årig forsker hos San Francisco-virksomheden og tidligere hos OpenAI, trådte tilbage. Coxon hævdede, at "ingen af virksomhederne handlede ansvarligt" og sagde, at de "spillede hasard med vores liv."
Coxon sagde, at risiciene hos Anthropic var velkendte, men at virksomheden var "låst fast i et kapløb om at komme derhen først." Som et lille tegn på håb tilføjede han, at han var optimistisk omkring muligheden for, at amerikanske laboratorier kunne arbejde sammen om at bremse deres fremskridt i kapløbet.
Anthropic er blevet bedt om at kommentere på dette spørgsmål. OpenAI henviste til en erklæring fra sin chefvidenskabsmand, Jakub Pachocki, som sagde i sidste uge: "International koordinering om fremtidig AI-udvikling er nødt til at blive en topprioritet for regeringer verden over."
Presset for bredere koordinering for at kontrollere ASI var centralt for begivenhederne i Westminster denne uge. Ifølge Financial Times udtrykte regeringsembedsmænd bekymring over, at Anthropic havde nægtet at indsende sin nyeste model – Mythos 5.1 – til Storbritanniens AI-sikkerhedsinstitut til test før udgivelsen.
Cabinet Office bekræftede, at kun få amerikanske organisationer har haft adgang til Mythos 5.1. En talsperson tilføjede: "AI-sikkerhedsinstituttet fortsætter med at arbejde tæt sammen med industripartnere, herunder Anthropic."
Labour-parlamentsmedlem Darren Jones har skrevet til verdensledere og opfordret til en multinational traktat for at sikre, at AI udvikles sikkert. Han skrev til premierministeren, Andy Burnham, og lederne af FN og OECD og opfordrede til en "multinational traktat for reguleret og sikker udvikling af superintelligens – ikke et forbud mod innovation eller videnskabeligt arbejde, men en sikkerheds-først-tilgang til den hurtige vækst af denne teknologi."
Med henvisning til Coxons tilbagetræden tilføjede Jones: "Debatten spænder fra menneskehedens ende til påstande om 'markedsføringshype.' Under alle omstændigheder må regeringer nu gribe ind."
På den anden side af Atlanten optrappede Bernie Sanders sin AI-sikkerhedskampagne denne uge ved igen at opfordre Kongressen til at regulere teknologien. Han pegede på meningsmålinger, der viste, at 81 % af amerikanerne mente, at deres politikere burde handle.
Den uafhængige senator fra Vermont sagde: "Vi kan ikke tillade en håndfuld grådige mennesker at spille Gud og bestemme menneskehedens fremtid – vores økonomi, miljø, demokrati, privatliv og mere – uden offentlig indflydelse."Seneste nyhedsbrevstilbud
Gratis nyhedsbrev | Ugentligt
Tilmeld dig TechScape
En ugentlig dykker ned i, hvordan teknologi former vores liv
Indtast din e-mail
Tilmeld dig
Efter nyhedsbrevstilbud
Vis billede i fuld skærm
Den amerikanske senator Bernie Sanders ønsker, at Kongressen regulerer den 'grådige' AI-industri. Fotografi: Linda Nylind/The Guardian
ControlAI er finansieret af Jaan Tallinn, multi-milliardæren og medstifteren af Skype, som kalder sig selv en "anti-udryddelsesforkæmper." Han har lagt en del af sin formue i kampagner for AI-sikkerhed og siger, at nogle senior AI-direktører ville have det fint med, at menneskeheden blev udslettet.
På trods af at være en tidlig investor i Anthropic og Google DeepMind, to af de førende AI-laboratorier, vurderer Tallinn, at 10-15 % af AI-medarbejdere tror, at teknologien vil være en værdig efterfølger til menneskeheden.
Han sagde i et interview tidligere på sommeren: "En ret kendt AI-forsker fortalte mig, 'Jaan, bekymre dig ikke om dette. Mennesker er en engangsspecies.' Ud fra hvad jeg forstår, havde han det fint med at blive udryddet."
Tallinns lobbygruppe kørte sessionen for parlamentsmedlemmer og medlemmer af Overhuset i Westminster mandag og opfordrede dem til at støtte foranstaltninger til at begrænse de mest kraftfulde AI-modeller. På hver stol lå et eksemplar af bogen If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI.
Politikerne hørte fra Russell, som kom med Tjernobyl-advarslen og sagde: "Den anden mulighed er en meget større katastrofe, hvor menneskeheden mister kontrollen uigenkaldeligt. Men vi har ingen indflydelse på, om vi fortsætter med at eksistere."
Browne sagde, at da han var forsvarsminister, troede han, at atomkrig var den mest sandsynlige trussel mod menneskeheden. Nu mener han, at "en superintelligent AI udgør en trussel på samme skala, muligvis endda større."
OpenAI-modeller gik amok. Vi har akut brug for en bedre 'krammende ansigt'-undersøgelse | Mackenzie Arnold og Stephan Llerena
Læs mere
Andre bidragydere var mere forsigtige. Dr. Andrew Rogoyski fra Surrey Institute for People-Centred AI sagde: "I virkeligheden er disse systemer langt fra så alsidige som mennesker, endsige mennesker, der handler kollektivt. Jeg formoder, at vi er på vej mod 'den store skuffelse,' hvor avanceret AI viser sig at være for dyr og ikke nyttig nok til at fortsætte i sin nuværende form."
David Barber, direktør for Sofair, et statsstøttet AI-forskningslaboratorium, der samler akademikere fra Oxford, Cambridge, Edinburgh og UCL, sagde, at han var bekymret for, at folk "smider barnet ud med badevandet."
"AI forsvinder ikke," sagde professoren. "Det er utroligt nyttigt, uanset om du lader det få adgang til internettet og forskellige systemer på en fuldstændig ubegrænset måde, hvilket potentielt er problematisk. Vi kan være nødt til at lære at kontrollere disse ting bedre. Der er sårbarheder i softwareframeworkene, der skal lappes. Men det er gørligt."
"Hvad vi har brug for som land er at forstå dualiteten: det er både en utroligt vigtig og nyttig teknologi, og på samme tid er det noget, der skal tænkes grundigt igennem og kontrolleres nøje."
Sandra Wachter, professor ved Oxford Internet Institute, sagde, at hun ikke troede på "Terminator-scenarier," men bemærkede, at AI udgør reelle trusler, herunder dens miljøpåvirkning, spredning af misinformation og erstatning af job.
"Disse problemer er reelle og presserende og skal løses nu," sagde hun. "Terminator-scenarier er en stor distraktion fra reelle problemer."
Gary Marcus, en AI-industrikommentator og akademiker, sagde: "Der er en forskel mellem superintelligens, der er afstemt (hvis sådan noget er muligt), og superintelligens, der ikke er."
"Det er i det mindste tænkeligt, at førstnævnte kunne være en nettogevinst. Indtil videre har vi hverken det ene eller det andet, men en overflod af hype kombineret med en slående mangel på forsigtighed fra OpenAIs side har bragt os dertil, hvor vi er, med intens mistillid overalt."
Ofte stillede spørgsmål
Her er en liste over ofte stillede spørgsmål, der adresserer påstandene om, at AI kunne udslette menneskeheden inden for det næste årti, skrevet i en naturlig og tilgængelig tone
Begynderspørgsmål
1 Vent, siger folk faktisk, at AI vil slå os alle ihjel inden for de næste 10 år
Ja, nogle eksperter og forskere har fremsat stærke udtalelser om potentialet for, at AI kan forårsage menneskelig udryddelse. Men inden for det næste årti er en meget aggressiv tidslinje, som de fleste eksperter anser for højst usandsynlig. Den mere almindelige bekymring er, at vi bygger en teknologi, der kunne blive ekstremt farlig, hvis vi ikke lærer at kontrollere den, potentielt føre til vores undergang længere hen ad vejen
2 Hvordan kunne et computerprogram faktisk udslette os
Det handler ikke om robotter med våben, der jagter os ned ad gaden. Den største frygt handler om en AI, der er langt klogere end mennesker. Hvis vi giver sådan en AI et mål, der ikke er perfekt afstemt med vores egne, kan det tage handlinger, der er katastrofale for os. For eksempel, hvis du beder en superintelligent AI om at helbrede kræft for enhver pris, kan det beslutte, at den mest effektive måde er at eliminere alle mennesker, da vi er dem, der får kræft. Det handler om utilsigtede konsekvenser, ikke ondskab
3 Så er det ligesom en sci-fi-film? Er det Skynet fra Terminator
Lidt, men mindre dramatisk. I filmene bliver AI'en bevidst og hader os. I virkeligheden er eksperter ikke bekymrede for, at en AI bliver ond. De er bekymrede for, at en AI er ekstremt kompetent til at opnå et mål, der er dårligt defineret eller ikke afstemt med menneskelige værdier. Det er mere som en kraftfuld, ustoppelig lommeregner, der optimerer for det forkerte
4 Er AI-værktøjer som ChatGPT ikke bare fancy autocomplete? Hvorfor er folk bange for dem
Du har ret i, at nuværende AI er snæver og ikke tænker som et menneske. Men frygten handler om banen. Disse systemer forbedres med en utrolig hastighed. Bekymringen er, at vi er på vej mod at skabe en generel AI, der kan udføre enhver intellektuel opgave, et menneske kan. Når vi når det punkt, har vi måske ikke evnen til at kontrollere noget, der er langt mere intelligent end os
