Sam Altman och Elon Musk har stöttat en uppmaning från Anthropics vd Dario Amodei att "sakta ner takten" i AI-utvecklingen, efter att han varnat för att en AI-svärm annars skulle kunna bli kapabel att "ta över hela internet" inom ett år. I en sällsynt uppvisning av enighet stödde de rivaliserande teknikledarna vädjan från grundaren och vd:n för AI-företaget Anthropic, som följde på en rad varningar från AI-forskare förra veckan. I en essä lade Amodei fram sina tankar om "varför AI-industrin borde sakta ner", med en tredelad plan som börjar med att ge oberoende granskare ständig tillgång till utvecklarnas forskningsprocesser. Amodei sade att "att bygga [AI] för snabbt är ansvarslöst" och fruktade att efter att hundratals OpenAI-agenter hackade in sig på Hugging Face-webbplatsen i somras, skulle en svärm med större kapacitet men liknande feljustering kunna orsaka hundratals miljarder dollar i skador genom att "ta över hela internet med ett ihållande botnät." Vissa AI-experter ifrågasatte detta som inte särskilt troligt och sade att det borde bemötas med skepsis. Musk, grundaren av Tesla och SpaceX, svarade på Amodeis nedtrappningsplan med ett inlägg på X: "Dario har rätt." Han sade: "Jag har larmat om AI under lång tid," och hänvisade till ett inlägg från 2014 där han sade: "Vi måste vara superförsiktiga med AI. Potentiellt farligare än kärnvapen." Amodeis uppmaning kommer när Anthropic förbereder sig för att börsnoteras på den amerikanska aktiemarknaden, i vad som förväntas bli den största börsintroduktionen någonsin. Det förväntas börja marknadsföra sin planerade börsintroduktion på över 2 biljoner dollar (1,5 biljoner pund) snart. Visa bild i fullskärmFrån vänster till höger: Elon Musk, Dario Amodei och Sam Altman. Fotograf: Fabrice Coffrini, Julien de Rosa, Mandel Ngan/AFP/Getty ImagesSam Altman, vd för OpenAI, svarade på Amodeis kommentarer i lördags. "Jag håller med Dario om att vi måste hålla jämn takt vid fronten," sade han i ett inlägg på X. "Att förbinda sig till att ha oberoende utvärderare med anställdas tillgång är en utmärkt idé, och vi kommer att göra samma sak. Vi kommer att ha mer att dela snart." Han sade också att OpenAI inte skulle börsnoteras 2026, med hänvisning till säkerhetsbekymmer kring artificiell intelligens. "Jag tycker faktiskt att, med tanke på allt som händer med säkerhet, skulle just nu vara ett olämpligt ögonblick att börsnoteras, och vi känner ingen press på det," sade Altman till Fortune. På frågan varför han, Amodei, Musk och vd:arna för Meta och Google inte satte sig ner och "kom överens" om en kollektiv nedtrappning, sade han: "Jag tror att det kommer att hända." OpenAI:s börsintroduktion kommer inte att ske 2026 på grund av AI-säkerhetsfarhågor, säger Sam AltmanLäs merDemis Hassabis, medgrundare och ordförande för Google Deep Mind, sade också: "Detaljerna behöver arbetas igenom, men riktningen är korrekt för att möta detta kritiska ögonblick." Amodeis plan söker ett undantag från den amerikanska regeringen för att tillåta ledande AI-företag att samordna utan att straffas för konkurrenshämmande samverkan. Men David Sacks, en av ordförandena i Donald Trumps råd för vetenskap och teknik, sade: "Sluta låtsas att ni behöver någon annans tillstånd ... Sluta låtsas att motivationen att sakta ner är helt altruistisk. Ni står inför enorm produktansvarsexponering om era produkter möjliggör en verkligt skadlig cyberattack." David Krueger, AI-professor, säkerhetskampanjare och tidigare grundande direktör för den brittiska regeringens AI Security Institute, sade: "Denna plan minskar inte risken till en acceptabel nivå, och Dario är noga med att inte säga att den skulle göra det." Kung Charles förbereder sig samtidigt för att träffa ledande gestalter från de mest framträdande AI-företagen denna vecka för att fråga dem hur tekniken kan utvecklas för "mänsklighetens bästa." Han hoppas att diskussionerna, som ska hållas i Skottland, kommer att leda till en "bredare förståelse" för "ansvaret" med att utveckla AI, sade en kunglig källa till Sunday TiA till tidningen: "Kungen är där för att sammankalla, lyssna och uppmuntra dessa diskussioner och för att ställa frågan: 'Hur utvecklar vi AI för mänsklighetens bästa?'"
Jensen Huang, vd för Nvidia, Hassabis, Niccolo de Masi, ordförande och vd för IonQ, och Paolo Benanti, en rådgivare till påven i frågor om AI och teknologietik, förväntas delta i evenemanget som övervakas av Ditchley Foundation, som har utarbetat ett utkast till stadga för AI-ledare.
OpenAI-forskaren Aidan McLaughlin kallade Amodeis essä "utmärkt" och sade att han höll med "i stort sett vartenda ord."
Amodei sade att hans företag "unilateralt" skulle förbinda sig till det första av stegen, och sade att Anthropic skulle ge "tredjepartsutvärderare permanent tillgång på anställdsnivå till våra system, så att de kan verifiera efterlevnad av våra säkerhetsåtgärder, rapportera om incidenter och bedöma modellers anpassning under träning."
Allt fler amerikanska lagstiftare kräver nya regler för att styra AI-system efter fall där AI-agenter gått rogue och hackat externa system och AI-säkerhetsforskare som slutat sina jobb på grund av oro över teknikens risker. Politiker, både demokrater och republikaner, har svarat med alarm och krav på mer åtgärder. I helgen rapporterade New York Times att Barack Obama i torsdags privat uppmanade demokraterna att prioritera AI-övervakning i sin agenda, och sade till partiledare i torsdags: "Detta är något som rör sig mycket snabbt i privata händer, och om vi inte får kontroll över det, tror jag att det kan vara farligt."
Den tidigare brittiska premiärministern Rishi Sunak, som är rådgivare till Anthropic, skrev i söndags: "Vi har fått en väckarklocka att ta AI-säkerhet på större allvar, att lista ut hur man sätter gränser för forskning. Om regeringar inte lyssnar på detta kommer risken för en allvarlig olycka att bli oacceptabelt hög."
I onsdags hade en tidigare Anthropic-anställd varnat för att AI skulle kunna påskynda mänsklighetens utrotning till 2030. Forskaren, Jacob Coxon, sade i en serie inlägg att han hade slutat sitt jobb eftersom Anthropic och hans tidigare arbetsgivare, OpenAI, ignorerade eller misskötte sin respons på hotet som AI utgjorde.
På frågan om sin tidigare anställdes syn sade Amodei: "Jag håller med Jacob mycket mer än jag inte håller med honom ... Jag tror att det finns en viss chans att saker går fel men det är inte så hög."
"Jag är inte en domedagsprofet om detta," sade han till CNN. "Jag tror att denna teknik kan byggas säkert."
Vanliga frågor
Vanliga frågor OpenAIs vd Elon Musk och uppmaningar att sakta ner ansvarslös AI-utveckling
Grunderna
Vad handlar allt detta om
I mars 2023 undertecknade Elon Musk och över 1000 teknikledare ett öppet brev som uppmanade till en 6-månaders paus i träning av AI-system kraftfullare än GPT-4 OpenAIs vd Sam Altman har också varnat för AI-risker även om han inte undertecknade brevet
Vem är Sam Altman
Han är vd för OpenAI företaget bakom ChatGPT och GPT-4
Vem är Elon Musk
Vd för Tesla och SpaceX ägare till X och en rolig detalj en medgrundare av OpenAI som lämnade styrelsen 2018
Vilket brev pratar folk om
Ett öppet brev från Future of Life Institute med titeln Pause Giant AI Experiments publicerat i mars 2023
Vad bad brevet faktiskt om
En 6-månaders paus i träning av AI-system kraftfullare än GPT-4 så att säkerhetsstandarder kunde utvecklas först
Varför kallade undertecknarna AI-utveckling ansvarslös
De hävdade att företag rusade framåt utan att veta om avancerad AI kunde missbrukas eller bli svår att kontrollera
De viktigaste gestalterna
Undertecknade Sam Altman pausbrevet
Nej OpenAI undertecknade det inte och Altman sade att han höll med om delar av det men tyckte att en paus inte var rätt tillvägagångssätt
Så tycker Altman att AI är farligt
Ja Han har upprepade gånger sagt att AI kan orsaka allvarlig skada och har bett regeringar att reglera det
Om båda oroar sig för AI varför är de inte på samma sida
Musk vill sakta ner saker Altman vill fortsätta bygga men försiktigt och driva på för säkerhetsregler längs vägen
Är Musk fortfarande involverad i OpenAI
Nej Han lämnade styrelsen 2018 och stämde senare OpenAI och hävdade att det hade avvikit från sitt ideella uppdrag
Undertecknade Musk det själv
Ja han var en av de mest framträdande undertecknarna
Vanliga frågor och funderingar
Skulle en 6-månaders paus ens fungera
Förmodligen inte på egen hand Kritiker säger att företag inte skulle sluta frivilligt och det finns inget globalt organ som kan upprätthålla det
Varför motsätter sig vissa experter pausen
De hävdar att pausen skulle vara omöjlig att upprätthålla och sakta ner användbara AI-fördelar
OpenAI:s vd och Elon Musk stöder uppmaningar att bromsa "ansvarslös" AI-utveckling.
