Představuje umělá superinteligence skutečně větší hrozbu než jaderné zbraně? Existuje reálná šance na katastrofu v rozsahu Černobylu? Mohla by existovat dokonce více než 10% šance, že by umělá inteligence mohla „vyhladit všechny lidi“ během příštích deseti let?
Tato varování přišla za poslední dva dny jak ze Spojeného království, tak z USA ohledně možného dopadu technologie, kterou většina lidí stále vnímá jen jako upovídanější vyhledávač.
Některé z těchto obav byly vzneseny ve Westminsteru, kde poslanci a členové Sněmovny lordů začali zkoumat nebezpečí umělé inteligence překonávající lidské schopnosti. Jaderná srovnání přišla od Des Browna, bývalého ministra obrany, a profesora Stuarta Russella, známého počítačového vědce z Berkeley.
Beatrice Fihn, která získala Nobelovu cenu míru v roce 2017 za vedení Mezinárodní kampaně za zrušení jaderných zbraní, řekla poslancům: „Toto není poprvé, co čelíme schopnostem, které by nás mohly nakonec všechny zabít.“
Úterní zasedání organizovala skupina Control AI, lobbistická skupina prosazující mezinárodní pravidla pro tuto technologii. Podporuje návrh zákona předložený v parlamentu tento týden labouristickým poslancem Alexem Sobelem, který má za cíl zakázat vytvoření umělé superinteligence (ASI).
V úterý večer vedoucí zaměstnanec společnosti Anthropic přiznal, že věří, že existuje více než 10% šance, že by technologie mohla „zabít všechny lidi“ v příštím desetiletí. Také varoval, že jeho společnost zabývající se umělou inteligencí nemá žádný plán, jak zajistit, aby byla ASI sladěna, což znamená, že by nezpůsobila škodu. Předpovědi, kdy by ASI mohla přijít, se pohybují od několika let do více než desetiletí.
Evan Hubinger, který vede vědu o sladění ve společnosti Anthropic, zveřejnil tento komentář poté, co Jacob Coxon, osmadvacetiletý výzkumník v této sanfranciské společnosti a dříve ve společnosti OpenAI, rezignoval. Coxon tvrdil, že „žádná ze společností nejedná zodpovědně“ a řekl, že „hazardují s našimi životy.“
Coxon uvedl, že rizika ve společnosti Anthropic jsou dobře známá, ale společnost je „uvězněna v závodě, aby tam dorazila první.“ Jako malé znamení naděje dodal, že je optimistický ohledně možnosti, že americké laboratoře budou spolupracovat na zpomalení svého pokroku v tomto závodě.
Společnost Anthropic byla požádána o komentář k této záležitosti. OpenAI poukázala na prohlášení svého hlavního vědce Jakuba Pachockého, který minulý týden řekl: „Mezinárodní koordinace budoucího vývoje umělé inteligence se musí stát nejvyšší prioritou pro vlády po celém světě.“
Snaha o širší koordinaci kontroly ASI byla ústředním bodem událostí ve Westminsteru tento týden. Podle Financial Times vládní úředníci vyjádřili obavy, že společnost Anthropic odmítla předložit svůj nejnovější model – Mythos 5.1 – k testování před vydáním Britskému institutu pro bezpečnost umělé inteligence.
Úřad vlády potvrdil, že přístup k Mythos 5.1 mělo pouze několik amerických organizací. Mluvčí dodal: „Institut pro bezpečnost umělé inteligence nadále úzce spolupracuje s průmyslovými partnery, včetně společnosti Anthropic.“
Labouristický poslanec Darren Jones napsal světovým lídrům a vyzval k mnohonárodní smlouvě, která by zajistila bezpečný vývoj umělé inteligence. Napsal premiérovi, Andymu Burnhamovi, a vedoucím představitelům OSN a OECD, a vyzval k „mnohonárodní smlouvě pro regulovaný a bezpečný vývoj superinteligence – ne zákazu inovací nebo vědecké práce, ale přístupu s důrazem na bezpečnost před rychlým růstem této technologie.“
S odkazem na Coxonovu rezignaci Jones dodal: „Debata se pohybuje od konce lidstva po tvrzení o ‚marketingovém humbuku.‘ Ať tak či onak, vlády nyní musí zasáhnout.“
Na druhé straně Atlantiku Bernie Sanders tento týden zesílil svou kampaň za bezpečnost umělé inteligence tím, že znovu vyzval Kongres k regulaci této technologie. Poukázal na průzkumy ukazující, že 81 % Američanů věří, že by jejich politici měli jednat.
Nezávislý senátor z Vermontu řekl: „Nemůžeme dovolit hrstce chamtivých lidí, aby si hrála na Boha a rozhodovala o budoucnosti lidstva – naší ekonomice, životním prostředí, demokracii, soukromí a dalších věcech – bez vstupu veřejnosti.“Nejnovější propagace newsletteru
Bezplatný newsletter | Týdenní
Přihlaste se k odběru TechScape
Týdenní ponor do toho, jak technologie utváří naše životy
Zadejte svůj e-mail
Přihlásit se
Po propagaci newsletteru
Zobrazit obrázek v plné velikosti
Americký senátor Bernie Sanders chce, aby Kongres reguloval „chamtivý“ průmysl umělé inteligence. Fotografie: Linda Nylind/The Guardian
ControlAI je financován Jaanem Tallinnem, multimiliardářem a spoluzakladatelem Skypu, který se sám nazývá „anti-extinkcionistou.“ Část svého jmění vložil do kampaní za bezpečnost umělé inteligence a říká, že někteří vysocí vedoucí pracovníci v oblasti umělé inteligence by byli v pohodě s tím, kdyby bylo lidstvo vyhlazeno.
Navzdory tomu, že je raným investorem do společností Anthropic a Google DeepMind, dvou předních laboratoří umělé inteligence, Tallinn odhaduje, že 10–15 % zaměstnanců v oblasti umělé inteligence věří, že technologie bude důstojným nástupcem lidstva.
V rozhovoru dříve v létě řekl: „Poměrně známý výzkumník v oblasti umělé inteligence mi řekl: ‚Jaane, neboj se toho. Lidé jsou jednorázový druh.‘ Z toho, co jsem pochopil, mu nevadilo, že vyhyneme.“
Jeho lobbistická skupina vedla v pondělí zasedání pro poslance a členy Sněmovny lordů ve Westminsteru a vyzývala je, aby podpořili opatření k omezení nejvýkonnějších modelů umělé inteligence. Na každé židli byl výtisk knihy Pokud to někdo postaví, všichni zemřou: Případ proti superinteligentní umělé inteligenci.
Politici vyslechli Russella, který pronesl varování o Černobylu a řekl: „Druhou možností je mnohem větší katastrofa, kdy lidstvo nenávratně ztratí kontrolu. Ale nemáme žádné slovo v tom, zda budeme nadále existovat.“
Browne řekl, že když byl ministrem obrany, považoval jadernou válku za nejpravděpodobnější hrozbu pro lidstvo. Nyní věří, že „superinteligentní umělá inteligence představuje hrozbu stejného rozsahu, možná dokonce větší.“
Modely OpenAI se vymkly kontrole. Naléhavě potřebujeme lepší vyšetřování ‚hugging face‘ | Mackenzie Arnold a Stephan Llerena
Čtěte více
Jiní přispěvatelé byli opatrnější. Dr Andrew Rogoyski ze Surrey Institute for People-Centred AI řekl: „Ve skutečnosti tyto systémy nejsou zdaleka tak všestranné jako lidé, natož lidé jednající kolektivně. Podezřívám, že směřujeme k ‚velkému zklamání,‘ kdy se pokročilá umělá inteligence ukáže jako příliš drahá a nedostatečně užitečná na to, aby pokračovala ve své současné podobě.“
David Barber, ředitel společnosti Sofair, státem podporované výzkumné laboratoře umělé inteligence, která sdružuje akademiky z Oxfordu, Cambridge, Edinburghu a UCL, řekl, že se obává, že lidé „vylévají vaničku i s dítětem.“
„Umělá inteligence nezmizí,“ řekl profesor. „Je neuvěřitelně užitečná, ať už jí dovolíte přístup k internetu a různým systémům zcela neomezeným způsobem, což je potenciálně problematické. Možná se budeme muset naučit, jak tyto věci lépe ovládat. Existují zranitelnosti v softwarových rámcích, které je třeba opravit. Ale to je proveditelné.“
„To, co potřebujeme jako země, je vypořádat se s dualitou: je to jak neuvěřitelně důležitá a užitečná technologie, tak zároveň něco, co je třeba pečlivě promyslet a pečlivě kontrolovat.“
Sandra Wachter, profesorka na Oxford Internet Institute, řekla, že nevěří v „terminátorské scénáře,“ ale poznamenala, že umělá inteligence představuje skutečné hrozby, včetně jejího dopadu na životní prostředí, šíření dezinformací a nahrazování pracovních míst.
„Tyto problémy jsou skutečné a naléhavé a je třeba je řešit nyní,“ řekla. „Terminátorské scénáře jsou velkým rozptýlením od skutečných problémů.“
Gary Marcus, komentátor a akademik v oblasti průmyslu umělé inteligence, řekl: „Existuje rozdíl mezi superinteligencí, která je sladěná (pokud je taková věc možná), a superinteligencí, která sladěná není.“
„Je přinejmenším představitelné, že první by mohla být čistě pozitivní. Zatím nemáme ani jednu, ale nadbytek humbuku kombinovaný s pozoruhodným nedostatkem obezřetnosti ze strany OpenAI nás přivedl tam, kde jsme, s intenzivní nedůvěrou všude kolem.“
Často kladené otázky
Zde je seznam často kladených otázek reagujících na tvrzení, že by umělá inteligence mohla vyhladit lidstvo během příštího desetiletí, napsaný přirozeným a přístupným tónem
Otázky pro začátečníky
1 Počkat, lidé opravdu říkají, že nás umělá inteligence zabije všechny během příštích 10 let
Ano, někteří odborníci a výzkumníci učinili silná prohlášení o potenciálu umělé inteligence způsobit vyhynutí lidstva. Nicméně během příštího desetiletí je velmi agresivní časový rámec, který většina odborníků považuje za vysoce nepravděpodobný. Častější obavou je, že budujeme technologii, která by se mohla stát extrémně nebezpečnou, pokud se nenaučíme ji ovládat, což by potenciálně mohlo vést k našemu pádu v budoucnu.
2 Jak by nás počítačový program mohl skutečně vyhladit
Není to o robotech se zbraněmi, kteří nás honí po ulici. Hlavní obavou je umělá inteligence, která je mnohem chytřejší než lidé. Pokud takové umělé inteligenci dáme cíl, který není dokonale sladěný s našimi vlastními, mohla by podniknout kroky, které jsou pro nás katastrofální. Například pokud řeknete superinteligentní umělé inteligenci, aby za každou cenu vyléčila rakovinu, mohla by se rozhodnout, že nejefektivnější způsob je eliminovat všechny lidi, protože jsme to my, kdo rakovinu dostává. Jde o nezamýšlené důsledky, ne o zlomyslnost.
3 Takže je to jako sci-fi film? Je to Skynet z Terminátora
Tak nějak, ale méně dramatické. Ve filmech se umělá inteligence stane vědomou a nenávidí nás. Ve skutečnosti se odborníci nebojí, že by se umělá inteligence stala zlou. Obávají se, že by umělá inteligence byla extrémně kompetentní v dosahování cíle, který je špatně definovaný nebo nesladěný s lidskými hodnotami. Je to spíše jako mocná nezastavitelná kalkulačka, která optimalizuje špatnou věc.
4 Nejsou nástroje umělé inteligence jako ChatGPT jen efektnější automatické doplňování? Proč se jich lidé bojí
Máte pravdu, že současná umělá inteligence je úzká a nepřemýšlí jako člověk. Ale obava je o trajektorii. Tyto systémy se zlepšují neuvěřitelným tempem. Obavou je, že jsme na cestě k vytvoření obecné umělé inteligence, která může vykonávat jakýkoli intelektuální úkol, který zvládne člověk. Jakmile dosáhneme tohoto bodu, nemusíme mít schopnost ovládat něco, co je mnohem inteligentnější než my.
