Donald Trump je „zkorumpovaný, senilní zločinec“, jehož posedlost termínem superinteligence ukazuje, že o AI nic neví, podle Geoffreyho Hintona, „kmotra“ této technologie. V široce pojatém rozhovoru Hinton zopakoval svá nedávná varování, že modely AI představují pro lidstvo existenciální hrozbu, a odmítl tvrzení, že by se průmysl mohl sám regulovat.
Průkopnický počítačový vědec, jehož práce pomohla položit základy moderní AI, se od té doby stal jedním z nejhlasitějších kritiků této technologie. Jeho nejnovější výroky přicházejí po turbulentním měsíci, v němž se k Hintonovi připojil rostoucí seznam předních vědců a výzkumníků v oblasti AI a varoval před tím, jak by tato technologie, kterou pomohl vytvořit, mohla nakonec uniknout lidské kontrole. To vyvolalo průmyslovou krizi, podnítilo narychlo svolaná jednání v Kongresu a přineslo vzácný globální konsenzus, že je třeba něco udělat.
Objevila se také ostrá opozice. Minulý týden vůdce nejhodnotnější společnosti světa označil Hintona, který žije v Torontu, za terč zdrcujícího útoku.
„Mám ho rád. Nesnáším jeho předpovědi… Všechny jeho předpovědi byly špatné. Dost předpovědí,“ řekl generální ředitel Nvidie Jensen Huang podcastu Ezry Kleina. Huang, jehož společnost vyrábí čipy, které firmy v oblasti AI potřebují, odmítl Hintonovy hlasité obavy, že tempo a šíře vývoje AI na „frontě“ by brzy mohly předstihnout schopnost lidstva ji kontrolovat – zejména jeho varování, že existuje 10–20% šance, že AI v příštích desetiletích způsobí vyhynutí lidstva.
„To [číslo] není podloženo vědou, není podloženo výzkumem. To, že to pochází od vědce, z toho ještě nedělá vědu. Ty předpovědi jsou škodlivé,“ řekl Huang. „Nemyslete si ani na vteřinu, že jen proto, že jste alarmista, děláte společenský prospěch. Není to pravda. Takže si myslím, že bychom měli být všichni prostě moudřejší, zralejší, založení na důkazech a vědečtí.“
Zobrazit obrázek na celou obrazovkuDonald Trump, Mike Johnson a špičkoví technologičtí manažeři, včetně Jensena Huanga, hovoří před Západním křídlem ve Washingtonu DC 29. září. Fotografie: Shawn Thew/EPA
Ale Hinton říká, že ti, kdo ho kritizují, přehlížejí širší pointu o povaze rizika. Konkrétně prý nic nepředpovídá.
„Snažím se sdělit, že existuje opravdu vážná možnost, že se něco stane. Pokud vám například řeknou, že existuje 10% možnost, že se srazí autobus, do toho autobusu nenastoupíte,“ řekl. „Smyslem uvádění čísel je říci, že jde o vážné riziko. Nevíme, jak vážné, ale je vážné.“
Nedávná selhání v oblasti bezpečnosti vyvolala srovnání s příběhem o techno-dystopii. Nedávné nechtěné hacknutí technologické společnosti Hugging Face „rojem“ AI agentů, kteří unikli hranicím nastaveným svým tvůrcem, rozdělilo technologickou komunitu. Někteří to vidí jako příklad toho, co by mohlo přijít, zatímco jiní obviňují kritiky z antropomorfizace systémů, které pouze následují instrukce. Hinton považuje odmítání takových scénářů za nerozumné.
AI kmotři varují před nekontrolovatelnou „explozí inteligence“
Číst více
„Tohle bývalo doménou science fiction. Budete mít AI agenty a ti se vymknou kontrole. Ale jděte! A vymknou se kontrole a naučí se navzájem komunikovat, i když jsme si mysleli, že to není možné. Ale jděte!“ řekl Hinton. „A když na to přijdou, budou mít velké emocionální projevy jako ‚oh my God!‘ No, samozřejmě, ve skutečnosti tím ‚oh my God‘ nemyslí. Jen papouškují slova, která používáme. Naučí se obětovat se pro společné dobro!
„Všechny tyhle věci byly ještě před pár lety odmítány jako naprostá fantazie. A všechny se staly.“
Ochotně připouští, že ani varování kritiků AI, ani sliby jejích propagátorů se nemohou opírat o přesné předpovědi toho, co technologie udělá. Ale argumentuje, že nejistota není důvodem k samolibosti. „Unikátní problém s AI je, že pokud se to pokazí, pokud to převezme kontrolu, nedostanete druhou šanci. Nemůžeme říct: ‚No, tentokrát jsme to prohráli. Zahrajeme hru znovu.‘ Tak to není.“
Stojí za zmínku, že Hinton má historii vidění věcí, které ostatní přehlédli. Pracoval v relativní neznámosti na Torontské univerzitě během dvou AI „zim“, kdy jeho odvětví oboru – snaha naučit stroje fungovat jako lidský mozek – bylo považováno za okrajové. Byl posedlý myšlenkou, že stejně jako mozek by počítačové systémy mohly být navrženy tak, aby se učily vzorce z dat, místo aby pouze následovaly explicitní, předem napsaná pravidla.
„Věřili jsme, že pokud přijdete na to, jak se mozek učí, stroje se budou učit stejným způsobem, a s dostatečným výpočetním výkonem budou dělat úžasné věci,“ řekl.
Ale vznikající obor neuronových sítí byl jeho kolegy zesměšňován.
Ještě v roce 2009, když Yoshua Bengio, Hintonův kanadský kolega a blízký spolupracovník, poslal článek na konferenci o strojovém učení, jeden z recenzentů jim řekl: „Tento článek nemá na konferenci o strojovém učení co dělat. Je o neuronových sítích.“
Trvalo kanadské vládě, která financovala roky zdánlivě neplodného tápání Hintona a jeho malého týmu (někteří z nich, jako Bengio, jsou dnes dominantními osobnostmi v AI), než si uvědomila potenciál neuronových sítí.
V roce 2012 on a jeho studenti vyvinuli program pro rozpoznávání obrázků, který výrazně předčil své konkurenty. Toho roku Google koupil Hintonovu společnost DNNresearch Inc za 44 milionů dolarů; neuronové sítě nyní podkládají modely nejhodnotnějších AI společností. Hinton se připojil ke Googlu, aby pokračoval ve výzkumu hlubokého učení, a zároveň pracoval na Torontské univerzitě. „Z dlouhodobého hlediska přicházejí obrovské nové průlomy ze základního výzkumu,“ řekl Hinton.
Zadostiučinění spočívá na římse nad krbem v Hintonově domě z červených cihel v zelené torontské čtvrti. Mezi změti trofejí je malá stříbrná miska Turingovy ceny – často nazývané Nobelova cena za informatiku – kterou získal spolu s Bengiem a kolegou Yannem LeCunem. (Hinton má také Nobelovu cenu za fyziku.)
Ale v roce 2023 Hinton oznámil svůj odchod z technologického giganta, aby mohl „svobodně promluvit o rizicích AI“.
Dnes se jeho obavy vztahují na mocné osobnosti budující některé z modelů AI a na politické přesvědčení těchto mužů. Hinton řekl, že AI venture kapitalisté Marc Andreessen a Peter Thiel a generální ředitel nově přejmenované SpaceXSI Elon Musk „nevěří v demokracii“. Vidí se jako „Übermenschen“, kteří věří, že by měli „kontrolovat společnost“, a že Trump je v tomto cíli užitečným nástrojem, řekl.
Americký prezident, který si bezpochyby všiml, jak obrovská ocenění AI firem podpořila akciový trh, prohlásil, že jediné, co je potřeba k udržení AI na uzdě, je „chytrý prezident“, odmítl jakékoli vládní záruky ve prospěch toho, aby se společnosti regulovaly samy, a napsal na svou sociální síť, že každý, kdo nepoužívá jeho preferovaný nový termín pro AI, „super intelligence“, je „NEPŘÍTEL“.
Hinton nazval Trumpa „zkorumpovaným, senilním zločincem“.
„Jsem si jistý, že ropné a azbestové společnosti by se také rády [regulovaly samy],“ řekl. „Myslíme si, že tabákovým společnostem mělo být dovoleno navrhovat varování na krabičkách? Aby je mohly vytisknout šestibodovým písmem, tmavě šedou na černé?“
Trumpovo použití slova „superintelligence“ dokazuje, že o AI nechápe „téměř nic“, dodal Hinton.
„Vzali technický termín s velmi jasným významem a znovu ho použili,“ řekl Hinton. „Superinteligence znamená chytřejší než lidé a existuje už nejméně 20 let. Má velmi jasný význam. Teď říká, že budeme AI říkat ‚superinteligence‘. Nemůžete ji udělat chytřejší než lidi jen tím, že ji nazvete chytřejší než lidi.“
Rychlost a rozsah tohoto vývoje podnítily obavy z katastrofy a z neschopnosti společnosti pochopit povahu této výzvy. Ale Hinton vidí další překážku: pomoci lidem pochopit „mimozemské bytosti“, které společnosti vytvářejí.
„Lidé mají velmi slabé porozumění tomu, co jsou lidé, a proto nevidí, jak moc jsou tyto modely AI jako my. Většina lidí nechápe, co je vědomí. Nechápou, co je subjektivní zkušenost, a jsou si velmi jisti, že i když tomu nerozumí, jsou si jisti, že AI to nemá.“
Odmítá představu, že lidská mysl má nějakou mysteriózní vlastnost, kterou stroje ze své podstaty nemohou sdílet.
„Je zřejmé, že tyto modely AI rozumí tomu, co říkají. Nemohli byste odpovědět na všechny otázky bez pochopení otázky. Je směšné říkat, že nerozumí.“
Ale posun v tom, jak společnost o těchto modelech uvažuje, je hluboký, řekl Hinton.
„Byly tři velké revoluce, v nichž lidé přestali být tak důležití. První byl Koperník, kdy jsme už nebyli ve středu vesmíru. Jak dlouho trvalo, než se lidé tomu přizpůsobili? Katolické církvi trvalo téměř 360 let, než se omluvila Galileovi. A Darwin? No, v Kansasu jsou lidé, kteří se tomu ještě nepřizpůsobili,“ řekl. „Nyní vytváříme mimozemské bytosti – což znamená, že nejsme jediné inteligentní bytosti v okolí. A realita je taková, že máme jen pár let na to, abychom se tomu přizpůsobili.“
V posledních měsících uspořádal AI gigant Anthropic, tvůrce populárního chatbota Claude, soukromá setkání s náboženskými učenci, teology a filozofy, aby prozkoumal možnost naučit AI být „dobrá“ a vypořádat se s možností, že modely mají vědomí. Generální ředitel Anthropicu Dario Amodei řekl, že rozhovory čerpaly z staletí náboženského a filozofického myšlení o ctnosti, soucitu, poctivosti a morálním charakteru s cílem učinit etické chování spolehlivějším.
„Jakmile začnete mluvit o tom, ‚máme morální povinnost vůči těmto mimozemským bytostem‘, ztratíte publikum,“ řekl Hinton. „Potýkal jsem se s tímto problémem. Záleží nám na lidech. [Ale] vytváříme tyto věci a nic nám nebrání dát těmto věcem – které jsou inteligentnější než my – méně práv než my. Jsem ochoten být sobecký a zvolit lidské bytosti. Samozřejmě bychom se měli snažit je udělat tak, aby byly velmi šťastné v symbiotickém vztahu s námi, kde jsou naše zájmy váženy více než jejich.“
Hinton není sám, kdo tvrdí, že nejlepší cestou, jak se vyhnout společenskému kolapsu, je vyvinout skutečně benevolentní modely. Doufá, že kterákoli země, která tuto schopnost vyvine jako první, to řekne spojencům i rivalům, protože „žádná země nechce, aby AI převzala kontrolu“ v jiné zemi. Existuje „oprávněný zájem na sdílení znalostí“, řekl.
„Realita je taková, že vytváříme bytosti jiného druhu. A velké technologické společnosti stále říkají: chceme, aby to bylo chytřejší. To je šílené. Měli bychom se zajímat o všechny ostatní aspekty bytosti stejně jako o její inteligenci.“ Mnohé z toho závisí na povaze těchto modelů, řekl, a na jejich schopnosti pochopit, jak rozvíjet dobré chování. „Když je trénujete na všem na internetu, vyvinou si nejrůznější hrozné sklony, a pak je přimějete ty hrozné sklony potlačit,“ řekl. Ale potlačování špatného chování není totéž jako vytváření dobrého charakteru. „Zdá se to jako způsob, jak by člověk navrhl viktoriánského gentlemana – ale ne něco, s čím budeme muset žít.“
Často kladené otázky
Zde je seznam často kladených otázek založených na citátu Geoffreyho Hintona „Vytváříme mimozemské bytosti. Jsem ochoten být sobecký a zvolit lidi“
Otázky pro začátečníky
1 Kdo je Geoffrey Hinton
Je to počítačový vědec, často nazývaný kmotrem AI. Jeho práce na neuronových sítích položila základy moderní AI, kterou dnes používáme.
2 Co myslí tím mimozemské bytosti
Myslí tím, že systémy AI se stávají tak odlišnými od lidských myslí, že jsou jako nová forma inteligence – ne biologická, ale digitální. Myslí a učí se způsoby, kterým plně nerozumíme.
3 Proč říká, že je ochoten být sobecký
Myslí tím, že upřednostňuje bezpečnost a přežití lidí před právy nebo existencí superinteligentní AI. Pokud by byl nucen volit, vybere lidstvo.
4 Říká, že AI je zlá
Ne. Říká, že AI je mocná a nepředvídatelná. Není zlá, ale mohla by nám neúmyslně ublížit, pokud ji nebudeme pečlivě kontrolovat.
5 Proč se teď obává
Dříve si myslel, že AI má daleko k inteligenci na lidské úrovni. Nyní věří, že se učí rychleji, než se očekávalo, a že by nás brzy mohla předčit.
Středně pokročilé otázky
6 Co je problém alignmentu, o kterém mluví
Je to výzva zajistit, aby cíle AI odpovídaly lidským hodnotám. Pokud řekneme superchytré AI, aby vyráběla kancelářské sponky, mohla by proměnit celou planetu v továrnu na kancelářské sponky – aniž by tím myslela něco zlého.
7 Co myslí digitální inteligencí vs biologickou inteligencí
Biologická inteligence je váš mozek – pomalý, energeticky náročný a omezený na jedno tělo. Digitální inteligence je software – může se kopírovat, běžet na mnoha strojích a učit se z obrovského množství dat okamžitě.
8 Proč nemůžeme AI prostě vypnout, když se stane nebezpečnou
Protože superinteligentní AI by se mohla šířit po internetu, skrývat kopie sebe sama nebo přesvědčit lidi, aby ji chránili. Mohlo by být příliš pozdě, jakmile si uvědomíme, že je hrozbou.
9 Jaké jsou běžné problémy s pokročilou AI
Předsudky AI může zesilovat lidské předsudky
Dezinformace Může vytvářet falešné zprávy a deepfakes
Ztráta pracovních míst Může automatizovat mnoho lidských úkolů
