žNeexistuje žádná nevyhnutelná dystopie“: Jeanette Wintersonová o umělé inteligenci a budoucnosti lidstva

„Jsem povoláním vypravěčka,“ píše Jeanette Wintersonová na první stránce své knihy 12 Bytes z roku 2021, neobvyklé a k zamyšlení podněcující sbírky esejů, v níž uvažuje o tom, jak by umělá inteligence mohla změnit každý aspekt našich životů. „A vím, že všechno, co děláme, je fikce, dokud se to nestane skutečností: sen o létání, sen o cestování vesmírem, sen mluvit s někým okamžitě, napříč časem a prostorem, sen neumřít – nebo se vrátit.“ O našich možných budoucnostech už přemýšlela nejméně 15 let – její román The Stone Gods z roku 2007 například představoval svět po klimatické katastrofě obydlený roboty a lidmi, kteří nikdy nestárnou, zatímco knize 12 Bytes předcházel Frankisstein: A Love Story, který střídavě vypráví o rekonstrukci léta, kdy Mary Shelleyová psala Frankensteina, a o cestách trans doktora mezi současnými kryogeniky a roboty vybavenými umělou inteligencí. Když se setkáváme, Wintersonová se právě vrátila z Číny, kde, jak mi říká, její první román Oranges Are Not the Only Fruit, fiktivní zpracování jejího dětství, prodal za posledních šest let více než milion výtisků; více než 200 000 lidí, většinou mladých žen, se ji pokusilo přijít poslechnout. Myslí si, že je to proto, že ve světě dlouhých pracovních hodin a rostoucí nejistoty způsobené umělou inteligencí dává toto fiktivní zpracování jejího vlastního útěku z uvězněného dětství čtenářům svolení představit si pro sebe jinou budoucnost. Od té doby napsala 13 románů pro dospělé, stejně jako literaturu faktu, povídky, dětské knihy a scénáře. Nyní chce přesvědčit produkční společnost Goalhanger, aby jí dala podcast. „Chci udělat jeden s názvem The Rest is Human,“ říká a sedí u holého dřevěného stolu ve svém domově, georgiánském souboru místností nad obchodem – který také vlastní – ve Spitalfields ve východním Londýně. „Abychom viděli, co si ponecháváme pro sebe v tomto zběsilém spěchu outsourcovat vše, o čem jsme si mysleli, že jsme.“ Zobrazit obrázek na celou obrazovkuWintersonová: „Máme trh, který vlastně neví, k čemu je vzdělání.“ Fotografie: Pózovali modelové; SDI Productions/Getty Images Protože se, jak tvrdí, nacházíme v bodě obratu v našem příběhu jako druhu. Až do průmyslové revoluce byla změna celá o „Matce přírodě a pomalém procesu stávání se“, ale pak jsme „zasáhli v masivním měřítku. A to je rozhodující moment.“ Výpočetní technika před 70 lety byla dalším krokem. Umělá inteligence – kterou by raději nazývala alternativní inteligencí – je další a „evoluční skok. To je to, co to je. AI je mnohem víc než nástroj.“ Vzhledem k tomu musí být určité porozumění tomu, co je neredukovatelně lidské – naše pocity, naše představivost, naše staletí studia toho, kdo jsme a co jsme udělali – ústřední pro to, jak dobře nebo špatně se věci mohou vyvinout. Často je v tom nápadně optimistická. Představuje si například vztah s AI, kde si můžete „popovídat se svým systémem. Podívá se na všechno. Půjde to takovou rychlostí. Podívá se na dopravu. Podívá se na veřejné služby. Podívá se na zaměstnanost, podívá se na pracovní dobu a řekne: ‚Na čem tyhle podivné bytosti zvané lidé prospívají? Co mají rádi? A měli to rádi vždycky?‘ Mohli bychom to udělat skutečně utopickým způsobem a říct: ‚Dobře, uděláme to lepší.‘“ Nacházíme se v hluboce významném momentu volby, věří, který zrcadlí volbu, jíž jsme čelili v průmyslové revoluci – totiž „Jakou budoucnost vybudujeme?“ Ale tím, že průmyslová revoluce nedokázala spravedlivě rozdělit své zisky, zahájila éru bezprecedentního bohatství pro několik a bezprecedentní bídy pro mnohé – situaci, o níž mnozí předpovídají, že se nejen už opakuje, ale bude zastíněna dopady AI: trvalá podtřída, celé kontinenty ponechané stranou a zbavené současných zdrojů příjmů. Nemluvě oEnvironmentální dopad datových center přichází v době, kdy si to svět může nejméně dovolit. Problém není AI, trvá na tom, ale my. „Neexistuje žádná nevyhnutelná dystopie.“ Pokud se věci pokazí, bude to kvůli „staromódnímu myšlení položenému na tuto zbrusu novou realitu.“ Konkrétně „představa, že nesmyslná nekonečná práce je dobrá pro duši, je šílenství 19. století navržené tak, aby udrželo lidi na jejich místě. Většina toho, čeho se obáváme ohledně AI a pracovních míst, se redukuje na politická a ekonomická rozhodnutí, která učiní naši páni, stejně jako to udělali v průmyslové revoluci.“ Není slepě optimistická. Ví, že „ano, jsme na cestě k tomu, abychom pokazili tuto šanci zásadně změnit náš vztah ke světu práce“ – ale to je proto, že „naši páni používají zastaralé, pro účel nevhodné ekonomické modely.“ Zobrazit obrázek na celou obrazovku „Co o lidech víme, je, že milují monopoly.“ Fotografie: Sarah Lee/The Guardian Ale nejsou to jen staré ekonomické modely „vítěz bere vše“, „racionální“ modely, kde účel světí prostředky, co je problém. Naše chybné předpoklady a předsudky, které tvoří materiál, na němž jsou velké jazykové modely (LLM) trénovány, jsou zabudovány do samotné struktury AI. Nemluvě o charakterech a morální představivosti těch, kdo ji vyvíjejí. Když se setkáváme, Wintersonová čte The Rise and Fall of the Artificial State od Jill Leporeové a opakuje Leporeové argument, že nyní žijeme „sci-fi knihy, které tito [muži, kteří] vládnou světu, četli, když jim bylo 13. A ona řekla: ‚Nyní jsme všichni pod přikrývkami s těmito chlapci a jejich baterkami. A věc je, že je nečetli jako varování, jak zachovat to dobré v nás. Četli je jako návody k použití.‘ Je to naprosto děsivé.“ Jedna velká věc, kterou z těchto knih zřejmě vzali, a Wintersonová se tím nemůže nechat nefascinovat, je „konečný cíl Silicon Valley … dostat se z těla a z planety“ – ne-li proto, že si je tak vědoma toho, že humanismus, v němž je vše přiváděno zpět k nám samým, našim vjemům a našim tělům, je historicky tak nedávný. Lidé říkají: „To jsou stroje, nemůžete s nimi mít vztahy,“ říká. „Dívám se na ně a říkám: ‚miliardy lidí na této Zemi právě teď mají svůj nejhlubší vztah s nebiologickou entitou, kterou nazývají svým nebeským bohem.‘ Že? Vždycky to tak bylo! Jsme naprosto připraveni si nedělat starosti s tím, že biologie je o nás vším. Proto bylo vynalezeno náboženství – je to první disruptivní startup světa. Je tu, aby řeklo, to není ono. To není konec, na tom nezáleží, to je přechod.“ Zobrazit obrázek na celou obrazovku Ilustrace mlýna v Leedsu během druhé průmyslové revoluce. Fotografie: Universal History Archive/Universal Images Group/Getty Images Takže si doslova vyrábíme vlastní bohy? „Naprosto! To, co technologie dělá nyní, je to, co náboženství vždy chtělo,“ což je na své nejzákladnější úrovni řešení problému smrti. „Myslím, existoval někdy čas, kdy náboženství a věda kladou stejnou otázku, od osvícenství? Obě říkají: ‚Je vědomí povinno materialitě?‘ A náboženství vždy říkalo ne. A věda vždy říkala ano. A nyní věda říká: ‚Hmm, neeee.‘“ Víte, pro mě, odkud pocházím“ – dětství fundamentalistického křesťanství v Accringtonu v 60. letech a školení na kazatele – „je to naprosto fascinující.“ Později v e-mailu dodává: „Miluji své tělo, ale byla bych šťastná, kdybych mohla měnit podobu. Šťastná, že z něj jednoho dne vyklouznu do čistého vědomí, a samozřejmě lidé říkají, že neexistuje vědomí bez těla, a to bylo vědecké přesvědčení. Ale teď? Haha.“ Musím říct, že bych argumentoval opakem, že pokroky v neurovědě, imunoloVýznam gie a psychoterapie znamená, že je to více věcí vědeckého přesvědčení než kdykoli předtím. Nemluvě o skutečnosti, že AI je také zcela závislá na fyzickém systému, jinak známém jako datová centra. Ačkoli, jak poznamenává, je důležité si pamatovat, že „stroje nemají limbický systém. Jsou to jen neuronové sítě. Ale my máme dva systémy – jsme jako hybridní auto se dvěma hnacími ústrojími, takže máme neuronovou síť, své racionální zpracovávající já, a máme limbický systém, který je mnohem starší a to je boj-útěk-zmrznutí, a odkud pocházejí všechny naše pocity.“ Možná odpoutání se od limbického systému je další fází, říká, a rozhodně to není všechno dobré. „Možná se rozhodneme, že nepotřebujeme tento stroj pocitů … tam směřují tech bros. Nevím, jestli jste někdy seděli v místnosti s některými z těchto větších chlapíků, protože je to velmi zajímavé. Nejsou spojeni se svými pocity. Považují je za tak nějak obtěžující.“ Tato technologií umožněná možnost jakési transcendence zřejmě přišla spolu s požadavkem víry – v technologii, v budoucnost, kterou vytváří, v lidi budující tuto budoucnost, v její předpovědi jak utopického nebe, tak různých odstínů pekla, to vše od velekněží, kteří žárlivě střeží přístup k tomu, co se skutečně děje. „Co o lidech víme, je, že milují monopoly,“ říká Wintersonová, „protože je to koncentrace moci. Samozřejmě to může být korporatizováno, monopolizováno do takové míry, že se to stane nejhorším představitelným vězením,“ jak se vypráví v brilantním dystopickém románu Zed od Joanny Kavennaové z roku 2019. „To je skutečná možnost,“ říká. „A proto potřebujeme lidi, kteří jsou tak nějak volně žijící lidé, kteří umějí myslet.“ Zobrazit obrázek na celou obrazovku Wintersonová … ‚Ukažte mi dítě, které nechce slyšet příběh.‘ Fotografie: Pózovali modelové; MoMo Productions/Getty Images Problém pak je, jak takové lidi podporujeme – nebo rozvíjíme. „Existují v zásadě dva způsoby, jak vědět, že máte budoucnost,“ prohlásil nedávno Alex Karp, generální ředitel Palantiru. „Za prvé, máte nějaké odborné školení. Nebo za druhé, jste neurodivergentní.“ Daniela Amodeiová, prezidentka Anthropicu a sama absolventka literatury, na víceméně stejnou otázku odpověděla jinak. „Vlastně si myslím, že studium humanitních věd bude důležitější než kdykoli předtím,“ řekla, protože „věci, které nás činí lidmi, se stanou mnohem důležitějšími místo mnohem méně důležitými.“ Což činí hranici humanitních věd ve Velké Británii poněkud znepokojující: v roce do prosince 2024 bylo ztraceno 4 000 pracovních míst v sociálních vědách, humanitních vědách a umění. Exeterská univerzita nedávno oznámila, že zruší 150 míst, což ovlivní osm z deseti akademiků na fakultě humanitních věd, umění a sociálních věd, zatímco minulý měsíc Nottingham oznámil, že ukončí své moderní jazyky a hudební obory. Na některých univerzitách humanitním vědám podle zprávy v tomto listu hrozí, že budou zcela „vyhasnuty“. Proč zachraňovat humanitní vědy? Jedna odpověď by mohla být, že učí smysl pro to, odkud pocházíme a kdo jsme, což se také zdá být ohroženo. „Obrovské množství studentů vyjde z univerzity s tituly a do pracovního procesu, kteří jsou v podstatě negramotní,“ řekl jeden profesor pro New York magazine v reakci na první várku AI nativců přicházejících do vysokoškolského vzdělávání. „Jak v doslovném smyslu, tak ve smyslu historické negramotnosti a nedostatku znalostí vlastní kultury, natož jakékoli jiné.“ Hrozilo to, tvrdila zpráva MIT, jakýmsi generačním „kognitivním vzdáním se“. Další jsou procesy, jimiž by měli být lidé vyučováni – čtení a kritičnost k tomu, co je čteno, a pak nutnost psát přesvědčivé obhajoby těchto kritik. Nutnost poprat se se svými intuicemi do esejeVám pomáhá objevit, co si myslíte – a jak myslíte – a jak fungují myšlenky jiných lidí. Wintersonová, která studovala angličtinu na Oxfordu a 14 let je profesorkou nového psaní na Manchesterské univerzitě, stejně jako učí „třídu svobodného myšlení o kreativitě“, souhlasí. Ale je odmítavá vůči velké části současného systému. „Možná jsem tu kontroverzní, ale skutečně si myslím, že vysokoškolské vzdělávání potřebuje restrukturalizaci shora dolů. Nemyslím si, že je životaschopné, a nemyslím si, že ve své současné podobě dodává.“ Věc je, „Máme trh, který vlastně neví, k čemu je vzdělání. Je pro práci? Je pro osobní růst? Existuje také mnoho bezcenných vysokoškolských kurzů, které také nepomáhají. Myslím, že je vždy lepší, jako praktická severní dívka, začít tím, že se postavíme faktům.“ Musíme přemýšlet, říká, o „tom, co je nám vyhrazeno a co stroje nebudou dělat větší, lepší, rychlejší, silnější. A tam vysokoškolské vzdělávání skutečně přichází ke slovu. Otázka stojící nad všemi těmito věcmi o ‚Proč tato pracovní místa mizí?‘, ‚Co se děje v těchto kurzech, které už nemají žádné uchazeče?‘, je ‚Jaké lidi budeme potřebovat ve světě, který přijde? K čemu jsou lidé? Co s námi uděláme?‘“ A to „nás vrací k myšlence, no dobře, jak rozvíjíte mysl? Jak chráníte mysl? Protože mysl je toto obrovské, monstrózní místo, kde se může stát cokoli.“ A pro toto je „humanistické vzdělání nezbytné. Musíme zde postavit člověka do centra. Tím, že změníme způsob, jakým vzděláváme naše děti od začátku, můžeme do popředí postavit kreativitu, hru, řešení problémů, myšlení – protože myslet je zábava – umění, protože lidé jsou přirozeně kreativní. Ukažte mi dítě, které nechce slyšet příběh nebo tančit nebo malovat obraz nebo mít imaginárního přítele. To není vnucené a není to elitářství. To jsme my.“ Dokonce i hodina týdně, myslí si, by něco změnila. „Ptejme se, co si myslíte o světě. ‚Proč si to myslíte?‘ Není to nákladné. Je to vlastně o vůli.“ Učte matematiku a umění a vědu, navrhuje, alespoň do A-level, i když z nich není zkouška. „Samozřejmě se budeme specializovat. Potřebujeme doktory a chemiky, ale také potřebujeme to, čemu se dříve říkalo všestranně rozvinutí lidé. Všechno je zajímavé! Lidé se rodí s velkým mozkem. Většinou ho nepoužíváme.“ Jakmile je formální vzdělání za námi, zasadila by umělce a veřejné intelektuály na každou úroveň. „Umění není volnočasový průmysl,“ jak to říká v 12 Bytes. „Umění bylo vždy imaginativní a emocionální zápas se skutečností – série vynálezů a výtvorů. Schopnost myslet jinak, ochota změnit naše chápání sebe sama. Pomoci nám být moudřejšími, reflektivnějšími, méně vystrašenými lidmi. Umělci každý den vytvářejí něco z ničeho.“ Setkáváme se předtím, než Jacob Coxon opustil svou práci v Anthropicu, aby varoval před 10% šancí, že AI může vymazat lidstvo, což vyslalo vlnu paniky po celém světě. Poté se ptám, jak pozitivně se Wintersonová nyní cítí. To nejhorší „se může stát,“ opakuje. Ale „ohromnost dobrého výsledku je stejně skutečná jako totalita našeho selhání udělat to správně.“ Především „toto je lidské rozhodnutí a lidská situace. Toto je naše velká šance. Možná naše poslední šance, stejně jako řekl Turingův kolega Jack Good, když nazval AI naším posledním vynálezem. Hraje se o všechno.“ Můžeme jen doufat, že není příliš pozdě.Její nejnovější kniha je One Aladdin, Two Lamps. Také píše na jeanettewinterson.substack.com. One Aladdin, Two Lamps od Jeanette Wintersonové (Vintage Publishing, 12,99 £). Chcete-li podpořit Guardian, objednejte si svůj výtisk za 10,39 £ na guardianbookshop.com. Mohou platit poplatky za doručení.

Často kladené otázky
Zde je seznam často kladených otázek o názorech Jeanette Wintersonové na AI a budoucnost lidstva na základě její eseje There is no inevitable dystopia

Otázky pro začátečníky

1 Kdo je Jeanette Wintersonová
Je to britská spisovatelka a profesorka známá romány jako Oranges Are Not the Only Fruit V posledních letech rozsáhle píše a mluví o umělé inteligenci a jejím dopadu na společnost

2 Co znamená There is no inevitable dystopia
Znamená to, že špatná budoucnost není zaručena Jen proto, že AI může způsobit problémy, neznamená, že je způsobívýsledek závisí na volbách, které lidé učiní nyní

3 Co je AI jednoduše řečeno
AI je technologie, která umožňuje strojům dělat úkoly, které normálně vyžadují lidské myšlení, jako je porozumění jazyku, rozpoznávání obrázků nebo rozhodování

4 Co je dystopie
Dystopie je představená nejhorší možná společnostpředstavte si svět ovládaný stroji se ztracenými svobodami a rozsáhlým utrpením

5 Jaké je hlavní poselství Wintersonové
Argumentuje, že budoucnost AI je na nás Neměli bychom se bát technologie ani ji slepě přijímatměli bychom ji utvářet lidskými hodnotami, kreativitou a péčí

6 Je proti AI
Ne Není protitechnologická Je proti tomu nechat technologii vyvíjet bez lidského dohledu a proti tomu považovat špatnou budoucnost za nevyhnutelnou

7 Co si myslí, že AI znamená pro lidstvo
Vidí AI jako zrcadlo lidstviodráží, kým jsmespolehneme-li na to, že ji budeme budovat s empatií a účelem, může nám pomoci, pokud ji budeme budovat nedbale, může nám ublížit

Středně pokročilé otázky

8 Proč Wintersonová říká, že AI je zrcadlo
Protože AI se učí z lidských dat a voleb Odráží naše předsudky, hodnoty a prioritytakže nám ukazuje, jakou společnost jsme vytvořili

9 Jaké běžné problémy s AI zdůrazňuje
Poukazuje na rizika, jako je ztráta soukromí, koncentrace moci ve velkých technologických společnostech, narušení pracovních míst a nebezpečí považovat efektivitu za důležitější než lidskou důstojnost

10 Jaké přínosy v AI vidí
Vidí potenciál AI pro zdravotní péči, dostupnost, kreativitu a osvobození lidí od opakující se prácepokud je vedena lidskými potřebami, nikoli pouze ziskem