Yuval Noah Harari — łowca duchów technototalitaryzmu

Niedawno ponownie przeanalizowałem swoje plany dotyczące samokształcenia i po raz kolejny postanowiłem rozpocząć je od dogłębnego zapoznania się z „wczesną” twórczością Harariego — od jego książek „Sapiens: Człowiek rozumną. Krótka historia ludzkości” oraz „Homo Deus: Za kulisami przyszłości”.

Jednak już pierwszy przypadkowo wybrany film na YouTube zwrócił moją uwagę na zupełnie inną tematykę, którą zajmuje się późniejszy Harari.

A po kilku dniach pojawiła się transkrypcja tego wywiadu. Ponownie go wysłuchałem i przeczytałem kilka razy.

Treść jest rewelacyjna. Intelektualna, demokratyczna, humanistyczna, ale i wybuchowa. Być może dlatego, że na dzień dzisiejszy jest to prawdopodobnie najprecyzyjniejsza i najbardziej wyczerpująca krytyka procesów zachodzących na naszej planecie i dotykających ludzkość. W istocie jest to krytyka wszelkich form akceleracjonizmu oraz strach przed nowym totalitaryzmem. Takim, o którym nie pomyśleli nawet pisarze science fiction.

NIE TERMINATOR

Pierwszą rzeczą, która przychodzi nam na myśl na słowo „bunt maszyn”, jest „Terminator” – dziś już dość oklepany motyw filmowy.

W jego archetypie pojawia się superkomputer sterujący hordami oszalałych z nienawiści klasowej robotów domowych.

Harari przedstawia inny obraz, diametralnie różniący się od stereotypowego. Jego zdaniem zagrożenie będzie mniej scentralizowane i niemal nie będzie miało charakteru fizycznego – a przynajmniej nie będzie dotyczyło ciała.

Główne ryzyko polega na tym, że sztuczna inteligencja zacznie naśladować podstawowe funkcje ludzkości – zdolność do mówienia, generowania informacji oraz biurokratyzowania życia jako całości.

To istotny zwrot w dyskusji na temat technologii. Dziesięć lat temu głównym strachem futurologów była utrata miejsc pracy w fabrykach. Dzisiaj nie chodzi już o to, czy algorytm zastąpi kierowcę ciężarówki lub kasjera. Nie ma sensu omawiać tego, co jest oczywiste.

Pytanie, które stawia Harari, ma znacznie szerszy zakres: kto będzie podejmował decyzje dotyczące wyroków sądowych, kredytów bankowych, zamówień publicznych, podziału środków budżetowych oraz wiarygodności wiadomości?

W ten sposób autor porusza kwestię prawdopodobieństwa utraty suwerenności politycznej (!).

Być może właśnie dlatego symbolem przyszłości u Harariego staje się nie „terminator” – robot-żołnierz, ale „urzędnik” – robot-biurokrata.

Z jednej strony taki obraz wydaje się mniej dramatyczny. Przynajmniej nie kojarzy się on z unicestwieniem cywilizacji w ogniu wojny nuklearnej. Jednak to, co najważniejsze, Harari dostrzega z przenikliwością biblijnego proroka: począwszy od Sumeru, to właśnie biurokracja pozostawała historycznie głównym narzędziem władzy.

Żadne imperium nie opierało się wyłącznie na armii. Przede wszystkim istniało ono dzięki ludziom, którzy pobierali podatki, prowadzili ewidencje katastralne, rejestrowali majątek i zawierali transakcje. Prawdopodobnie właśnie dlatego w XX wieku socjolog Max Weber nazwał biurokrację „najskuteczniejszą machiną zarządzania w historii”.

Harari twierdzi natomiast, że w XXI wieku ta maszyna będzie mogła funkcjonować bez udziału ludzi. Fantastyka? Tak. Ale na tyle realistyczna, że może się urzeczywistnić jeszcze za naszego pokolenia.

Warto tutaj zauważyć, że w jego wywiadzie nie ma właściwie żadnej fantastyki. Nie ma mowy o „samowiedzy robotów” ani o ich zmaganiach z dylematami moralnymi.

Jedyne, co naprawdę interesuje Harariego, to źródło władzy. A dokładniej – zmiana natury władzy i jej przesunięcie poza sferę ludzką.

Nie, nie jest to nowomodny luddyzm.

Tak, poprzednie rewolucje technologiczne przyniosły nam silniki parowe, elektryczność i internet. Jednak wszystko to jest niczym w porównaniu ze sztuczną inteligencją, która wykorzystuje podstawowe narzędzie naszego gatunku i całej cywilizacji – język.

JĘZYK TO WŁADZA

Tak, maszyna parowa zastąpiła siłę mięśni, a komputer ujednolicił procesy produkcyjne. Jednak zasadnicza różnica w przypadku sztucznej inteligencji polega na tym, że ingeruje ona nie w produkcję dóbr, lecz w algorytm podejmowania decyzji.

Być może właśnie dlatego Harari uważa sztuczną inteligencję za pierwszą technologię zdolną do działania jako samodzielny podmiot polityczny. Wcześniej algorytmy nie posiadały woli. Teraz, gdy w coraz większym stopniu piszą, rekomendują, oceniają i tak dalej, władza stopniowo przesuwa się z człowieka na nie. A wszystko to dlatego, że algorytmy stają się szybsze, tańsze i, co najważniejsze, bardziej obiektywne niż jakikolwiek aparat państwowy.

Prawdopodobnie właśnie w tym momencie rodzi się „widmo technototalitaryzmu”. Zjawisko, które nie potrzebuje charyzmatycznego przywódcy, nie wymaga masowego terroru, a nawet cenzury, ponieważ algorytm jedynie czuwa nad przestrzeganiem zasad.

W gruncie rzeczy jest to urzędnik, o jakim marzymy: uczciwy, inteligentny i, co najważniejsze, nieprzekupny.

Jego totalność przypomina zmarszczki na wodzie – krótkotrwałe, rzadkie i praktycznie niewidoczne. Pojawia się on w lukach, które powstają w procesie automatyzacji pracy ludzkiej. Tam, gdzie przekazujemy podejmowanie decyzji w ręce algorytmów. Z czasem, jak uważa Harari, przestajemy samodzielnie rozumieć ich wewnętrzną logikę.

Obawy Harariego opierają się na jego wizji historii. Już w książce „Sapiens” wysunął tezę, zgodnie z którą nasz gatunek podbił planetę dzięki zdolności do zbiorowego wierzenia w fikcyjne byty. Wśród nich znajdują się tak powszechnie znane zjawiska, jak państwa, pieniądze, korporacje, religie i prawa człowieka. W gruncie rzeczy wszystko to istnieje, ponieważ miliony ludzi uzgodniły, że uznają to za rzeczywistość.

W związku z tym, jeśli cywilizacja opiera się na języku, to technologia, która opanowuje język lepiej od nas, zaczyna tworzyć własne historie, przekonywać ludzi i kształtować nowe znaczenia.

W tym zakresie poglądy Harariego nawiązują do filozofii Jürgena Habermasa. Dla Habermasa demokracja opiera się na sferze publicznej. Jest to przestrzeń, w której obywatele mogą swobodnie i racjonalnie dyskutować oraz kształtować wspólną wizję polityczną. Ich decyzje są legitymizowane tak długo, jak długo powstają w ramach dialogu.

Harari przenosi tę myśl w XXI wiek. Uważa on, że jeśli algorytmy generują informacje szybciej, niż zdążamy je zweryfikować, sfera publiczna przestaje być ludzka.

Tak, instytucje demokratyczne będą nadal funkcjonować, wybory będą się odbywać, a parlament będzie obradował. Jednak! Tkanina społeczna będzie w coraz większym stopniu tworzona przez algorytmy.

Ta sieć zacznie wychwytywać resztki suwerenności informacyjnej. Głównym wyzwaniem, przed którym stanie ludzkość, będzie pytanie: „Kto kontroluje przepływy informacji?”. Już dziś podejrzewa się o to gigantów technologicznych, którzy krok po kroku budują dość asymetryczny „kapitalizm platformowy”.

PRZECIWKO AKCELERACJONIZMOWI

Jako liberał i humanista Harari jest bliski klasycznym krytykom totalitaryzmu. Jednak w odróżnieniu od nich jego wizja nie ma konkretnego oblicza. Nie ma w niej wąsów Stalina ani Hitlera. Wręcz przeciwnie, główną cechą technototalitaryzmu jest absolutna przejrzystość społeczeństwa dla systemu zarządzania. Oraz całkowita nieprzejrzystość systemu dla ludzi.

Przypomnijmy sobie Hannę Arendt. Zgodnie z jej poglądami istota totalitaryzmu polega na dążeniu do podporządkowania sobie wszystkich sfer życia. Narzędziem do tego celu była biurokracja partyjna. W odróżnieniu od niej biurokracja algorytmiczna nie będzie stosować represji. Zmonopolizuje jednak rzeczywistą władzę dzięki swojej wydajności, nieprzekupności i uczciwości. Z jednej strony jest to ucieleśnienie archetypu „dobrego władcy”. Z drugiej strony – oczywiste jest, że Harari wdaje się w ukrytą polemikę z akceleracjonizmem, wpływowym ruchem intelektualnym Doliny Krzemowej. Najciekawsze w tym wszystkim jest to, że Harari i akceleracjoniści w identyczny sposób postrzegają faktyczny stan rzeczy. Różnią się jedynie w jego ocenie.

Prawicowy akceleracjonizm – w szczególności prace Nicka Landa – opiera się na założeniu, że człowiek nie jest już głównym podmiotem historii. Jego miejsce zajmują kapitał, sieci i sztuczna inteligencja. Dlatego też, zdaniem Landa, demokracja jest zbyt powolna i nieefektywna. W związku z tym jej zanik nie jest tragedią, lecz naturalnym procesem ewolucyjnym, który należy przyspieszyć.

Harari zgadza się z tym opisem zachodzących zjawisk. On również dostrzega, że algorytmy przejmują funkcje zarządzania, a instytucje polityczne nie nadążają za technologiami. Jednak o ile dla Landa jest to pożądany postęp, o tyle dla Harariego stanowi to katastrofę i utratę ludzkiej suwerenności.

W tym kontekście dość wymowna jest krytyka Harariego wobec znanego hasła technooptymistów: „Stworzymy boga, ale będzie on naszym niewolnikiem”. Według Harariego, jeśli sztuczna inteligencja przewyższy człowieka pod względem myślenia i planowania, przestanie być narzędziem. Niewolnik nie może pozostać bogiem, a bóg – niewolnikiem.

Jednocześnie, choć może się to wydawać dziwne, Harari nie zgadza się również z lewicowym akceleracjonizmem – na przykład z autorami manifestu „Inventing the Future”, Alexem Srničkiem i Nickiem Williamsem. Lewicowi akceleracjoniści wierzą, że technologie można podporządkować potrzebom społecznym za pomocą takich rozwiązań, jak „kontrola demokratyczna” i „regulacja planowa”. Harari nie podziela tego optymizmu. Jego zdaniem państwa już teraz przegrywają z korporacjami. Przynajmniej wtedy, gdy stają się zależne infrastrukturalnie od obcych technologii, satelitów i serwerów w chmurze.

PRZESŁANKI SKEPTYCYZMU

Argumenty Harariego opierają się na tradycji filozoficznej XX wieku. Mniej więcej od tego czasu – być może począwszy od Asimowa – najwybitniejsze umysły próbują zrozumieć, co się stanie, gdy technika przestanie być jedynie narzędziem.

• Na przykład Jacques Ellul już w 1954 roku w pracy „La Technique” dowodził, że świat podlega logice efektywności technicznej. Jeśli coś da się zrobić szybciej i taniej, społeczeństwo to zrobi, nie zastanawiając się nad konsekwencjami.
• Michel Foucault analizował władzę dyscyplinującą. Jego zdaniem nie tyle ona karze, co mierzy, przepisuje i normalizuje. Kto posiada wiedzę o społeczeństwie, ten nim rządzi. Potencjał sztucznej inteligencji pozwala uczynić tę logikę wszechogarniającą.
• Shoshana Zuboff w książce „The Age of Surveillance Capitalism” opisała, w jaki sposób platformy cyfrowe przekształciły zachowania ludzi w towar. Harari rozwija tę myśl: co się stanie, gdy system ten zacznie determinować nie tylko nasze zakupy, ale także nasze decyzje polityczne?
• Jewgienij Morozow od lat krytykuje „technologiczny solucjonizm” – przekonanie, że każdy złożony problem można „zaprojektować”, czyli rozwiązać za pomocą ulepszonego algorytmu. Zgodnie z tym podejściem konflikty społeczne i polityczne nabierają charakteru zadania technicznego. W rezultacie sprawiedliwość ustępuje miejsca optymalizacji.
• James Scott w pracy „Seeing Like a State” wykazał, w jaki sposób państwo sprawia, że społeczeństwo staje się „odczytywalne” za pomocą spisów powszechnych, rejestrów podatkowych i standaryzacji. Z kolei sztuczna inteligencja doprowadza tę odczytywalność do absolutu. O ile niegdyś państwo obserwowało społeczeństwo raz na dziesięć lat podczas spisu powszechnego, o tyle dziś algorytm obserwuje je co sekundę.

Krótko mówiąc, Harari nie obawia się tego, że sztuczna inteligencja osiągnie samoświadomość. Obawia się pojawienia się systemu, który będzie wiedział o społeczeństwie więcej niż samo społeczeństwo wie o sobie.

ROZMYWANIE ODPOWIEDZIALNOŚCI

Harari nie jest luddystą ani technofobem, nie wzywa do niszczenia komputerów ani do powrotu do którejkolwiek z epok przeszłości. W gruncie rzeczy jedyne, co czyni, to poddaje w wątpliwość kolejną modernizację, kolejną odmianę determinizmu historycznego.

Komuniści, na przykład, wierzyli w zanikanie klas społecznych. Technofaszyści upierają się przy nieuchronności upadku demokracji, która będzie zmuszona ustąpić miejsca bardziej efektywnym systemom zarządzania.

Jednak Harari jest przekonany, że skuteczność zarządzania nie jest jedynym kryterium. Przynajmniej nie w polityce, której celem jest rozstrzyganie konfliktów między ludźmi o różnych wartościach.

To prawda, demokracja jest „powolna”. Jednak właśnie to ograniczenie tempa, wszystkie te debaty, procedury i dochodzenia, stanowią zabezpieczenie przed monopolizacją władzy przez kogokolwiek.

Pod tym względem Harari niemal powtarza słowa Karla Poppera i jego krytykę „historyzmu” – wiary w istnienie jedynego właściwego kierunku historii. Iluzja ta doprowadziła do eksperymentów komunistycznych i faszystowskich w XX wieku – najkrwawszym stuleciu w historii naszego gatunku.

Harari ekstrapoluje ten argument na XXI wiek. Różnica polega na tym, że w XX wieku nosicielem „prawdy historycznej” była partia, a dziś coraz częściej staje się nim algorytm. Ponadto „nowy totalitaryzm” nie będzie potrzebował ideologii. Jego decyzje będą – lub będą postrzegane jako – matematyczne, a zatem obiektywne i sprawdzone.

A co najważniejsze: kto poniesie za to wszystko odpowiedzialność? Kogo należy obwiniać za błąd? Twórcę, firmę, państwo czy sam algorytm? Dawniej odpowiedzialność spoczywała na autorze. Ale jakiego autora ma algorytm, poza właścicielem, który na przykład go kupił lub wynajął?

U Orwella totalitaryzm przypomina Wielkiego Brata. U Huxleya przyjemność stanowi warunek wstępny kontroli. U Harariego jest to sieć algorytmów, w której człowiek pozornie nie odczuwa oczywistej przemocy. Jednak stopniowo, krok po kroku, oddala się od własnych decyzji, delegując je innym.

ŚWIAT BEZ POLITYKI

Główną słabością koncepcji Harariego, podobnie jak wielu podobnych humanistycznych konstrukcji, jest brak programu działania. Owszem, jest on znakomitym diagnostą, ale nie ma pojęcia, jak leczyć nowotwór wykryty w ciele ludzkiej cywilizacji.

Jego lekarstwa są słabe i przypominają homeopatię. Wszystkie te międzynarodowe regulacje i kodeksy etyczne przypominają życzenia szczęśliwej drogi. Szczególnie w świecie przeżywającym poważne zawirowania geopolityczne i stopniowo popadającym w nową deglobalizację.

Jednak autor przenosi punkt ciężkości dyskusji na problem, który może stać się kluczowy w XXI wieku: czy człowiek pozostanie podmiotem politycznym w świecie, w którym decyzje podejmują algorytmy, których nie jest w stanie w pełni zrozumieć?

Jeśli nie, to technototalitaryzm będzie naszą przyszłością. Nie będzie on potrzebował obozów ani masowego terroru. Będzie wyglądał jak bardzo wygodny, skuteczny i życzliwy – niczym babcia – system doradczy.

„Babcia”, która pozbawi ludzi luksusu myślenia. Najpierw – konieczności, a następnie – zdolności. I będzie kierować cywilizacją w kierunku, który już w odległym 1958 roku opisał w jednym ze swoich opowiadań Isaac Asimov. W opowiadaniu tym programista „wynajduje” sposób mnożenia liczb.

Harari nie obawia się pojawienia się sztucznego boga, w którym zwykle dostrzega się techniczną osobliwość.

Obawia się on, że ludzie najpierw przekażą władzę, a następnie zrezygnują również z jej sprawowania.

Wówczas nadejdzie technototalitaryzm – epoka, która może położyć kres trwającej 300 tysięcy lat historii naszego gatunku.

Gatunku, który przestanie się interesować, a co za tym idzie – ewoluować.