A mesura que la revolució de la intel·ligència artificial s'accelera, ens veiem bombardejats per visions utòpiques i, alhora, per profecies apocalíptiques. És difícil avaluar la magnitud de l'amenaça, perquè estem condicionats per témer l'escenari perillós. La ciència ficció ens ha advertit una vegada i una altra sobre la Gran Rebel·lió Robòtica. Són moltes novel·les i pel·lícules de ciència ficció (com Terminator i Matrix) on les IA i els robots decideixen apoderar-se del món, rebel·lar-se contra els seus amos humans i esclavitzar o destruir a la humanitat. És força improbable que una cosa així passi en un futur proper. No hem arribat a aquest nivell tecnològic. Ara com ara, les IA són “idiotes savis”. Poden dominar alguns àmbits molt circumscrits com jugar als escacs, plegar proteïnes o compondre textos, però no tenen la intel·ligència general necessària per dur a terme activitats molt complexes, com ara construir un exèrcit de robots i aconseguir el control d'un país.
Per desgràcia, la improbabilitat d'una Gran Rebel·lió Robòtica no vol dir que no hi hagi res a témer. Perquè no són els robots assassins els que ens haurien de preocupar, sinó els buròcrates digitals. El procés , de Kafka, és millor guia que Terminator a la distòpia de la IA. Els éssers humans hem acabat condicionats per milions d'anys d'evolució a témer depredadors violents com el representat a Terminator. En canvi, ens costa molt més entendre les amenaces burocràtiques perquè la burocràcia és un desenvolupament molt tardà en l'evolució dels mamífers i fins i tot dels humans. La nostra ment està preparada per témer la mort causada per un tigre, però no la mort causada per un document. La burocràcia va començar a desenvolupar-se fa només uns 5.000 anys després de la invenció de l'escriptura a l'antiga Mesopotàmia. Tanmateix, en poc temps va transformar les societats humanes de manera radical i inesperada.
'El procés' de Kafka guia millor a la distòpia de la IA que 'Terminator'. Considerem, per exemple, l'efecte exercit pels documents escrits i els buròcrates responsables de la gestió sobre el significat de la propietat. Abans de la invenció dels documents escrits, la propietat depenia del consens comunitari. Si algú “posseïa” un camp, significava que els veïns estaven d'acord, de paraula i en les accions, que aquest camp era seu. No construïen un habitatge en aquest camp, ni collien el que produïa, a menys de disposar permís per fer-ho. La naturalesa comunitària de la propietat limitava els drets individuals. Per exemple, els veïns podien estar d'acord que algú tenia el dret exclusiu a conrear un camp determinat, però no reconeixien el dret a vendre'l a estrangers. Alhora, el fet que la propietat fos qüestió de consens comunitari també obstaculitzava la capacitat d'unes autoritats centrals llunyanes per controlar la terra. En absència de registres escrits i burocràcies complexes, cap rei podia recordar qui posseïa quin camp en centenars de llogarets remots. Per això, als reis els resultava difícil recaptar impostos, cosa que alhora els impedia mantenir exèrcits i forces policials. I llavors es va inventar l'escriptura, a la qual cosa va seguir la creació d'arxius i burocràcies. Al principi, la tecnologia era molt senzilla. Els antics buròcrates mesopotàmics feien servir petites canyes per gravar signes en tauletes d'argila, que eren en realitat trossos de fang. Tot i això, en el context dels nous sistemes burocràtics, aquests trossos de fang van revolucionar el significat de la propietat. De cop i volta, posseir un camp va passar a significar que en una tauleta estava escrit que algú era el propietari d'aquest camp. Si els veïns d'una persona feia anys que recollien fruita en aquest lloc i cap d'ells havia afirmat mai que la porció de terra fos d'aquella persona, però aquesta persona aconseguia presentar un tros de fang oficial que digués que n'era el propietari, aleshores podia fer valer la seva reclamació davant dels tribunals.
A la inversa, si la comunitat local reconeixia que algú era propietari d'un camp, però cap document no li atorgava un segell d'aprovació oficial, aleshores no li pertanyia. El mateix segueix sent cert avui, tret que els nostres documents essencials estan escrits en trossos de paper o xips de silici i no en argila. Quan la propietat es va convertir en una qüestió de documents escrits i no de consentiment comunitari, la gent va poder començar a vendre els camps sense demanar permís als veïns. Per vendre un camp, n'hi havia prou de transferir aquesta decisiva tauleta d'argila a una altra persona. Tot i això, també significava que la propietat ja podia ser determinada per una burocràcia llunyana encarregada d'elaborar els documents pertinents i potser de conservar-los en un arxiu central. S'obrí així el camí per a la recaptació d'impostos, el pagament d'exèrcits i l'establiment de grans estats centralitzats.
El document escrit va canviar la manera com el poder s'exercia al món i va donar una enorme influència a buròcrates com els recaptadors d'impostos, els responsables de pagaments, els comptables, els arxivers i els advocats. Ells s'han convertit en els fontaners de la retícula d'informació; i, per bé o per mal, controlen el moviment dels impostos, els pagaments i fins i tot els soldats amb la gestió de documents, formularis, normatives i altres procediments burocràtics.
Aquest és el poder que ara la IA està a punt de conquerir. La burocràcia és un entorn artificial on el domini d'un àmbit circumscrit és suficient per exercir una enorme influència al món en general, mitjançant la gestió del flux de la informació. Si deixem anar una IA actual al nostre desorganitzat i desestructurat món, és probable que no sigui capaç d'aconseguir gran cosa i, per descomptat, no serà capaç d'aixecar un exèrcit de robots. No obstant, això seria com deixar anar un advocat corporatiu en una desorganitzada i desestructurada sabana. En aquest lloc, les habilitats de l'advocat no significarien res ni serien res davant d'un elefant o un lleó. Ara bé, si primer creem un sistema burocràtic i ho imposem a la sabana, l'advocat es tornarà molt més poderós que tots els lleons del món junts. Avui dia, la pròpia supervivència dels lleons depèn d'advocats que redacten i mouen documents per unes burocràcies laberíntiques. I un aspecte crucial és que, a l'interior d'aquest laberint, la IA probablement arribarà a ser molt més poderosa que qualsevol advocat humà.
En els propers anys, milions de buròcrates tecnointel·ligents prendran un creixent nombre de decisions sobre la vida no només dels lleons, sinó també dels éssers humans. Els banquers artificials decidiran si concedeixen o no un préstec. Les IA del sistema educatiu decidiran qui és admès a la universitat. Les IA de les empreses decidiran a qui donen una feina. Les IA del sistema judicial decidiran si algú és enviat o no a la presó. Les IA militars decidiran la casa de qui bombardegen. Aquestes tecnointel·ligències no són necessàriament dolentes. És molt possible que contribueixin que els sistemes funcionin amb molta més eficàcia i fins i tot justícia. Podrien proporcionar-nos una atenció sanitària, una educació, una justícia i una seguretat superiors. Això no obstant, si les coses es torcen, els resultats podrien ser desastrosos. I, en alguns àmbits, les coses ja s'han torçat. Potser l'exemple més revelador fins ara és la història dels algorismes de les xarxes socials. Aquestes IA primitives ja han remodelat el món i han exercit una enorme influència a la societat humana. Als algorismes de companyies com Facebook, X, YouTube i TikTok se'ls va encomanar un objectiu molt circumscrit, perfecte per a “idiotes savis”: augmentar el temps de permanència dels usuaris. Com més temps passessin els usuaris a les xarxes socials, més diners guanyarien les corporacions. A la recerca de la permanència dels usuaris, els algorismes van fer un descobriment perillós. Experimentant amb milions de conills humans, els algorismes dels mitjans socials van aprendre que la cobdícia, l'odi i la por augmenten la permanència dels usuaris. Quan es prem el botó de la cobdícia, l'odi o la por a la ment d'un ésser humà, es capta la seva atenció i se'l manté enganxat a la pantalla. Per tant, els algorismes van començar a difondre deliberadament cobdícia, odi i por. Aquesta és una de les principals raons de l'actual epidèmia de teories conspiratives, notícies falses i disturbis socials que soscaven les societats a tot el món. Els algorismes de les xarxes socials són unes IA limitadíssimes incapaços de sobreviure a la sabana o organitzar un Gran Rebel·lió Robòtica; però, al si de l'estructura burocràtica de les plataformes dels mitjans socials, aquests “idiotes savis” exerceixen un poder enorme, abans reservat als éssers humans.
No és casual que la IA s'apliqui a la redacció de notícies. Durant segles, els directors dels diaris han decidit què incloure a les portades de la premsa i, després, als informatius de la ràdio i la televisió, i han configurat amb això el debat públic. Això els va convertir en figures poderoses. Jean-Paul Marat va modelar el curs de la Revolució francesa des de la direcció de l'influent periòdic L'Ami du Peuple. Eduard Bernstein va modelar el pensament socialdemòcrata modern dirigint Der Sozialdemokrat. El càrrec més important ocupat per Vladímir Lenin abans de convertir-se en dictador soviètic va ser el de director d'Iskra. Benito Mussolini va guanyar fama i influència com a director de l'incendiari periòdic de dreta Il Popolo d’Itàlia. Resulta curiós que una de les primeres feines del món a ser automatitzada per les IA no hagi estat la de taxista o treballador tèxtil, sinó la de redactor de notícies. El treball antany realitzat per Lenin i Mussolini és ara susceptible de ser exercit per les tecnointel·ligències. Els estralls causats per aquests editors de notícies algorítmics sobre les societats humanes són un senyal d'alarma. El món humà és una retícula de burocràcies múltiples on les IA poden acumular un poder enorme per més que siguin totalment incapaços d'organitzar la Gran Rebel·lió Robòtica. Per què cal rebel·lar-se contra un sistema, quan és possible prendre el control des de dins? - Yuval Noah Harari
