"El perill no és prendre un chatbot per persona, sinó que les persones parlin com chatbots" - Slavoj Zizek.

No hi ha res de nou respecte dels “chatbots” que són capaços de mantenir una conversa en llenguatge natural, entendre la intenció bàsica d'un usuari i donar respostes basades en regles i dades preestablertes. Però la capacitat d'aquests chatbots ha augmentat dràsticament en els darrers mesos, fet que ha creat gran preocupació i pànic en molts cercles. S'ha dit molt sobre que els chatbots auguren la fi dels assajos tradicionals dels estudiants. Però una qüestió que justifica parar més atenció és la manera com els chatbots haurien de respondre quan els interlocutors humans fan comentaris agressius, sexistes o racistes per incitar el bot a contestar amb les seves pròpies fantasies grolleres. Les IAs haurien d'estar programades per contestar al mateix nivell de les preguntes que se'ls plantegen?

Si decidim que algun tipus de regulació és oportú, cal determinar què tan lluny hauria d'arribar la censura. Estaran prohibides les postures polítiques que algunes cohorts consideren “ofensives”?. Què hi ha de les expressions de solidaritat amb els palestins de Cisjordània o l'afirmació que Israel és un estat amb apartheid (que l'expresident nord-americà Jimmy Carter una vegada va posar al títol d'un llibre)? Estaran prohibides per ser “antisemites”?

El problema no s'acaba aquí. Com adverteix l'artista i escriptor James Bridle, les noves IAs es “basen en l'apropiació indiscriminada de la cultura existent”, i creure que són “realment expertes o significatives és activament perillós”. Per tant, cal ser molt cautelosos amb els nous generadors d'imatges d'IA. “En el seu intent de comprendre i reproduir la totalitat de la cultura visual humana”, observa Bridle, “semblen haver recreat també les nostres pors més fosques. Potser això només és un senyal que aquests sistemes són molt hàbils per imitar la consciència humana, arribant fins i tot al terror que aguaita en les profunditats de l'existència: la nostra por a la brutícia, la mort i la corrupció”.

Però que tan capaces són les noves IAs d'aproximar-se a la consciència humana? Vegem el cas del bar que fa poc va publicar una oferta especial en els termes següents: “Compri una cervesa pel preu de dos i rebi una segona cervesa totalment gratis!”. Per a qualsevol ésser humà, això òbviament és un acudit. Es reformula el clàssic “compri una, rebi una” perquè s'autocancel·li. És una expressió de cinisme que serà apreciada com a sinceritat còmica, tot per augmentar les vendes. Un chatbot entendria alguna cosa?

“Coger” presenta un problema semblant. Tot i que designa alguna cosa que a la majoria de la gent li agrada fer (copular), sovint també adquireix un valor negatiu (“¡Nos han cogido!”). El llenguatge i la realitat són complicats. La IA està preparada per discernir aquestes diferències? Al seu assaig de 1805 “De la formació gradual dels pensaments en el procés de la parla” (publicat per primera vegada en forma pòstuma el 1878), el poeta alemany Heinrich von Kleist inverteix el conegut consell que un no hauria d'obrir la boca per a no ser que tingui una idea clara de què dirà: “Si, per tant, s'expressa un pensament de manera confusa, de cap manera se segueix que aquest pensament va ser concebut de manera confusa. Per contra, és molt possible que les idees que són expressades de la manera més confús siguin les que van ser pensades més clarament”.

En un passatge d'un dels discursos de Stalin al començament de la dècada de 1930, ell proposa mesures radicals per “detectar i combatre sense pietat fins i tot aquells que s'oposen a la col·lectivització només en els seus pensaments… sí, això vull dir, hem de combatre fins i tot els pensaments de les persones”. Un pot dir amb certesa que aquest passatge no havia estat preparat per més endavant. Després d'haver-se embalat amb el discurs, Stalin immediatament es va adonar del que acabava de dir. Però, en lloc de fer marxa enrere, va decidir insistir a la hipèrbole.

Com va expressar més tard Jacques Lacan, aquest va ser un cas d'aparició de la veritat per sorpresa mitjançant l'acte de l'enunciació. Louis Althusser va identificar un fenomen similar en la interacció entre pressa i surprise. Algú que de sobte comprèn (“prise”) una idea se sorprendrà del que ha aconseguit. Reitero, algun chatbot pot fer-ho?

El problema no és que els chatbots siguin estúpids; és que no són prou “estúpids”. No és que siguin ingenus (i no captin la ironia i la reflexivitat); és que no són prou ingenus (i no s'adonen quan la ingenuïtat emmascara la perspicàcia). El veritable perill, aleshores, no és que la gent prengui un chatbot per una persona real; és que comunicar-se amb els chatbots faci que les persones reals parlin com a chatbots, passant per alt tots els matisos i les ironies, dient obsessivament i amb precisió el que creuen que volen dir.

Quan jo era jove, un amic va anar a veure un psicoanalista perquè el tractés després d'una experiència traumàtica. La idea que aquell amic tenia sobre el que els analistes esperen dels seus pacients era un lloc comú i llavors va passar tota la primera sessió fent falses “associacions lliures” sobre com odiava el seu pare i volia veure'l mort. La reacció de l'analista va ser enginyosa: va adoptar una postura ingènua “prefreudiana” i va retreure al meu amic que no respectes el seu pare (“Com pot parlar així de la persona que ha fet de vostè el que és?”). Aquesta ingenuïtat fingida va transmetre un missatge clar: No crec en les seves “associacions” falses. Un chatbot podria captar aquest subtext?

Molt probablement no ho faria, perquè és com la interpretació de Rowan Williams sobre el príncep Myshkin a El idiota de Dostoievsky. D'acord amb la lectura tradicional, Myshkin, “l'idiota”, és un home sant “positivament bo” que el porta a un aïllament demencial per les aspres brutalitats i passions del món real. Però en la relectura radical de Williams, Myshkin representa l'ull de la tempesta: per bo i sant que sigui, és qui desencadena el caos i la mort que presencia degut al seu paper a la complexa xarxa de relacions que l'envolta.

No és només que Myshkin sigui un babau ingenu. És que el seu particular tipus de neciesa fa que no sigui conscient dels efectes desastrosos que té sobre els altres. És una persona xat que literalment parla com un chatbot. La seva "bondat" rau en el fet que, igual que un chatbot, reacciona als desafiaments sense ironia, dient bertranades sense tota reflexivitat, prenent tot de manera literal i recorrent a un autocompletar mental en lloc d'una autèntica formació d'idees . Per aquest motiu, els nous chatbots es portaran molt bé amb els ideòlegs de tots els colors, des del públic “woke” als nacionalistes del “Make America Great Again” que prefereixen seguir adormits.

*Slavoj Žižek, profesor de Flosofía de la European Graduate School, director internacional del Instituto Birkbeck de Humanidades de la Universidad de Londres y autor de "Heaven in Disorder" (OR Books, 2021). Copyright: Project Syndicate, 2023. Desde Liubliana, Eslovenia - Traducción: Elisa Carnelli