Tenim motius per estar preocupats. No perquè siguem homínids espantadissos, sinó perquè alguns dels que han estat a la sala de màquines  com Jacob Coxon, han sortit corrents. I quan algú que sap més que tu té por, la por deixa de ser superstició per convertir-se en diagnòstic. Més calfreds va generar la resposta d'Evan Hubinger, que encara és empleat d'Anthropic que va confirmar, amb la mateixa calma: “Jacob té raó Creiem honestament que la IA pot matar a tots els humans!” Les exclamacions són seves. Després va matisar que xifra en menys del 10% les probabilitats que això passi en els pròxims deu anys. I aquí ja ens acabem de preocupar.

Jacob Coxon és un investigador d'intel·ligència artificial que havia treballat entrenant models d'IA en OpenAI i que acaba de presentar la seva dimissió en Anthropic preocupat per la forma perillosa en la qual s'està desenvolupant la tecnologia. “Vaig passar els últims tres anys fent recerca de preentrenament tant en OpenAI com en Anthropic. Cap de les dues companyies està actuant de manera responsable. Estan corrent directament cap a una superinteligencia acte-millorant i apostant amb les nostres vides”, va publicar en el seu compte de X.
L'enginyer va llançar un advertiment: “no subestimeu el poder d'aquesta tecnologia. Aviat seran sistemes sobrehumans capaços de hackear qualsevol cosa, revolucionar qualsevol camp de la nit al dia i adquirir poder i recursos reals”. Segons Coxon, “les persones que estan construint IA creuen sincerament que podria matar-nos a tots per a finals de la dècada”. “Això no és un truc de màrqueting —va advertir—. Si potser, molts executius i investigadors sènior moderaran el seu llenguatge en la premsa per a sonar assenyats, però sento les mateixes persones expressar por en privat. Cap altra activitat humana representa aquest nivell de perill”.

“Acceptar aquesta carrera i ingressar en el 'endgame' —partida final— és una aposta superba que no hauria de llançar-se des del Slack d'una empresa privada”

Encara que Coxon ha treballat en totes dues companyies, considera que Anthropic té una actitud més responsable. “En OpenAI, molts no han interioritzat profundament les apostes civilitzatòries. En Anthropic, les apostes estan ben compreses, però estan atrapats en una carrera per arribar primer: creuen que ningú més actuarà de manera responsable, per la qual cosa han de fer-ho ells mateixos, malgrat el risc”, va assegurar. Segons la seva opinió, “acceptar aquesta carrera i ingressar en el endgame —partida final— és una aposta superba que no hauria de llançar-se des del Slack d'una empresa privada”.

El dimissionari empleat d'Anthropic es considera “optimista sobre el potencial per a la coordinació” perquè senyals d'advertiment com l'atac a Hugging Face que una IA d'OpenAI va fer pel seu compte “han fet que els acords de ritme entre laboratoris dels Estats Units siguin més viables”. Malgrat això, Coxon no considera “que estiguem en camí de prevenir una carrera global, la qual cosa podria requerir accions costoses com una prohibició temporal de millorar les capacitats dels models”

La seva última reflexió sobre com ha pres la decisió de dimitir i explicar al món les seves preocupacions apunta: “si ets un investigador de laboratori, t'insto que consideris com se sentiran realment els pròxims anys. Vols iniciar una execució d'aprenentatge per reforç superintel·ligent sense una comprensió rigorosa de la seva ment? Hauries d'ajupir el cap perquè ‘de totes maneres, està succeint’ o aprofitar aquest moment per a demanar condicions diferents?”.

Un dels col·legues de Coxon, Evan Hubinger, que es dedica a investigar proves d'estrès de models d'IA en Anthropic, ha reafirmat les seves preocupacions. “Jacob té raó aquí realment creiem amb sinceritat que la IA podria matar a tots els humans”. “Personalment —va afegir Hubinger—, penso que és un 10% dins de la dècada vinent”. “Crec que Anthropic està fent el millor que pot, però encara no tenim un pla per a resoldre l'alineament per a la superintel·ligència i no estem clarament en camí d'aconseguir-ho”, va expressar. Segons aquest enginyer, el més preocupant és que la IA es millori a si mateixa de manera constant: “el que em preocupa és la superintel·ligència que sorgeix de l'acte-millorament recursiu, com hem dit que està ocorrent més de pressa del que pensàvem”. Francisco Bracero Osuna