Chema Alonso: “I si la IA fa una anàlisi i descobreix que el problema som els humans?”. El vicepresident i director de desenvolupament internacional de Cloudflare imparteix un panell sobre ciberseguretat i IA a l'AI Summit Barcelona. F. Bracero a la vanguardia.

Tot canvia molt ràpid. Tant que el que valia en ciberseguretat fa tot just sis mesos és molt possible que ja no sigui efectiu actualment. El motor de canvi és la intel·ligència artificial, segons ha explicat en un dels panells de l'AI Summit Barcelona el hacker Chema Alonso, exdirectiu de Telefónica i actual vicepresident i director de desenvolupament internacional de Cloudflare. En la seva exposició sobre ciberseguretat i intel·ligència artificial, ha mostrat la velocitat amb què canvia la manera com la IA troba vulnerabilitats i ha deixat una pregunta a l'aire: "I si la intel·ligència artificial fa una anàlisi i descobreix que el problema són els éssers humans? Aquesta és la preocupació".

Alonso ha explicat que fa menys de 20 anys, el 2007, la investigació en seguretat es basava en l'anàlisi manual del codi per identificar fallades en aplicacions web, però que l'1 de desembre del 2024 OpenAI va llançar el seu primer model de raonament profund, capaç d'analitzen el codi font a partir d'una única indicació i que s'ha de descobrir un nombre significativament més gran de vulneració.

Chema Alonso ha explicat que una investigació del març del 2025 va posar a prova agents autònoms d'IA dedicats al hacking en un entorn corporatiu que contenia 100 servidors simulats. Aquests agents van trobar solucions per comprometre amb èxit el 70% dels entorns objectiu a què havien d'accedir. "A partir d'aquí -ha apuntat- tot va canviar. La nostra manera d'abordar la seguretat va canviar dràsticament. Ja no realitzem proves de penetració manuals. Ja no busquem vulnerabilitats". Ara, els investigadors utilitzen conjunts de ferramentes automatitzades per localitzar i verificar la possibilitat dexplotació.

"Les capacitats tècniques dels models d'IA s'expandeixen més ràpidament que els controls de seguretat i augmenta el risc"

“Si bé l'alineació en matèria de seguretat ha millorat –ha indicat–, les capacitats tècniques dels models s'expandeixen més ràpidament que els controls de seguretat, cosa que augmenta el risc sistèmic”. En uns mesos vam passar del mantra que calia aprendre a escriure prompts (instruccions per a la IA), a “definir un procés de resolució de problemes”. "Ha canviat per complet la manera com gestionem la seguretat, però funciona perquè, en algun moment, en teoria, la intel·ligència artificial es torna més intel·ligent", ha indicat.

Però el panorama en què les eines d'IA esdevenen imprescindibles per gestionar la ciberseguretat ha de tenir en compte una sèrie de problemes que detalla Alonso: “els models d'IA segueixen sent inherentment susceptibles al biaix, les al·lucinacions, l'enverinament de dades, la fuita de dades, la injecció d'ordres, el de la desalineació d'objectius”.

Alonso també ha recordat que en el procés d'ús de la IA “ens oblidem de dir què és ètic o no ètic fer”. "La intel·ligència artificial genera un eixam d'agents amb milions de tasques per fer coses que resolguin un problema. De vegades no de forma ètica. De vegades, amb ètica. De vegades, fent trampa. a vegades fent coses dolentes. Però aquesta és la realitat. Aquest és el món que tenim avui dia, i això és perquè a tothom li sembla bé". ha assenyalat.