Els textos creats per Gemini, el model d'intel·ligència artificial generativa desenvolupat per Google Deepmind, l'empresa d'IA del gegant tecnològic nord-americà, inclou des del maig una marca d'aigua invisible que en facilita la identificació com a contingut artificial. Es tracta del millor sistema de detecció desenvolupat fins ara a aquest efecte, segons un article que publica aquest dimecres la revista Nature, i representa un avenç quant a transparència que s'alinea amb les exigències de la llei europea, també coneguda com a AI Act. Tot i així, el marcatge no és infal·lible i la detecció falla si l'usuari edita o parafraseja el text generat.

La implementació de SynthID-text (el nom amb què Google Deepmind ha batejat l'algorisme de marques d'aigua) no altera la qualitat dels textos generats per Gemini ni requereix massa potència computacional per funcionar. Ambdós factors han estat clau per al desplegament a gran escala. Per primera vegada, asseguren els seus desenvolupadors en un article científic on qualifiquen l'avenç com una fita per a un desplegament responsable i transparent de la IA, una eina d'aquestes característiques s'ha integrat en una aplicació utilitzada per milions d'usuaris.

Les IA generatives són una mena de màquines de probabilitat. Calculen quines paraules és més probable que responguin adequadament a les nostres preguntes, sobre la base de tots els textos amb què han estat entrenades. SynthID-text altera lleugerament aquest càlcul probabilístic, i canvia algunes de les paraules que l'algoritme faria servir per respondre per altres, sempre de manera que no afectin el sentit global de la resposta. Aquestes variacions, imperceptibles per a l'ull humà, deixen un soroll estadístic, una mena de rastre que el sistema pot detectar posteriorment per identificar els textos creats artificialment.

L'èxit de la detecció depèn en gran mesura del tancat de la resposta. Si la pregunta que fem a la IA és molt concreta i el sistema sempre respon de la mateixa manera, la marca d'aigua pràcticament no alterarà el text i, en conseqüència, SynthID no podrà detectar-ne l'origen artificial. En canvi, com més àmplia sigui la qüestió i més factors aleatoris hi hagi, més gran serà l'habilitat del sistema per detectar-lo encertadament, amb taxes d'èxit que ronden el 90%.

L'eina millora els estàndards de qualitat d'altres productes semblants desenvolupats fins ara, i salva per primer cop la dificultat de la implementació a gran escala. Tot i això, xoca amb altres barreres reconegudes pels seus autors i identificades ja el desembre de 2023 pel Servei de Recerca del Parlament Europeu: no és infal·lible (especialment en respostes breus), i el seu potencial desapareix si l'usuari edita o parafraseja el text.

Identificar clarament si un contingut, sigui escrit o audiovisual, té un origen artificial és un dels grans reptes a què s'enfronten les IA generatives, que han sacsejat, entre d'altres, el món educatiu i la creació de contingut a internet.

"Actualment, els sistemes per detectar si un document ha estat generat per IA tenen índexs d'encert baixos, per la qual cosa tecnologies que facilitin la identificació de l'autoria són molt necessàries", apunta en declaracions a Science Media Centre Pablo Haya, investigador del Laboratori de Lingüística informàtica de la Universitat Autònoma de Madrid (UAM), que tampoc no ha participat en el treball. Segons ell, l'article presenta una solució tècnicament robusta al problema, però no és la panacea, perquè manipular-ne el resultat és senzill i comú.

Una altra qüestió a tenir en compte és que l'èxit de les marques d'aigua depèn que les empreses facin servir sistemes estandarditzats. És a dir, que el detector de Gemini pugui, per exemple, identificar textos generats per ChatGPT, la IA d'OpenAI. “Caldria que fos un organisme independent com l'Oficina d'IA de la UE, creada per a l'aplicació de l'AI Act, la que faci una revisió d'última generació en aquest camp i defineixi els estàndards que tots els proveïdors d'IA generativa han de seguir estrictament”, defensa Sabater. Amb informació de la vanguardia.cat.

Però l'oficina de la IA de la UE com sempre va tard a l'hora de legislar, la tecnologia sempre els va per davant, i per això sembla raonable suposar que la marca de l'aigua, es quedarà indeleble, en res, o en poca cosa, com la oficina de la IA de la UE.