La intel·ligència artificial usada per la policia britànica per identificar delinqüents amb càmeres de reconeixement facial té errades en més del 80% de les vegades, el 100% en dos de les tres vegades usada a Londres el 2020, segons els últims casos fets públics. ¿La conseqüència? El seu ús s'estén, fins i tot després de l'assetjament policial a un nen de 14 anys (negre i innocent) identificat de manera equivocada com a sospitós.
Brisha Borden, afroamericana de 18 anys, relatava ja en el 2016 a ProPublica el que s'acostava: el com després d'agafar del carrer a Fort Lauderdale, Florida, una bicicleta i un monopatí d'un nen de sis anys, va acabar al calabós; i com -per la seva sorpresa- al deixar-la en llibertat, la policia va mesurar el seu risc de reincidència a través del COMPAS, el programa d'intel·ligència artificial que utilitza la justícia americana per calibrar la probabilitat de cada pres de reincidir, i aquest, tot i no tenir antecedents, la va xifrar amb un nombre major al d'un reincident ... blanc.

L'artista de carrer Akse dibuixa un mural de George Floyd a Manchester, Regne Unit.

El problema de Brodin era sobretot ser negra. Perquè com diu a La Vanguardia Ángel Gómez d'Ágreda, coronel d'l'Exèrcit de l'Aire i analista al Ministeri de Defensa a més d'autor de Mundo Orwell. Manual de supervivència per a un món hiperconnectat (Ariel), "els algoritmes depenen de les dades dels que aprenen. El percentatge de població reclusa negra és cinc vegades més gran que el dels blancs, que, al seu torn, és el quàdruple dels asiàtics -mesurat per milió de persones d'aquest grup. Així, si un algoritme aprèn a distingir els delinqüents sobre la base de dades dels presidiaris, concedirà cinc vegades més probabilitats de delinquir a una persona negra que a una blanca. Hi ha estudis que confirmen que un jugador de la NBA negre té més probabilitat de ser identificat com a criminal potencial per l'algorisme que un neonazi blanc ".

 La conseqüència, segons denuncien els experts, és que un exconvicte és una persona sempre sospitosa, o que com diu en conversa amb aquest diari Jenny Brennan, investigadora especialista en intel·ligència artificial, política i societat de l'Institut Ada Lovelace de Londres, "la tecnologia s'usa més contra aquells que ja s'enfronten a un excés de vigilància i contra els que tenen més relacions amb la justícia". Es reforça, en conseqüència, la desigualtat de partida.

Un exemple: a la final de la Champions d'al 2017 a Cardiff entre el Reial Madrid i la Juventus, l'escàner de les càmeres de reconeixement facial van alertar sobre més de 2400 persones. Segons sabem avui pocs més de 170 van ser identificades de forma correcta. En els últims anys a aquest cas se sumen altres tants, com ha denunciat partint de les pròpies dades policials i públics del Regne Unit l'organització BigBrotherWatch. La mateixa que denuncia que, excepte comptats casos, els programes continuen en marxa sense l'oposició parlamentària. En casos com el de Londres, la policia metropolitana els ha descartat aquest 2020. En d'altres, com a Gal·les, segueixen vigents mentre es desconeix què es fa per intentar millorar les seves deficiències.

I els problemes s'acumulen. Molt especialment sobre alguns col·lectius concrets. L'Institut Nacional d'Estàndards i Tecnologia (NIST) dels EUA va certificar el 2019, després d'estudiar gairebé 200 algoritmes (és a dir, a la quasi totalitat de mercat), que una persona negra té fins a cent vegades més probabilitats de ser identificada de forma incorrecta per la intel·ligència artificial que una blanca. En el rànquing de més perjudicats els seguirien els asiàtics i els indis. Al seu torn el programa de reconeixement facial més popular, el d'Amazon, segons un altre estudi, és inexacte en més de el 30% de les vegades per al pitjor dels casos, és a dir, el d'una dona negra.

Per a Jordi Nin, professor d'Esade especialista en intel·ligència artificial i data science, el problema del reconeixement facial es deu al fet que "el model ha estat provat només amb cares de persones blanques i de forma majoritària homes. És un error de la companyia en l'entrenament i no de sistema en si". L'alternativa, insisteix, és purgar les dades. "Hi ha un primer biaix en quines dades es recullen, és a dir, quin tipus de crims i amb quins atributs. Hi ha un segon en quin tipus d'algoritmes s'apliquen, perquè alguns s'expliquen i altres no. En l'algoritme no hi ha discriminació perquè es construeix un model intentant maximitzar els encerts. Una vegada que tens el model, el problema està en qui l'usa i qui pren les decisions. El pitjor és quan les persones prenen decisions [basant-se aquest algoritme] assumint que el que indica és totalment cert i sense entendre que té incertesa", ens relata la seva banda José Manuel Molina, catedràtic de ciència de la computació i intel·ligència artificial de la Universitat Carlos III de Madrid.

IBM ha deixat de distribuir el seu programari per problemes pel que fa a la raça. El mateix ha fet Amazon. També Microsoft. Els grans fabricants reaccionen davant les crítiques públiques després de la mort de George Floyd. "La mala notícia" repeteix, en canvi, l'analista Azeem Azhar, és que "hi ha altres empreses importants que brinden tecnologies de vigilància, com són Huawei, NEC [la qual opera al Regne Unit], HIKVISION i Clearview AI, que construeix seva gegantina base d'imatges recollint fotos d'usuaris de Facebook violant els termes de la companyia ".
El sistema espanyol no identifica persones concretes, perquè, a Europa, les lleis de protecció de dades limiten el desenvolupament d'aquest tipus d'usos com no passa en EUA o el Regne Unit. D'aquí que un altre similar es provi a Màlaga en base a les "característiques úniques de la cara", per la "aparença". Aquesta regla, amb tot, no s'aplica en la lluita contra crims com el terrorisme o el blanqueig de capitals. I és aquí on les possibilitats del seu ús i desenvolupament tornen a expandir-se. És més, el think tank nord-americà Carnegie dóna per fet que a la península s'utilitza aquesta tecnologia com al Regne Unit. No hi ha més dades. Amb tot, i encara que la taxa d'error segueix disparada i els casos polèmics es sumen, és palpable que el seu ús s'estén. 

Una vegada que tens el model, el problema és qui l'usa i qui pren les decisions perquè es fa sense entendre que el sistema té incerteses.