Vivim en una societat que està plena de caixes negres per a nosaltres, mecanismes, sistemes, algoritmes, robots, codis, automatismes i dispositius que fem servir o ens afecten, però el funcionament dels quals ens és desconegut. La nostra seria una black box society (Frank Pasquale). Si l’actuació de sistemes intel·ligents té una influència en la vida quotidiana cada vegada més gran i més decisiva, també augmenta la necessitat d'equilibrar les asimetries cognitives que en resulten. Hem de construir tota una nova arquitectura de justificació i control on les decisions automàtiques ­puguin ser examinades i sotmeses a revisió crítica.

Qualsevol aspiració a reduir l'opacitat dels entorns en els quals ens movem ha de diferenciar els tipus d'intransparència. La primera forma d'intransparència és la produïda intencionalment, la que es deu a una voluntat deliberada d'ocultar, sense que això tingui necessàriament una dimensió reprotxable. Aquesta opacitat es pot explicar per la protecció de dades, el dret de propietat o per qüestions de seguretat i altres de relatives al bé comú.
Hi ha un altre tipus d'intransparència que s'explica per la configuració tècnica de certs dispositius. La seva complexitat tècnica produeix ignorància en els usuaris i asimetries cognitives entre ells i els experts. El procés de decisió dels sistemes intel·ligents és intransparent i opac, en bona mesura per motius tècnics, no per intencionalitat expressa dels seus ­dissenyadors.
El tercer tipus d'opacitat, la més complexa i la més específica dels nous dispositius intel·ligents, és la que no està amagada, sinó que sorgeix amb el desenvolupament, la inesperada, la que obeeix precisament a l’autonomia del seu caràcter intel·ligent. Estaríem parlant del black box de les coses emergents: uns dispositius la naturalesa dels quals, en la mesura que aprenen, està en una contínua evolució, que són inestables, adaptatius i discon­tinus a causa de la permanent re­configuració.

La humanitat ha construït màquines que només eren enteses pels seus creadors, però no havíem construït mai màquines que operarien d'una manera que els seus creadors no entendrien. La intel·ligència artificial sembla implicar aquest tipus de novetat històrica. Que es tracti de sistemes autònoms no vol dir que siguin éssers lliures i racionals, sinó que tenen la capacitat de prendre decisions no pronosticables. Per això l'exigència de transparència pot xocar amb un límit infranquejable: no té sentit preguntar als programadors per entendre els algoritmes, com si la veritable naturalesa dels algoritmes estigués determinada per les intencions dels dissenyadors. Com coneixerem un dispositiu, la seva evolució i decisions, si ni tan sols els creadors de l'algoritme no saben exactament de quina manera funciona?
Tenint en compte les dificultats que planteja l'estratègia de la transparència, el debat ha girat els últims anys cap a una altra categoria: es tractaria de dissenyar una intel·ligència artificial explicable. Organitzacions i institucions públiques haurien d'explicar els processos i les deci­sions dels algoritmes d'una manera que sigui comprensible pels humans que els fan servir o que en resulten afectats. Segurament els mateixos criteris que valen per a les decisions humanes no es poden aplicar a les decisions dels sistemes, però sí que cal situar els sistemes intel·ligents en l’espai deliberatiu en el qual se sospesen deci­sions i arguments.

Aquesta supervisió dels sistemes intel·ligents sobrepassa la capacitat de la gent corrent, està a l’abast en principi dels experts, però fins i tot els especia­listes tenen grans dificultats per comprendre certes decisions. Els programes que prenen decisions basades en enormes quantitats de dades són d’una gran ­complexitat. Els éssers humans indivi­duals es troben sobrecarregats a l’hora de comprendre en detall el procés de la ­presa de decisions.
Únicament persones expertes estan en condicions d’entendre la lògica dels codis i els algoritmes, amb la qual cosa qualsevol operació de fer-los més transparents té efectes asimètrics, no possibilita una accessibilitat universal.

Pel que fa a això, l’article 22 de la regulació europea sobre protecció de dades introdueix un “dret a explicació” molt poc realista. Aquest dret reconeix als individus la capacitat d’exigir una explicació sobre com s’ha pres una decisió plenament automatitzada que els afecta. Però el problema fonamental quan parlem d’intel·ligibilitat és que la tasca d’auditar els algoritmes o d’explicar les decisions ­automàtiques s’ha de concebre com una tasca col·lectiva, no com un simple dret individual, en moltes ocasions de difícil realització. La idea d’un consentiment informat procedeix més aviat del dret privat que de la governança dels béns comuns, d’una llibertat negativa (en el sentit en el qual la formulava Isaiah Berlin), no des d’una perspectiva relacional, so­cial i política.

No n’hi ha prou amb privatitzar la transparència i deixar en mans de la ciutadania el control sobre els sistemes intel·ligents –un control que amb prou feines poden dur a terme– i renunciar així a la regulació pública. Els subjectes individuals només podem gestionar els corrents massius de dades en una mesura limitada. No podríem decidir entorn de dades i decisions possibles si no és que ens són filtrades fins a unes dimensions que ens resultin manejables. 
En comptes de prendre com a punt de partida un usuari independent, les pràc­tiques de la transparència només tenen sentit en un context social, com a senyals d’una disposició a retre comptes i generar confiança. - DANIEL INNERARITY - lavanguardia.