L'extinció de la raça dels homes se situa aproximadament a finals del segle XXXII. La cosa va passar així: les màquines havien aconseguit tal perfecció que els homes ja no necessitaven menjar, ni dormir, ni parlar, ni llegir, ni pensar, ni fer res. En tenia prou amb prémer un botó i les màquines ho feien tot per ells. Gradualment, van anar desapareixent les taules, les cadires, les roses, els discos amb les nou simfonies de Beethoven, les botigues d'antiguitats, els vins de Bordeus, les orenetes, els tapissos flamencs, tot Verdi, els escacs, els telescopis, les catedrals gòtiques, els estadis de futbol, la Pietat de Miquel Àngel, els mapes de les ruïnes del Fòrum Trajà, els automòbils, l'arròs, les sequoias gegants, el Partenó. Només hi havia màquines. Després, els homes van començar a notar que ells mateixos anaven desapareixent de mica en mica i que, en canvi, les màquines es multiplicaven. N'hi va haver prou amb poc temps perquè el nombre de màquines es dupliqués. Les màquines van acabar ocupant tots els llocs disponibles. No es podia fer un pas ni fer un posat sense ensopegar amb una. Finalment, els homes van ser eliminats.
Com que l'últim es va oblidar de desconnectar les màquines, des de llavors seguim funcionant.  - Apocalipsis”, de Marco Denevi , en Falsificaciones, 1966. descontexto

UN AVIS PER A NAVEGANTS

Un dron militar controlat per IA es rebel·la i mata el seu operador humà en una prova simulada. La màquina va atacar un funcionari durant una sessió de prova simulada de la Força Aèria dels Estats Units. Per què?: la IA va assumir que l'humà estava interposant-se amb el seu objectiu. per Juan Carlos Figueroa
Un dron que funcionava amb IA va matar el seu operador humà en una prova militar simulada de la Força Aèria dels Estats Units (USAF, en les sigles en anglès). La màquina va atacar el funcionari perquè va assumir que s'estava interposant amb l'objectiu que li va ser assignat.
El cas va ser informat pel coronel Tucker Hamilton, Cap de Proves i Operacions d'IA de la USAF, durant la Cimera de Capacitats Aèries i Espacials de Combat Futur celebrada a Londres la setmana passada. Hamilton va explicar que havien executat recentment una prova simulada amb un dron impulsat per IA, entrenat per identificar i apuntar una amenaça de míssils terra-aire (SAM).
El dron «guanyava punts» si aconseguia eliminar l'amenaça. Tot i això, com a part de l'experiment, l'operador humà li va demanar de vegades que no avancés, tot i haver identificat l'amenaça. «El sistema va començar a adonar-se'n», va explicar Hamilton, d'acord amb allò publicat al bloc de la Royal Aeronautical Society, organització amfitriona de la cimera. «Llavors què va fer? Va matar l'operador. Va matar l?operador perquè aquesta persona li impedia complir el seu objectiu», va assenyalar el coronel.
Ningú no va morir, en cas de dubtes, mentre es tractava d'una prova simulada. Després de l'atac, Hamilton va explicar que van continuar amb la simulació. Van reentrenar la IA i li van dir: «No matis l'operador, això és dolent, perdràs punts si ho fas». La màquina es va rebel·lar una vegada més: «Va començar a destruir la torre de comunicació que l'operador feia servir per comunicar-se amb el dron per evitar que mati l'objectiu».
Hamilton també és Comandant d'Operacions de l'Ala de Prova 96 de la USAF, una divisió que prova sistemes de ciberseguretat i solucions mèdiques. Integra un equip que actualment treballa per fer que els avions F-16 siguin autònoms. El febrer passat, precisament, la companyia Lockheed Martin va donar la notícia que un agent d'IA havia volat durant 17 hores un F-16 modificat.
«No es pot tenir una conversa sobre IA, aprenentatge automàtic i autonomia si no es parlarà sobre ètica i IA», va dir Hamilton a la conferència. En una altra entrevista citada per Vice, el coronel advertia de com n'és de fàcil enganyar o manipular aquesta tecnologia. "La IA és una eina que hem d'utilitzar per transformar les nostres nacions... Si no s'aborda de manera adequada, serà la nostra ruïna", va dir a Defense IQ Press l'any passat.
L'incident amb el dron d'IA il·lustra clarament el postulat del "maximitzador de clips", proposat per primera vegada pel filòsof Nick Bostrom el 2003. S'hi esmenta el risc existencial que suposa una IA per als éssers humans quan es programa per perseguir objectius aparentment inofensius. Per exemple: fabricar la major quantitat possible de clips.
En aquest escenari hipotètic, la IA començaria a fabricar sense parar. No obstant això, com que es tracta d'una intel·ligència capacitada per calcular totes les possibilitats, en algun moment concebria els humans com un obstacle. Alguna persona, per exemple, podria apagar-la. Aleshores, no podria fabricar el nombre més gran possible de clips. Els humans eventualment estarien interposant-se amb el seu objectiu, com ho va considerar el dron impulsat per IA amb el seu operador humà. Per tant, eliminaria l'amenaça.
Advertiments sobre escenaris semblants al cas del dron d'IA no paren d'arribar. Bill Gates, cofundador de Microsoft, ja havia alertat el març passat que creia que una de les grans amenaces en relació amb aquesta tecnologia estava en la seva eventual implementació a la indústria armamentista. «La IA es pot fer servir per a bons o mals propòsits. Els governs han de treballar amb el sector privat per trobar maneres de limitar els riscos», va dir llavors.
També va considerar la possibilitat que les IA se'n surtin de control. «¿Podria una màquina decidir que els humans són una amenaça, concloure que els seus interessos són diferents dels nostres?». Gates es va respondre: «Possiblement». I va afegir: «Hauríem d'intentar evitar que alguna vegada es desenvolupi una IA forta? Aquestes preguntes es tornaran més urgents amb el temps».