Italian Tech

Norman, quando l'intelligenza artificiale è psicopatica

Norman, quando l'intelligenza artificiale è psicopatica
Un test del Mit di Boston per provare come, più degli algoritmi, la responsabilità essenziale del futuro delle reti neurali e degli assistenti virtuali si nasconda nei dati con cui sono state "addestrate"
2 minuti di lettura
UN'INTELLIGENZA artificiale pensata appositamente per manifestare le dinamiche della psicopatia. Si chiama Norman e l'ha sfornata il sempre stimolante Media Lab del Mit di Boston. L'obiettivo, nonostante osservatori più o meno attenti ci stiano ricamando sopra, è tutt'altro che apocalittico. Al contrario, Norman dovrebbe servire un po' da prova del nove rispetto ai possibili rischi nella programmazione e realizzazione di questi sistemi di intelligenza artificiale. In altre parole, dimostrare come l'AI "cresca" in modi del tutto differenti a seconda dei dati che ha ricevuto in pasto nella fase di machine learning e di addestramento.
 
Norman, in particolare, è stato allevato con una serie di informazioni oscure e conturbanti pescate dalle "zone più oscure della rete" e in particolare di Reddit, il celebre aggregatore statunitense. Nell specifico, da un canale "dedito alla documentazione e all'osservazione dell'inquietante realtà della morte". Quel che ne è uscito è appunto un'intelligenza artificiale che sembrerebbe, in base ai test a cui è stata sottoposta, manifestare disturbi mentali tipici della psicopatia come la carenza di empatia, l'inganno e la paranoia. Soprattutto se gli esiti venivano confrontati con un'altra rete neurale addestrata invece con un dataset più neutrale (il cosiddetto Coco Dataset), privo di elementi oscuri e macabri come quello di Norman ma ricco di fiori e animali.
 
Qualche esempio? Al test di Rorschach che richiede di interpretare le macchine di inchiostro dove un'intelligenza artificiale neutrale vedeva degli uccelli appollaiati su un albero Norman - che ha mutuato il nome dal Norman Bates, l'Anthony Perkins di Psycho e ancora prima protagonista dei romanzi di Robert Bloch - individuava un uomo sottoposto alla sedia elettrica. Dove, invece, l'AI standard immaginava - diciamo così - un vaso pieno di fiori quella psicopatica scopriva un uomo colpito a morte da un proiettile. Ancora: dove la prima scorgeva un ombrello rosso e bianco l'altra una persona che viene uccisa da una scarica elettrica mentre cerca di attraversare una strada trafficata, dove l'AI neutrale vedeva un gruppo di persone alla finestra Norman immaginava qualcuno in procinto di buttarsi da quella medesima finestra. E così via, di incubo in incubo fra corpi, sangue e distruzione. Tutti i risultati al test, che di solito si usa in psicologia e psichiatria per indagare la personalità di un paziente, si possono consultare qui.
 
Oltre questa sequela di drammi, qual è il senso di un simile esperimento? Sottolineare come "i dati contino più degli algoritmi". Lo ha spiegato Iyad Rahwan, professore associato del Mit e membro del team che ha sviluppato Norman, alla Bbc. "Il test mette in evidenza l'idea che i dati che usiamo per addestrare le intelligenze artificiali si riflettano nel modo in cui quegli stessi sistemi percepiscono il mondo e decidono il modo in cui comportarsi". Pregiudizi, stereotipi, discriminazioni, in questo caso perfino i contorni di una malattia mentale: sempre più esperimenti provano come la fase essenziale nella creazione delle intelligenze artificiali sia legata alla mole e soprattutto al genere di dati su cui viene "cresciuta". Lo scorso anno, per esempio, uno studio spiegò come un sistema utilizzato da una corte statunitense per valutare alcuni tipi di rischi legati ai detenuti penalizzasse quelli di colore.
 
Secondo Rahwan l'esperimento con Norman prova un'altra urgenza: "Gli ingegneri devo trovare un modo di bilanciare i dati" e, allo stesso tempo, il mondo del machine learning e delle sempre più diffuse intelligenze artificiali (basti pensare agli assistenti o alle auto autonome) non può essere lasciato in mano ai programmatori. Servirà anche un protocollo per il futuro: "Il comportamento delle macchine dovrà essere studiato nello stesso modo di quello umano" ha aggiunto il ricercatore. Ecco dunque che, lanciandosi oltre il raggelante test, occorrerà che si sviluppi una qualche forma di psicologia dell'intelligenza artificiale, un modo di sottoporre periodicamente a verifiche i sistemi sviluppati negli anni precedenti. Per capire se, nel frattempo e a causa dei dati che hanno processato, non siano in qualche modo mutati.
 
Il tema è lo stesso su cui si è espresso di recente Satya Nadella, Ceo di Microsoft, quando all'ultima conferenza Build ha rilanciato un'idea che supporta da tempo (ne parlò già su Slate due anni fa): quella di stabilire dei principi etici chiari che guidino lo sviluppo di queste soluzioni: dalla progettazione per aiutare l'umanità alla trasparenza passando per il rispetto della privacy, la responsabilità e la non discriminazione. Ma anche Mark Zuckerberg e Sundar Pichai di Google si sono di recente espressi sul tema. Norman servirà a ricordare le loro promesse di un'AI sotto controllo.