Asimov e le leggi della robotica tradotte per l’intelligenza artificiale nell’AI Act europeo
Le ricordate le tre leggi della robotica di Isaac Asimov?
A prescindere dall’intelligenza di un sistema, nei racconti dello scrittore statunitense di origine russa, i conflitti di natura etica su cosa potesse essere consentito di fare (o non fare) a una macchina intelligente erano stati risolti con l’iscrizione di tre leggi fondamentali nella memoria dei sistemi al livello operativo più profondo:
- Un robot non può recare danno agli esseri umani, né può permettere che, a causa del suo mancato intervento, gli esseri umani ricevano danno;
- Un robot deve obbedire agli ordini impartiti dagli esseri umani, tranne nel caso che tali ordini contrastino con la Prima Legge;
- Un robot deve salvaguardare la propria esistenza, purché ciò non contrasti con la Prima e la Seconda Legge.
Le leggi di Asimov sono così suggestive che sono state più volte richiamate dagli esperti chiamati a discutere di etica e di intelligenza artificiale (AI), anche in relazione al recente AI Act, approvato dal Parlamento UE con valore di Legge il 13 marzo scorso.
Secondo gli esperti, con la nuova legge, l’Unione europea punta a un’intelligenza artificiale affidabile a misura della persona. Sistemi pensati per potenziare le persone ma all’interno di un quadro di valori etici e legali condivisi, come il rispetto dei diritti umani, la trasparenza, il non conformismo, la non manipolazione.
Il dibattito riguarda soprattutto l’intelligenza artificiale generativa, dove non sappiamo bene come controllare la trasparenza, la robustezza e altre dimensioni che andrebbero tenute sotto controllo. Altra ricerca dovrà approfondire queste possibilità.
Ad ogni buon conto, la soluzione a molti problemi che ruotano intorno alla responsabilità delle decisioni da prendere quando sono coinvolti sistemi artificiali è individuata nella “umanizzazione delle scelte”, che l’AI deve supportare le persone nelle scelte. Si argomenta che l’intelligenza artificiale può solo fornire delle opzioni basate sull’elaborazione di informazioni ma che, alla fine, sono le persone è a prendere la decisione sull’intervento.
A supporto di una tale impostazione, vengono spesso citati casi di applicazione di AI in ambito medico, giudiziario, di ordine pubblico e più in generale riguardante la sfera dei rapporti civili – siano essi rapporti tra cittadini o tra cittadini e Stato.
Meno si discute dell’applicazione dell’AI all’ambito militare.
In guerra, com’è noto, tutto è lecito: non c’è tempo per controllare ogni obiettivo.
Eppure, da questo punto di vista, la guerra scatenata dalla Russia contro l’Ucraina e più ancora, quella di Israele contro Hamas nella Striscia di Gaza, rappresentano degli straordinari banchi di prova, delle formidabili vetrine attraverso cui vedere di cosa l’AI è capace e se la salvaguardia dell’intervento umano in ultima istanza sia un’efficace garanzia di umanizzazione delle tecnologie.
A quanto pare no.
Come si legge nel libro scritto da un generale israeliano – che dirige un’unità dei intelligence dell’IDF (Israel Defence Forces, le forze armate israeliane)- già nel 2021 era in fase di sviluppo una macchina speciale in grado di processare una quantità massiva di dati e di generare migliaia di obiettivi militari in battaglia, una tecnologia – scrive l’autore – che risolverebbe il collo di bottiglia che si crea quando interviene il lavoro umano, sia nella localizzazione degli obiettivi che nel prendere la decisione di approvare il singolo obiettivo.
Si tollera un margine di errore usando l’intelligenza artificiale, rischiando di attaccare per errore, rischiando danni collaterali e rischiando di uccidere civili
Ne parla diffusamente un articolo del giornalista e regista Yuval Abraham comparso su +972 Magazine, una rivista curata da giornalisti israeliani e palestinesi. Da quell’articolo traggo anche tutte le informazioni a seguire e che riguardano l’impiego di tecnologie basate sull’AI nelle operazioni dell’IDF.
A quanto pare, la macchina descritta nel libro esiste e si chiama Lavender ed è stata abbondantemente usata nel conflitto di Gaza, specie nelle prime fasi. Riportano i testimoni che la sua influenza sulle operazioni dei militari era tale che questi trattavano gli output dell’AI come se fossero una decisione umana.
Il software Lavander individua la probabilità che un individuo sia un miliziano di Hamas fornendo un punteggio da 1 a 100
Finché la lista di obiettivi generata riguardava solo alcune dozzine di operativi di alto rango, gli analisti dell’intelligence erano in grado di maneggiare individualmente il lavoro richiesto per incriminare gli obiettivi e localizzarli. Tuttavia, da quando la lista si è espansa fino a comprendere decine di migliaia di operativi di Hamas di basso livello, l’esercito israeliano ha capito che si sarebbe dovuto affidare alle valutazioni automaticamente prodotte dal software di AI, con il risultato che il ruolo del personale umano nell’incriminare i palestinesi sospetti è stato accantonato, lasciando gran parte delle decisioni in mano all’AI.
“Volevano autorizzarci ad attaccare gli obiettivi automaticamente” riferiscono i testimoni ascoltati da +972. La decisione di approvare l’adozione automatica degli obiettivi da uccidere risale a due settimane dopo l’inizio della guerra, dopo che erano state fatte delle verifiche che riscontrarono che le liste di Lavender erano accurate al 90% nell’individuare l’affiliazione degli obiettivi ad Hamas. Da quel momento in poi, fu richiesto al personale preposto a decidere se lanciare un attacco di trattare la lista degli obiettivi di Lavender come se fossero un ordine, senza alcun bisogno di controllare perché la macchina aveva effettuato quelle scelte o su quali dati grezzi si basasse.
Due settimane dopo l’inizio della guerra si decise di approvare l’adozione automatica degli obiettivi da uccidere, visto che si erano rivelati corretti nel 90% dei casi
Il software Lavender analizza informazioni raccolte su gran parte dei 2,3 milioni di residenti nella striscia di Gaza attraverso un sistema di sorveglianza di massa, quindi valuta e classifica la probabilità che ogni singola persona sia attiva nell’ala militare di Hamas o della Jihad islamica. Secondo le fonti, il programma assegna un punteggio da 1 a 100 a quasi ogni singola persona in Gaza, esprimendo la probabilità che sia un miliziano.
Come tutti i sistemi di intelligenza artificiale, anche Lavender è stato addestrato su dati che gli sono stati forniti da umani. In questo caso, al software sono state somministrate informazioni riguardanti le caratteristiche di noti miliziani di Hamas e della Jihad, in modo che la macchina potesse poi individuare le medesime caratteristiche contenute nel campione di addestramento all’interno della popolazione in generale. In questo modo, una persona che possedesse diverse “qualità caratteristiche” incriminanti riceverebbe un punteggio elevato in quanto potenziale obiettivo.
Gli algoritmi sono stati addestrati su un set di dati con caratteristiche associate a miliziani di Hamas, come far parte di una chat whatsapp con noti miliziani, cambiare spesso telefono o abitazione
Per avere un esempio di quali siano le caratteristiche su cui si potrebbero basare gli algoritmi di machine-learning, Yuval Abraham – l’autore dell’articolo di +972 da cui stiamo attingendo a piene mani – cita nuovamente il libro del generale la cui iniziali sono YS e che risulta alla guida delle unità di intelligence “8200”. Il libro offre una guida su come costruire una “target machine” del tutto simile a quella che i testimoni ascoltati descrivono con il nome di Lavender. Alcuni esempi delle migliaia di caratteristiche che possono incrementare il rating di un individuo adulto sono: partecipare a un gruppo Whatsapp con un militante noto, cambiare cellulare ogni pochi mesi, cambiare frequentemente indirizzo. Ancora, letteralmente: “informazioni visive, informazioni derivate dal cellulare, connessioni nei social media, informazioni prese sul campo, contatti nella rubrica, fotografie.” Le caratteristiche associate ai miliziani sono fornite all’algoritmo dapprima da personale umano ma, in una seconda fase, è la macchina stessa che impara a costruirle per proprio conto (è il principio delle tecnologie fondate sul machine learning). Tra i dati forniti al sistema Lavender, ci sarebbero anche quelli generati da dipendenti del Ministero dell’Interno di Gaza, il quale è sì guidato da Hamas ma sarebbe un errore considerare suoi miliziani tutti gli impiegati ministeriali, così come gli agenti di pubblica sicurezza. Eppure, secondo le fonti, anche le caratteristiche di questi ultimi sarebbero entrate a far parte del dataset di addestramento di Lavender, favorendo così, nel momento in cui gli algoritmi vengono applicati alla popolazione generale, la possibilità di individuare per errore dei civili come obiettivi.
Le caratteristiche associate ai miliziani sono fornite all’algoritmo dapprima da personale umano, poi è la macchina stessa che impara a costruirle per proprio conto, in base allo schema fornito inizialmente
Il meccanismo di funzionamento della “target machine” è stato anche descritto in una presentazione tenuta da un ufficiale superiore della medesima unità 8200 – “Col. Yoav” – del cui video +972 era entrata in possesso nel novembre 2023.
È interessante notare che il colonnello che compare nel video affermi testualmente: “noi classifichiamo i risultati e determiniamo la soglia [oltre la quale viene identificato un obiettivo]”; proseguendo poi che “alla fine saranno persone in carne e ossa a prendere le decisioni. Nel regno della difesa, parlando eticamente, poniamo una grande enfasi su questo. Questi strumenti [di AI] sono ideati per aiutare [gli analisti dell’intelligence] ad abbattere i propri limiti.
L’enfasi sulla decisione umana posta nel “regno della difesa” israeliana è venuta meno in questa guerra, visto che ormai il controllo umano è un mero timbro apposto dagli operatori
Suona grottescamente simile al “punto fermo” identificato dagli esperti di AI che hanno partecipato al dibattito sul varo dell’AI Act europeo. Secondo costoro, la responsabilità di un sistema di AI si ottiene facendo in modo che le decisioni finali circa un’opzione siano prese da persone umane. Ecco: lo stesso diceva l’eticamente parlante “Col. Yoav”. Secondo le testimonianze invece, l’enfasi sulla decisione umana posta nel “regno della difesa” israeliana è venuta meno in questa guerra, visto che ormai il controllo umano è un mero timbro apposto dagli operatori, che impiegherebbero pochi secondi a validare ciascun obiettivo. Pare, limitandosi a controllare se si tratti di un maschio adulto. Nonostante che si sapesse che almeno il 10% degli obiettivi individuati non erano miliziani di Hamas o della Jihad. Come affermano le fonti: “in guerra non c’è tempo per incriminare ogni obiettivo. Così sei disposto a tollerare un margine di errore usando l’intelligenza artificiale, rischiando danni collaterali e di uccidere civili e rischiando di attaccare per errore, convivendo con le scelte fatte.”Altro conto, su cui non entro in questa contestualizzazione del reportage della testata israelo-palestinese, è se sia lecito – anche in guerra – ricorrere agli omicidi mirati verso nemici non combattenti, anche quando correttamente “incriminati”.
A prescindere dalla dubbia liceità di ricorrere agli assassini mirati verso nemici non combattenti, almeno il 10% degli obiettivi individuati non erano miliziani di Hamas o della Jihad
Ma c’è di più, molto di più.
Nel caso di raid di omicidi mirati sistematici, l’esercito spesso sceglieva attivamente di bombardare i miliziani sospetti quando questi si trovavano all’interno di abitazioni civili dalle quali non era mai originata attività di tipo militare. Questa scelta discende direttamente dal modo in cui è progettato il sistema di sorveglianza di massa di Israele a Gaza. Ogni abitante di Gaza può essere ricondotto a una determinata abitazione privata e, per individuare in tempo reale il momento in cui gli attivisti entrano nelle loro case, sono stati sviluppati altri software automatizzati. Questi programmi monitorano migliaia di individui contemporaneamente, individuano quando questi sono in casa e inviano un segnale automatico al personale addetto al puntamento sugli obiettivi, che segnalerà quelle case perché siano bombardate. Uno di questi software si chiama “Where’s Daddy?”: Dov’è Papà?
Il software “Where is Daddy?” individua in tempo reale il momento in cui gli attivisti entrano nelle loro case, quando è più facile ucciderli. Insieme alle loro famiglie
Questo significa che il fatto di colpire intere famiglie nelle loro abitazioni, di cui un membro è probabile miliziano di Hamas, lungi dal rappresentare un errore è una pratica decisa a monte: le famiglie dei supposti miliziani sono tollerate come obiettivi collaterali. La contabilità tenuta dall’ONU tragicamente sembra confermare l’uso di questa pratica: nel corso del primo mese di guerra, oltre la metà delle vittime – 6.120 persone – faceva parte di 1.340 famiglie, molte delle quali sono state completamente cancellate, mentre erano nelle loro case.
Inoltre, la decisione su quali obiettivi inserire nella lista da dare in pasto a programmi come Where’s Daddy? – anche fino a 1.200 persone in un giorno – veniva presa autonomamente dagli addetti al targetting, quindi a un livello piuttosto basso nelle gerarchie dell’esercito, spesso anche solo in base all’impressione degli operativi che il numero di attacchi su Gaza stesse diminuendo.
Nelle prime due settimane di guerra, le diverse migliaia di obiettivi inizialmente somministrati a programmi come Where’s Daddy? includevano membri delle unità speciali d’élite di Hamas, tutti gli operativi anti-tank della stessa Hamas e tutti quelli che erano entrati in territorio israeliano il 7 ottobre. Ma ben presto la lista degli assassinandi è stata drasticamente espansa, fino a coincidere con tutti quelli individuati dal sistema Lavender, le cui soglie di individuazione (ovvero la quantità di “caratteristiche tipiche” necessarie perché il sistema decidesse che una persona era un miliziano di Hamas, espressa con un punteggio probabilistico che andava da 1 a 100) venivano, peraltro costantemente modificate al ribasso, fino ad includere anche minori di 17 anni.
La scelta su come colpire gli obiettivi è tra bombe “intelligenti” e non. Le bombe stupide costano meno ma provocano molte più vittime collaterali
A questo punto, dopo che il programma Lavender aveva individuato gli obiettivi, una volta stabilito – da parte di un umano – che si trattasse di maschi, dopo che il sistema di tracciamento aveva identificato l’obiettivo nella propria abitazione, a quel punto si procedeva a scegliere le munizioni con cui bombardarli. La scelta in breve è tra bombe “intelligenti” e non, tra “dumb bombs” e “smart bombs”, dove le prime hanno un costo molto minore per chi le lancia ma provocano molte più vittime collaterali delle seconde.
Le fonti dell’intelligence interpellate da +972 confermano che i miliziani di Hamas di basso rango venivano uccisi solo con “dumb bombs”, al fine di risparmiare sugli armamenti più costosi, riservati per colpire i dirigenti. Si finiva così con il non colpire gli obiettivi di basso livello se questi si trovavano in un edificio alto, per limitare gli effetti collaterali. Ma se i miliziani di basso rango si trovavano in una casa di solo un paio di piani, l’esercito era autorizzato ad assassinare tutti quelli che si trovavano nell’edificio utilizzando una bomba poco sofisticata.
Per ogni milizano di Hamas di basso rango erano accettabili 15-20 persone come danno collaterale, bambini compresi. Per i dirigenti, invece, la soglia di tolleranza si elevava fino a superare i 100 civili
Sempre secondo le fonti consultate da Yuval Abraham contenute nell’articolo cui qui si fa riferimento, i danni collaterali tollerabili per ogni milizano di Hamas di baso rango era quantificabile nell’ordine delle 15-20 persone, bambini compresi. Per i dirigenti, invece, la soglia di tolleranza si elevava fino a superare abbondantemente i 100 civili.
Ora, affermano le fonti, i bombardamenti indiscriminati sono più rari, in parte perché, a differenza che nelle prime settimane di guerra, non ci sono più case da colpire e programmi come “Where’s Daddy?” mostrano grossi limiti a linkare gli obiettivi nel momento in cui pressoché tutta la popolazione di Gaza è accampata nei dintorni di Rafah. In parte, poi, perché l’IDF non intende svuotare i propri arsenali, risparmiando le bombe, anche quelle “dumb” per un eventuale impiego al nord, dove con ogni evidenza si crede che si aprirà un nuovo fronte.
SoluzioneDigitale 