L'ossessione dell'esercito USA per l'AI rischia di causare catastrofi

In un doppio attacco contro una scuola femminile iraniana sono state uccise oltre 175 studentesse e membri del personale. Questo episodio si inserisce in un bilancio più ampio: al 6 marzo si contano almeno 1.332 civili morti e circa 3.000 obiettivi colpiti, selezionati anche grazie a sistemi di intelligence.

Secondo alcune ricostruzioni, tra gli strumenti usati ci sarebbe anche Claude di Anthropic, ma se abbia avuto un ruolo diretto nella scelta di questo specifico bersaglio non è chiaro. Il resto lo è abbastanza… il Pentagono ha chiesto 13,4 miliardi di dollari per il 2026 da destinare a sistemi AI autonomi.

Pentagono e AI: sistemi non testati potrebbero causare gravi errori

Secondo una nuova analisi del Brennan Center for Justice, il problema è la velocità con cui l’esercito USA sta adottando sistemi AI senza testarli a fondo, che potrebbe portare a errori operativi. Ad esempio, sistemi che prendono decisioni sbagliate o poco affidabili, maggiori rischi per i civili e violazioni della privacy e delle libertà civili,.

I 13,4 miliardi di dollari richiesti dal Pentagono non riguardano solo le armi. L’AI viene integrata nella sorveglianza, nella manutenzione, nella catena di approvvigionamento e nelle operazioni amministrative. La diffusione è capillare, e con essa crescono i rischi: errori degli algoritmi che causano uccisioni indiscriminate, arresti ingiustificati e un deterioramento generale delle libertà civili per mano dell’esercito più potente del mondo.

Il punto più importante dell’analisi smonta una delle difese più usate dai sostenitori dell’AI militare: la presenza di un essere umano nel processo decisionale. Ma anche se c’è un essere umano a supervisionare, gli errori dell’AI possono comunque passare inosservati. Gli analisti spiegano che, in teoria, comandanti e operatori dovrebbero controllare e verificare in modo indipendente gli obiettivi suggeriti dall’AI prima di agire.

Chi dovrebbe controllare, non controlla…

Nella pratica, però, può succedere il contrario. Chi usa questi sistemi tende a fidarsi troppo delle raccomandazioni degli algoritmi, soprattutto perché sembrano precise e “oggettive”. Il fenomeno è noto come “bias dell’automazione“. Quando un sistema automatizzato fornisce una risposta, gli esseri umani tendono ad accettarla, anche quando hanno il compito di verificarla. In un contesto militare, dove le decisioni devono essere prese in pochi secondi, la tendenza a fidarsi della macchina è amplificata.

Inoltre, una maggiore dipendenza dall’AI riduce le vite degli individui a puntini e dati su uno schermo, cosa potrebbe desensibilizzare i soldati agli atti di uccisione e distruzione, aggiunge il rapporto.

I sistemi AI generano obiettivi più in fretta di quanto gli esseri umani possano verificarli. E quando la verifica rallenta le operazioni, la pressione a saltarla aumenta. Il Brennan Center non chiede di fermare tutto, ma test adeguati prima della loro diffusione e che le protezioni per i civili non vengano sacrificate in nome della velocità. Guardando i numeri dall’Iran, non sembra una richiesta irragionevole.