L’allarme, lanciato dal Financial Times, spiega come nonostante l’uso sembri limitato a compiti come elaborazione dati, gestione IT e supporto decisionale, queste applicazioni possono generare vulnerabilità sistemiche. Ecco perché.
L’adozione di strumenti amministrativi basati su AI da parte delle forze armate statunitensi, inclusi comandi come USAfricom, solleva importanti interrogativi sulla sicurezza e sull’affidabilità di queste tecnologie.
L’allarme, lanciato dal Financial Times, spiega come nonostante l’uso sembri limitato a compiti come elaborazione dati, gestione IT e supporto decisionale, queste applicazioni possono generare vulnerabilità sistemiche.
I modelli AI, come evidenziato in più contesti, tendono a produrre risultati errati (note come ‘allucinazioni’) e ad amplificare errori che, nel tempo, potrebbero portare a conseguenze operative e danni collaterali.
USAfricom non è un caso isolato. Quest’anno, l’Aeronautica e la Space Force statunitensi hanno lanciato un chatbot di IA generativa chiamato Non-classified Internet Protocol Generative Pre-training Transformer, o NIPRGPT. Questo strumento è in grado di “rispondere a domande e assistere in compiti come corrispondenza, redazione di documenti di background e programmazione”. Nel frattempo, la Marina ha sviluppato un modello di assistenza tecnica basato su IA conversazionale chiamato Amelia.
Le organizzazioni militari giustificano l’uso dei modelli di IA affermando che migliorano l’efficienza, l’accuratezza e la scalabilità. In realtà, il loro processo di acquisizione e adozione rivela una preoccupante mancanza di consapevolezza sui rischi che comportano.
Questi rischi includono la possibilità che avversari contaminino i set di dati su cui i modelli sono addestrati, permettendo loro di sabotare i risultati quando vengono utilizzate determinate parole chiave, persino su sistemi apparentemente “sicuri”. Gli avversari potrebbero anche armare le allucinazioni dell’IA.
Nonostante ciò, le organizzazioni militari statunitensi non hanno affrontato né fornito garanzie su come intendono proteggere le infrastrutture critiche della difesa.
L’inadeguatezza dei modelli rispetto agli scopi può presentare rischi per la sicurezza altrettanto grandi, se non maggiori, rispetto agli attacchi deliberati. La natura dei sistemi di IA è quella di fornire risultati basati su correlazioni statistiche e probabilistiche da dati storici, non su prove fattuali, ragionamenti o relazioni di causa-effetto. Prendiamo, ad esempio, la generazione di codice e i compiti IT, dove i ricercatori della Cornell University hanno scoperto l’anno scorso che ChatGPT di OpenAI, GitHub Copilot e Amazon CodeWhisperer hanno generato codice corretto solo nel 65,2%, 46,3% e 31,1% dei casi, rispettivamente.
Anche se le aziende di IA ci assicurano che stanno lavorando a miglioramenti, ciò che è innegabile è che i tassi di errore attuali sono troppo alti per applicazioni che richiedono precisione, accuratezza e sicurezza. L’eccessiva fiducia negli strumenti potrebbe portare gli utenti a trascurarne gli errori.
Sorge dunque una domanda: come hanno fatto le organizzazioni militari a ottenere l’autorizzazione per acquisire e implementare modelli di IA con tale facilità?
Sebbene promossi per la loro efficienza e scalabilità, questi strumenti presentano rischi quali manipolazioni dei dati di addestramento e utilizzo improprio delle allucinazioni da parte di avversari. Inoltre, le attuali percentuali di errore nella generazione di codice, inferiori al 70% in media, dimostrano l’inadeguatezza delle AI per compiti critici che richiedono alta precisione.
La classificazione di queste tecnologie come semplici strumenti IT ha permesso l’adozione senza le dovute valutazioni sull’idoneità per operazioni mission-critical. Questo approccio evidenzia una preoccupante superficialità nel considerare le implicazioni di sicurezza, lasciando infrastrutture difensive potenzialmente esposte a manipolazioni e attacchi.
