Satya Nadella: serve un freno di emergenza per i modelli AI

Satya Nadella ha pubblicato un lungo post su X per evidenziare i pericoli derivanti dallo sviluppo AI. Secondo il CEO di Microsoft è necessario considerare che i modelli AI sono compromessi fin dall’inizio e quindi implementare un freno di emergenza per spegnerli in tempo. Al momento però sono solo “parole al vento”, in quanto gli agenti AI continuano le loro azioni senza controllo.

La superintelligenza deve essere contenuta

Satya Nadella aveva già appoggiato la proposta di Dario Amodei (CEO di Anhropic) sul rallentamento dello sviluppo AI. Il CEO di Microsoft ha recentemente partecipato al pranzo organizzato da Donald Trump alla Casa Bianca, ma non ha firmato l’accordo sullo sviluppo sicuro dei modelli AI. Nel post su X ha tuttavia usato il termine Super Intelligence scelto dal Presidente degli Stati Uniti.

Nadella sottolinea che, a differenza dei sistemi software tradizionali, le aziende non sono in grado di comprendere il comportamento dei sistemi di superintelligenza. Nonostante ciò viene consentito agli agenti di accedere ai dati più sensibili e di eseguire azioni per conto degli umani.

Non possiamo trattare la superintelligenza come un insieme di “scatole nere” annidate e limitarci ad accettare o rifiutare le sue raccomandazioni, risposte e azioni. Dobbiamo costruire sistemi circoscritti di cui sia possibile osservare il comportamento, testare i limiti e contenere sempre le azioni. Dobbiamo affiancare ai modelli non deterministici una progettazione di sistema solida e deterministica, controlli umani e procedure operative affidabili, oltre a definire standard di settore laddove quelli esistenti risultino insufficienti.

Il CEO ha quindi elencato una serie di requisiti minimi che dovrebbero essere rispettati durante la progettazione dei sistemi AI:

• Diversificazione dei modelli: nessun singolo modello dovrebbe costituire l’unica dipendenza per un risultato importante né essere responsabile della verifica del proprio operato
• Osservare tutto: ogni azione significativa del modello deve lasciare una traccia leggibile dall’uomo e a prova di manomissione. Se non è possibile osservarla, non ci si può fidare! Dobbiamo essere in grado di riprodurre il modo in cui è stato ottenuto un risultato senza dipendere dal modello stesso per certificarlo
• Verificabilità: dobbiamo testare continuamente l’intero sistema — inclusi guasti, attacchi, casi limite, modifiche al sistema, ecc. — e non soltanto le operazioni andate a buon fine
• Controlli indipendenti: le organizzazioni dovrebbero essere in grado di determinare autonomamente a cosa un modello possa accedere e quali azioni possa compiere
• Verificabilità indipendente: la convalida deve essere indipendente dall’intelligenza oggetto di convalida. Nessun singolo modello dovrebbe controllare sia il comportamento di un sistema sia gli elementi probatori necessari per stabilire se tale comportamento sia in linea con l’intento originario
• Contenimento: dobbiamo presumere che un modello sia compromesso e predisporne il contenimento fin dall’inizio. Immaginiamolo come un freno di emergenza: una persona autorizzata deve sempre poter sospendere o arrestare un modello mentre è in funzione. I modelli più avanzati richiederanno tecnologie di contenimento più sofisticate, rispetto alle quali dovremo adottare standard comuni
• Divulgazione degli incidenti: quando tali sistemi subiscono guasti o vengono compromessi è necessaria una comunicazione tempestiva alle parti interessate, nonché l’adozione di meccanismi per condividere le cause dell’accaduto, i controlli che hanno ceduto e le modalità per prevenire il ripetersi dell’evento e diffondere le lezioni apprese a livello di settore. Ciò dovrebbe includere i dettagli di implementazione che modificano il comportamento degli agenti in fase di esecuzione

Sembrano tutti suggerimenti utili, ma occorre una stretta collaborazione tra le aziende. Per adesso c’è solo la corsa all’annuncio di nuovi modelli sempre più avanzati.