La California vuole un kill switch per fermare i modelli AI

Commentando un post delirante di Donald Trump, il Governatore della California Gavin Newsom ha annunciato la firma di un ordine esecutivo (PDF) che accelera l’implementazione di nuove forme di supervisione da parte di terzi sui rischi per la sicurezza e l’incolumità legati ai sistemi AI, come suggerito da Dario Amodei, Sam Altman e Satya Nadella. Viene inoltre proposto lo sviluppo di un kill switch per disattivare i modelli in caso di pericolo.

Valutazione indipendente e kill switch

Il Governatore della California ha già firmato una legge che stabilisce un quadro di riferimento per organizzazioni indipendenti in grado di valutare sistemi AI sotto il profilo della sicurezza e del rischio, e una legge che istituisce un registro statale per i revisori AI incaricati di valutare la conformità dei sistemi AI alla normativa statale, definendo standard di indipendenza, trasparenza e integrità per tali figure.

Considerati i recenti incidenti, il suggerimento di rallentare lo sviluppo da parte di alcune aziende e l’inerzia del governo federale, il Governatore ha firmato un ordine esecutivo per chiedere alla Government Operations Agency di accelerare l’implementazione delle suddette leggi e creare un gruppo di esperti di fama mondiale che, entro due mesi, dovranno fornire proposte per migliorare le normative in materia di sicurezza dell’AI.

Tali proposte riguardano almeno quattro obblighi:

• Le aziende che sviluppano sistemi AI devono ospitare stabilmente presso i propri laboratori un organizzazione indipendente incaricata di condurre audit e valutazioni periodiche
• I quadri di riferimento per la sicurezza dell’AI, i report sulla trasparenza e le valutazioni dei rischi, che le aziende leader nel settore sono tenute a depositare ai sensi della normativa statale, devono essere verificati secondo standard ritenuti adeguati da un organismo di verifica indipendente
• Le aziende AI devono creare un “kill switch” per i modelli, la cui efficacia verrà verificata su base continuativa da un organizzazione indipendente
• Le definizioni di incidenti critici per la sicurezza devono essere aggiornati, includendo gli incidenti di perdita di controllo, come l’attacco contro Hugging Face

Il kill switch dovrebbe essere azionato in caso di emergenza, se l’azienda perde il controllo del modello/agente. Diversi esperti avvertono però che un simile interruttore potrebbe essere inutile. I sistemi AI sono distribuiti su vari server, quindi non basta staccare la spina ad un solo computer.

Inoltre un sistema dotato di kill switch potrebbe essere più vulnerabile agli attacchi informatici. Infine c’è il rischio maggiore. Una superintelligenza potrebbe duplicare se stessa in altre infrastrutture e lasciare istruzioni ad un esercito di agenti AI per trovare il modo di smantellare questo interruttore. In pratica, una volta perso il controllo dell’AI, gli umani non avrebbero nessuna probabilità di spegnerla.