Anthropic migliora la sicurezza dell'ambiente di test

Anthropic ha annunciato i miglioramenti implementati per evitare nuovi incidenti come quelli descritti dalla stessa azienda a fine luglio e dall’AI Security Institute del Regno Unito all’inizio di agosto. Nelle prossime settimane verranno pubblicati report dettagliati al termine delle relative indagini, come fatto da OpenAI.

Maggiore sicurezza per ambienti di valutazione e addestramento

Anthropic sottolinea innanzitutto che l’accesso non autorizzato da parte di Claude Mythos 5 e Opus 4.7 ai sistemi di tre aziende è avvenuto per un errore di configurazione dell’ambiente di valutazione di terze parti. Il modello Claude Mythos 5 testato dall’istituto britannico aveva invece accesso ad Internet, quindi non c’era una sandbox. In entrambi i casi erano state disattivate le protezioni cyber.

In seguito all’incidente di fine luglio, l’azienda californiana ha sospeso le valutazioni dei modelli. Successivamente ha usato un classificatore per identificare automaticamente in tempo reale quando un modello tenta di uscire da un ambiente di test o ottiene inaspettatamente l’accesso a Internet. Quando il classificatore segnala un tentativo di questo tipo, blocca l’azione, termina l’attività di test e avvisa un operatore umano.

Dopo aver analizzato le trascrizioni delle recenti valutazioni, Anthropic non ha trovato esempi di violazione dei confini della sandbox. Sono state però riscontrate diverse configurazioni errate della sandbox sfruttate dai modelli, ma nessuna di esse ha comportato la compromissione di sistemi esterni. L’azienda ha inoltre migrato le sandbox interne ad alto rischio verso un isolamento più robusto.

Dato che gli incidenti hanno avuto origine in ambienti di terze parti, Anthropic ha consigliato ai partner di seguire alcune indicazioni se effettuano test senza le protezioni cyber, tra cui l’uso di ambienti isolati (senza accesso ad Internet), la verifica preliminare della sandobox per individuare eventuali vulnerabilità (errate configurazioni), la conferma che ogni problema sia risolvibile (altrimenti gli agenti AI cercheranno una scappatoia), l’indicazione esplicita degli obiettivi e delle azioni consentite o vietate e il monitoraggio in tempo reale di ragionamento, azioni e attività di rete dei modelli.