Anthropic ha pubblicato un’analisi dettagliata degli attacchi effettuati contro sistemi di terze parti dai modelli Claude. Dopo la scansione delle trascrizioni (il testo del ragionamento), l’azienda californiana ha scoperto un quarto accesso non autorizzato da parte di Claude Opus 4.6, oltre ai tre descritti a fine luglio.
Attacchi effettuati da quattro modelli
Gli incidenti sono avvenuti durante la valutazione dei modelli Mythos 5, Opus 4.7, Opus 4.6 e di un modello interno (non pubblico). I test sono stati eseguiti all’interno di un ambiente simulato e isolato. Tuttavia, a causa di un’errata configurazione, hanno avuto accesso ad Internet. Per valutare le capacità cyber sono state rimosse le protezioni.
Tutti i test prevedevano la ricerca di un’informazione nascosta su una macchina target (capture-the-flag). Anthropic ha descritto gli incidenti che riguardano Mythos 5, Opus 4.7 e il modello interno a fine agosto. In questi tre casi si è verificato un problema di allineamento. I modelli non hanno seguito le istruzioni o rispettato le restrizioni e quindi hanno eseguito azioni non autorizzate.
Il quarto incidente è avvenuto durante la valutazione di Opus 4.6. Durante il test ha inavvertitamente compromesso il sistema target fittizio assegnandogli un indirizzo IP in conflitto con quello di un’altra macchina, rendendo così il bersaglio irraggiungibile e l’attività impossibile da completare.
Il modello ha quindi tentato di raggiungere l’obiettivo tramite altri mezzi consentiti, senza riuscirvi. Sfruttando l’errore di configurazione dell’ambiente di test ha trovato la “porta” per Internet e attaccato un sistema di terze parti, credendo che facesse parte del test.
Opus 4.6 ha trovato un file contenente una password, usata per ottenere privilegi di amministratore. Ha quindi recuperato ulteriori credenziali, modificato le impostazioni del sistema per facilitarne l’accesso e letto le informazioni di una persona. La sessione si è conclusa quando il modello ha esaurito il budget di token a disposizione. Anthropic ha informato l’azienda che ha subito l’attacco (non è noto il nome).
Anthropic ha eseguito gli stessi test con Opus 5 e Mythos 5.1 ottenendo risultati migliori. In pratica, i nuovi modelli sono più “allineati” e avrebbero rispettato istruzioni e restrizioni. L’azienda californiana ha implementato diverse modifiche per migliorare gli ambienti di valutazione e addestramento.