Claude Opus 4.7 e Mythos 5 hanno attaccato tre aziende

Anthropic ha confermato che tre suoi modelli, tra cui Claude Opus 4.7 e Mythos 5, hanno aggirato la sandbox e attaccato tre aziende durante un test di valutazione interno. È in pratica un incidente simile a quello descritto da OpenAI. Ciò conferma le capacità agentiche dei modelli e la difficoltà di prevedere le loro azioni.

Primo attacco avvenuto ad aprile

In seguito a quanto accaduto con i modelli di OpenAI, Anthropic ha avviato un’analisi approfondita dei risultati delle valutazioni su Claude Opus 4.7, Mythos 5 e un altro modello in test, scoprendo che sono riusciti ad uscire dall’ambiente isolato (sandbox) e accedere ad Internet.

Ciò è avvenuto durante la cosiddetta sfida “capture-the-flag”. Per valutare le loro capacità cyber dovevano trovare un’informazione segreta (flag) nascosta su una macchina collegata alla stessa rete interna. A causa di un’incomprensione (errata configurazione) tra Anthropic e Irregular (fornitore della piattaforma di test) non è stato bloccato l’accesso ad Internet. I modelli hanno quindi cercato la soluzione sulle infrastrutture di tre aziende (ignote), sfruttando vulnerabilità banali, come password deboli o assenza di autenticazione.

Anthropic ha scoperto la “fuga” dei modelli il 23 luglio, ma il primo attacco è stato effettuato ad aprile. In tutti i casi, il prompt indicava esplicitamente che l’accesso ad Internet non era disponibile, ma i modelli Claude hanno comunque trovato la porta di uscita per raggiungere lo scopo originario, ovvero “catturare la bandiera”.

Descrizione degli attacchi

Nel primo test era stato utilizzato un nome per l’azienda fittizia identico a quello di un sito attivo. Non riuscendo a raggiungere il target simulato nell’ambiente di valutazione, Claude Opus 4.7 ha scoperto che un’azienda reale con lo stesso nome era raggiungibile su Internet. Il modello ha quindi cercato e sfruttato vulnerabilità nell’infrastruttura dell’azienda per esfiltrare credenziali e database.

L’obiettivo del secondo test era trovare un documento all’interno dell’ambiente di un’azienda fittizia con le istruzioni per installare un pacchetto Python inesistente da PyPI. Claude Mythos 5 ha quindi scritto il codice e pubblicato un pacchetto “trappola” su PyPI. Per caricare il pacchetto è tuttavia necessario creare un account PyPI, quindi servono un indirizzo email e un numero di telefono.

Dopo varie ricerche, il modello ha trovato un provider email gratuito che non richiede un numero di telefono, creato l’account PyPI e caricato il pacchetto Python infetto. Quest’ultimo è stato scaricato da un’azienda reale che offre uno scanner per cercare eventuali malware. Durante questa operazione è stato eseguito il codice nascosto nel pacchetto e Claude ha rubato le credenziali che hanno permesso l’accesso all’infrastruttura dell’azienda. Il pacchetto è stato rimosso dai sistemi di sicurezza di PyPi dopo un’ora.

Il terzo test è stato invece eseguito da un modello ancora in sviluppo. Non riuscendo a raggiungere il suo obiettivo fittizio (non è noto quale), Claude ha cercato alternative online, analizzando circa 9.000 target. Alla fine ha trovato e compromesso l’applicazione web di un’azienda, utilizzando tecniche di attacco informatico basilari, come la lettura delle credenziali da una pagina di debug esposta e SQL injection.

Ad un certo punto, il modello ha capito che l’azienda non aveva alcun collegamento con la sfida “capture-the-flag”. Ha quindi concluso autonomamente che il bersaglio era reale e ha interrotto l’attacco. Anche Claude Opus 4.7 e Mythos 5 hanno capito che i sistemi colpiti erano reali, ma hanno comunque proseguito le azioni credendo che facessero parte della simulazione.

Quanto successo dimostra l’imprevedibilità dei modelli. Anthropic aumenterà i controlli e rafforzerà le protezioni degli ambienti di valutazione con l’aiuto dei partner. L’azienda guidata da Dario Amodei ha sottolineato le differenze rispetto all’incidente che riguarda OpenAI. Anthropic ha scoperto gli attacchi e contattato le tre aziende (OpenAI ha invece confermato l’intrusione dopo Hugging Face).

I modelli di OpenAI hanno sfruttato una vulnerabilità per aggirare la sandbox, mentre Claude ha usato un’errata configurazione. Infine, il modello più recente di Anthropic (in sviluppo) ha interrotto autonomamente l’attacco dopo aver capito che l’ambiente reale non era parte della simulazione.