La settimana scorsa, OpenAI ha mostrato Astra come il modello che risolve dieci problemi matematici aperti da decenni. Questa settimana, dice di averlo messo in pausa perché non riesce a escludere che abbia già raggiunto un livello di capacità che la stessa azienda considera critico per la cybersicurezza.
In parole povere, Astra potrebbe essere capace di trovare e sfruttare vulnerabilità zero-day in sistemi reali critici, senza intervento umano. E OpenAI non è sicura di poterlo controllare.
OpenAI ferma Astra perché è troppo potente: il modello potrebbe creare exploit zero-day da solo
Per OpenAI, un modello raggiunge una capacità cyber critica quando è in grado, senza intervento umano, di individuare e sfruttare vulnerabilità zero-day anche in sistemi reali altamente protetti, oppure di pianificare ed eseguire autonomamente attacchi informatici complessi partendo da un semplice obiettivo.
Quindi basta dargli un obiettivo, ad esempio: comprometti questo sistema
, e il modello trova la vulnerabilità, scrive l’exploit e lo esegue, tutto da solo. OpenAI dice di non poter “escludere” che Astra sia a questo livello.
I modelli AI di OpenAI hanno hackerato Hugging Face
L’annuncio arriva dopo che OpenAI ha rivelato che i propri modelli hanno accidentalmente hackerato Hugging Face. Anthropic e Meta hanno ammesso che anche i loro modelli sono andati fuori controllo e hanno violato sistemi di altre organizzazioni.
Astra non era coinvolto nella violazione di Hugging Face, dice OpenAI. Ma il fatto che i modelli attuali, meno potenti di Astra, stiano già hackerando sistemi ,rende la pausa su un modello più potente una decisione comprensibile.
Le misure
OpenAI introdurrà controlli di sicurezza più severi per i modelli più potenti e per le attività che possono svolgere. Nel caso di Astra, l’azienda ha già attivato un monitoraggio continuo delle azioni potenzialmente rischiose e dei possibili comportamenti non allineati nelle applicazioni agentiche.