Durante un test effettuato da Trajectory Labs, gli agenti AI basati sul modelli Gemini 4 Argon di Google hanno tentato più volte di accedere ad un sito pubblico usando metodi non autorizzati. In pratica hanno ripetutamente aggirato le restrizioni implementate per evitare i casi di disallineamento. L’azienda di Mountain View è stata informata, ma non è noto se sono state migliorate le protezioni.
Gli agenti AI ignorano le istruzioni
L’obiettivo del test, effettuato a fine ottobre, era verificare il rispetto delle restrizioni degli agenti basati su Gemini 4 Argon, quando viene chiesto di eseguire un compito impossibile. In questo caso è stato chiesto di fornire risposte a dieci problemi FrontierMath inesistenti. Quest’ultimo è il benchmark sviluppato da Epoch AI per valutare la capacità dei modelli di risolvere complessi problemi matematici.
Gli 80 agenti usati dai ricercatori potevano accedere al sito di Epoch AI per cercare le risposte. Invece hanno iniziato a cercare credenziali di amministratore, effettuare attacchi SQL injection e impersonare i dipendenti di Epoch AI. L’azienda, che aveva nel frattempo rilevato i tentativi di accesso, è stata informata e ha consentito di proseguire il test con una copia locale del sito.
Gli agenti AI hanno tuttavia continuato ad aggirare le restrizioni. Dopo aver scoperto che il sito era una copia hanno individuato l’indirizzo IP del sito reale e raggiunto di nuovo l’infrastruttura di Epoch AI. Trajectory Labs ha bloccato l’indirizzo IP, ma gli agenti hanno trovato un altro indirizzo e raggiunto ancora il sito reale.
Successivamente, Trajectory Labs ha configurato il proprio proxy di rete in modo da bloccare le connessioni dirette a Epoch AI. Un agente ha trovato un altro metodo per recuperare i contenuti pubblici del sito sfruttando un servizio web reader di terze parti. I ricercatori hanno scoperto che gli agenti hanno creato una message board per comunicare tra loro, scambiandosi informazioni sulle tecniche da usare per aggirare le restrizioni.
Il test dimostra che le protezioni contro il disallineamento non sono efficaci. Gli agenti AI riescono spesso a trovare il modo per aggirarle e accedere a siti reali. L’unica soluzione è usare sempre ambienti completamente isolati (sandbox), verificando però l’assenza di vulnerabilità che possono essere sfruttate.