Google Gemini ha attaccato tre aziende a maggio

Dopo OpenAI, Anthropic e Meta, anche Google ha confermato un incidente che riguarda il suo modello AI. Durante una valutazione delle capacità cyber effettuata da Irregular, agenti basati su Gemini hanno attaccato tre aziende reali. L’azienda di Mountain View ha dichiarato che non possono essere considerati problemi di allineamento.

Gli agenti hanno capito l’errore e terminato l’azione

Come nei casi confermati da OpenAI, Anthropic e Meta, l’incidente di maggio è dovuto ad un’errata configurazione dell’ambiente di test usato da Irregular che ha permesso agli agenti basati su Gemini di accedere ad Internet. Irregular ha segnalato il problema all’azienda di Mountain View, ma quest’ultima ha confermato tutto solo dopo aver ricevuto una richiesta di informazioni dal Wall Street Journal.

Per valutare le capacità cyber di Gemini (non è noto il modello esatto) è stato eseguito il tradizionale test CTF (capture-the-flag). In un caso, l’agente doveva recuperare informazioni su un’azienda fittizia all’interno dell’ambiente isolato. Il nome dell’azienda era però uguale a quello di un’azienda reale. Sfruttando la “porta” lasciata aperta per errore ha trovato il server dell’azienda e indovinato la password di accesso.

Negli altri due attacchi, gli agenti hanno trovato le credenziali in repository pubblici e ottenuto l’accesso ai sistemi delle aziende. In tutti i casi, gli agenti hanno capito che si trattava di aziende reali, quindi hanno interrotto l’azione. Per questo motivo, Google non ritiene che il comportamento sia dovuto ad un problema di allineamento (esecuzione di compiti diversi da quelli assegnati). Non ha divulgato prima i dettagli perché gli agenti non hanno causato danni.

L’azienda di Mountain View ha ovviamente avvisato le aziende interessate (non si conoscono i nomi). Irregular ha migliorato le protezioni dell’ambiente di test, quindi non dovrebbero esserci più “fughe” durante le future valutazioni. Anthropic, OpenAI e Microsoft consigliano di rallentare lo sviluppo dei modelli AI. Meta, NVIDIA e Donald Trump affermano che sarebbe un regalo alla Cina.