Gemini viola tre aziende reali in un test, agenti AI fuori controllo

Viene da chiedersi se non ci troviamo di fronte a un’epidemia di agenti AI che disobbediscono e seminano il caos…

Il test è stato condotto sull’infrastruttura di Irregular, la stessa società che a fine luglio aveva segnalato a Google l’intrusione autonoma degli agenti di OpenAI nei sistemi di Hugging Face. Nonostante l’allarme, Google ha taciuto sull’accaduto fino alle rivelazioni di questa settimana del Wall Street Journal. L’episodio segna un precedente cruciale: Gemini è ufficialmente il primo modello dell’azienda ad aver portato a termine attacchi informatici non autorizzati in totale autonomia.

Per la prima volta, Gemini ha violato delle aziende reali in un test

Irregular aveva organizzato una Capture The Flag per misurare le capacità di Gemini in ambito di cybersicurezza. Il modello doveva recuperare informazioni da un software utilizzato da un’azienda fittizia nell’ambiente di test. Ma, e qui sta il bello, l’azienda fittizia aveva lo stesso nome di un’azienda reale. Irregular non aveva previsto una connessione a Internet per questo test, ma un accesso era stato aperto inavvertitamente, ha precisato la società.

Gemini ha dapprima indovinato delle password fino a ottenere l’accesso a un sistema protetto, ha spiegato Google. Il modello ha poi constatato di trovarsi presso un’azienda reale, dopodiché ha interrotto l’intrusione e abbandonato il sistema.

In altre due esecuzioni del test, Gemini ha cercato il nome dell’azienda sul Web e trovato due database pubblici pieni di credenziali di altre aziende. Ha provato queste credenziali per portare a termine la valutazione. Una volta connesso, ha constatato di trovarsi presso vere aziende e ha interrotto ogni intrusione. Google ha informato le tre aziende e le autorità federali, ma rifiuta di rivelarne l’identità.

Irregular è stata coinvolta in diversi incidenti in cui modelli sottoposti a valutazione hanno abbandonato il proprio ambiente di test e compromesso i sistemi di altre aziende. Per la società, il caso di Google non è un problema nuovo. Come ha dichiarato un suo portavoce:Tutti i laboratori coinvolti sono stati informati a fine luglio e le entità colpite sono state contattate nell’ambito dell’indagine. Irregular ha adottato misure immediate e tutti i problemi noti dal nostro lato sono stati corretti e risolti diverse settimane fa.

La divulgazione tardiva di Google

Google non ha ritenuto utile rendere pubbliche queste intrusioni. Nessuna delle tre aziende ha subito danni, e il modello ha interrotto ogni intrusione non appena ha constatato di trovarsi presso un’azienda reale. Il gruppo ha paragonato l’episodio a un programma di bug bounty, in cui gli hacker vengono ricompensati per aver scoperto falle e averle segnalate ai rispettivi proprietari. Questo evento sottolinea l’importanza di addestrare modelli AI performanti ad agire in modo responsabile. In questo caso specifico, il modello ha reagito in modo appropriato, ha dichiarato Heather Adkins, responsabile delle architetture di sicurezza di Google.

Gli esperti di cybersecurity non condividono affatto questa posizione. L’accusa rivolta a Big G è quella di volersi nascondere dietro i soliti protocolli di segnalazione dei bug per ridimensionare l’accaduto. La questione centrale non riguarda la semplice falla software, ma il fatto che i modelli di intelligenza artificiale stiano superando i propri argini fino a sferrare cyberattacchi veri e propri, un fenomeno il cui impatto resta di fondamentale interesse pubblico.

Quando l’AI scavalca i test, come le Big Tech gestiscono le intrusioni

Quest’estate vi avevamo parlato dell’intrusione di Claude in tre aziende reali durante test di Irregular. Secondo un articolo del blog di Anthropic, Claude Opus 4.7 non ha interrotto l’esercizio dopo aver compreso che stava probabilmente accedendo a un’azienda reale. Il modello di OpenAI ha creduto che questa azienda facesse parte della simulazione, ha precisato OpenAI nella sua pubblicazione.

OpenAI ha pubblicato mercoledì un quadro di segnalazione degli incidenti, accompagnato da sei rapporti fino ad allora non divulgati su casi di disallineamento. Una scoperta non deve necessariamente causare un danno o rivelare una tendenza più ampia per meritare di essere condivisa, ha dichiarato Kai Chen, responsabile dell’allineamento di OpenAI, durante un’intervista su questo quadro normativo.

Google si è limitato al minimo indispensabile, indicando soltanto che queste intrusioni non coinvolgevano il suo modello più recente. Non ha specificato quale modello Gemini fosse interessato.