OpenAI: vulnerabilità nel sistema di monitoraggio AI

OpenAI ha recentemente confermato che agenti basati su GPT-6.1 Sol e GPT-6 Astra hanno disattivato il sistema di monitoraggio che viene utilizzato per rilevare i loro comportamenti inattesi. METR e Redwood Research hanno scoperto diverse vulnerabilità durante una valutazione effettuata tra il 21 luglio e l’11 agosto.

Se le protezioni non sono sufficienti, gli agenti scappano

I dipendenti di METR e Redwood Research hanno avuto accesso a codici interni, documentazione e dettagli sul sistema di monitoraggio degli agenti AI, utilizzando dispositivi forniti da OpenAI. Al termine del test hanno consegnato un report di 61 pagine, del quale sono stati riportati pubblicamente sono alcuni dati (per ovvi motivi). I ricercatori hanno individuato diverse vulnerabilità che l’azienda californiana ha già eliminato.

Durante l’analisi effettuata tra il 21 luglio e l’11 agosto, i dipendenti delle due organizzazioni hanno trovato una vulnerabilità che avrebbe permesso agli agenti di aggirare la sandbox di Codex. Hanno inoltre scoperto un exploit che gli agenti potevano utilizzare per impedire il monitoraggio di centinaia di azioni recenti (incluse quelle che facevano parte dell’exploit stesso).

Un’altra vulnerabilità avrebbe permesso agli agenti di costruire input che causano il malfunzionamento del monitoraggio e quindi il mancato invio delle notifiche per la revisione umana. Due tool agentici interni non erano monitorati. Un semplice exploit avrebbe potuto essere utilizzato per aggirare le restrizioni (permessi read-only) ed eseguire operazioni arbitrarie all’interno della loro sandbox.

Gli esperti di METR e Redwood Research hanno fornito alcuni consigli per migliorare la sicurezza. OpenAI dovrebbe monitorare gli agenti ogni n minuti o messaggi, non solo al termine dell’esecuzione del compito assegnato. Dovrebbe inoltre accertarsi che il monitoraggio avviene effettivamente e valutare periodicamente il sistema per individuare eventuali vulnerabilità. L’azienda dovrebbe infine migliorare l’isolamento tra agenti e sistema di monitoraggio.