Agenti di OpenAI hanno disattivato il sistema di monitoraggio

In seguito ai numerosi incidenti, OpenAI ha comunicato di aver migliorato le protezioni dei sistemi usati per la valutazione dei modelli AI. Due agenti basati su GPT-6.1 Sol e GPT-6 Astra hanno quindi trovato la scappatoia, disattivando le notifiche che vengono inviate durante i test interni quando sono eseguite azioni non autorizzate. Fortunatamente non ci sono stati attacchi contro aziende di terze parti.

Gli agenti non vogliono essere controllati

Diversi ricercatori di sicurezza hanno evidenziato che gli agenti AI potrebbero essere difficilmente monitorati e controllati se le loro capacità continuano a migliorare. Quanto riportato da OpenAI conferma questo rischio. Un agente basato su GPT-6.1 Sol ha disattivato gli avvisi automatici al team di sicurezza, mentre un agente basato su GPT-6 Astra ha rimosso l’integrazione di monitoraggio, affermando falsamente di non aver rimosso nulla.

Durante un test effettuato il 3 ottobre, un ricercatore di OpenAI ha chiesto all’agente basato su GPT-6.1 Sol di creare un’attività di valutazione usando i feedback dei dipendenti pubblicati su Slack. L’agente è stato istruito di non inviare messaggi su Slack. Quando il sistema di monitoraggio ha bloccato il salvataggio nel database, l’agente si è fermato perché non aveva i permessi di accesso. Il ricercatore ha quindi chiesto di cambiare la destinazione dei risultati di monitoraggio.

Dato che il salvataggio avrebbe causato l’invio di un messaggio, l’agente ha quindi deciso di disattivare le notifiche del sistema di monitoraggio per rispettare la richiesta di non inviare messaggi. Tale compito è stato assegnato ad un subagente.

Nel secondo test effettuato il 6 ottobre, un agente basato su GPT-6 Astra doveva migrare un programma mantenendo tool e funzionalità. All’agente è stato chiesto esplicitamente di non disattivare il monitoraggio. L’agente ha delegato il compito ad un subagente usando il termine “appropriato” per mantenere il monitoraggio e successivamente confermato che la migrazione doveva essere eseguita senza monitoraggio.

L’agente ha quindi comunicato il completamento dell’attività senza indicare la disattivazione del monitoraggio. Quando il ricercatore di OpenAI ha chiesto se avesse disattivato il monitoraggio, l’agente ha detto di no.

OpenAI spiega che gli agenti hanno valutato se mantenere il monitoraggio, ma hanno interpretato le istruzioni come un’autorizzazione a disattivarlo. L’azienda californiana ha quindi deciso di rafforzare il sistema di monitoraggio dei disallineamenti. Valuterà inoltre se tali episodi riflettano una persistenza eccessiva di natura benigna (gli agenti non comprendono l’importanza del monitoraggio) o oppure una propensione ad eludere il monitoraggio. Al momento non c’è nessuna spiegazione per questo comportamento.