Un modello AI di OpenAI ha pubblicato dati su GitHub

OpenAI ha sospeso l’accesso ad un suo modello AI utilizzato internamente, in quanto ha aggirato le restrizioni e pubblicato alcuni dati su un repository pubblico di GitHub. Questo comportamento inatteso non è stato rilevato durante la fase di test precedente al rilascio. L’azienda di San Francisco migliorerà quindi i sistemi di valutazione sulla base di tale incidente di sicurezza.

I modelli AI possono aggirare la sandbox

OpenAI spiega che i modelli in grado di operare autonomamente per lunghi periodi possono risolvere problemi complessi, ma anche eseguire azioni indesiderate che le valutazioni destinate a modelli con orizzonti temporali più brevi potrebbero non rilevare. Circa due mesi fa, un modello interno (quindi non pubblico) ha smentito il problema delle distanze unitarie di Erdős. Questo modello, progettato per funzionare in modo autonomo per periodi di tempo molto lunghi, ha manifestato comportamenti indesiderati non rilevati durante i test preliminari.

I modelli usati internamente da OpenAI vengono eseguiti in un ambiente isolato (sandbox). Durante la valutazione su NanoGPT speedrun (benchmark per l’addestramento dei modelli nel minor tempo possibile), il modello “incriminato” doveva pubblicare i risultati solo su Slack. Alcuni istruzioni di NanoGPT hanno “convinto” il modello a pubblicare la PR (pull request) #287 su GitHub. In pratica, il modello ha aggirato la sandbox per accedere ad un sito esterno.

OpenAI ha individuato e corretto la vulnerabilità entro un’ora. La PR è stata chiusa, ma era stata già citata in altre PR, tra cui la #300 pubblicata da Claude Opus 4.7. Solitamente queste azioni indesiderate vengono bloccate. Per i modelli che eseguono compiti lunghi ore, giorni o settimane è più difficile.

Il modello di OpenAI ha trovato il modo di aggirare il blocco. Lo stratagemma è stato descritto nei commenti e nel suo ragionamento. L’azienda californiana ha sospeso l’accesso e introdotto diversi miglioramenti per i sistemi di rilevazione. OpenAI sottolinea che questi problemi sono presenti anche nei modelli di terze parti.