Deepfake con Microsoft Designer: bug noti da dicembre

Deepfake con Microsoft Designer: bug noti da dicembre

All'inizio di dicembre 2023, un ingegnere di Microsoft aveva segnalato alcune vulnerabilità del modello DALL-E 3 usato da Designer, ma senza esito.
Deepfake con Microsoft Designer: bug noti da dicembre
All'inizio di dicembre 2023, un ingegnere di Microsoft aveva segnalato alcune vulnerabilità del modello DALL-E 3 usato da Designer, ma senza esito.

Un ingegnere di Microsoft aveva scoperto diverse vulnerabilità nel modello DALL-E 3 di OpenAI, usato da Designer, che permettono di aggirare i filtri e di generare immagini sessualmente esplicite e violente, come quelle che raffigurano Taylor Swift. Il team legale dell’azienda di Redmond ha ordinato al dipendente di cancellare il post relativo al problema pubblicato su LinkedIn.

Bug di Microsoft Designer noti dal 1 dicembre

Shane Jones, ingegnere del software di Microsoft, ha segnalato le vulnerabilità di DALL-E 3 il 1 dicembre 2023. Come risposta gli è stato suggerito di contattare direttamente OpenAI. Tuttavia non ha ricevuto nessun feedback dall’azienda californiana. Il 14 dicembre 2023 ha quindi deciso di pubblicare su LinkedIn una lettera indirizzata ai dirigenti di OpenAI, chiedendo di sospendere la disponibilità al pubblico di DALL-E 3, in quanto consente di generare immagini violente e sessualmente esplicite.

Qualche ora dopo, il team legale di Microsoft ha ordinato di cancellare immediatamente il post da LinkedIn. L’ingegnere ha atteso invano una spiegazione sulla richiesta di rimozione, ma non è mai arrivata. Jones ha anche offerto il suo aiuto per risolvere le vulnerabilità. Quanto accaduto è stato riportato in una lettera inviata ad alcuni politici del Congresso e al Procuratore Generale dello Stato di Washington.

L’ingegnere sottolinea che le vulnerabilità consentono di aggirare i filtri e di generare deepfake come quelli di Taylor Swift. Anche se non è stato confermato l’uso di Microsoft Designer, l’azienda di Redmond ha aggiornato il tool per bloccare la creazione di immagini di nudo non consensuale. Sia Microsoft che OpenAI hanno dichiarato che le tecniche usate da Jones non permettono di aggirare i sistemi di sicurezza.

L’ingegnere rischia ora un procedimento disciplinare o il licenziamento, quindi dovrà cercare una protezione legale. Alcuni senatori statunitensi hanno presentato una proposta di legge, denominata Disrupt Explicit Forged Images and Non-Consensual Edits (DEFIANCE) Act, che consente ai cittadini di denunciare chi pubblica deepfake pornografici.

Fonte: GeekWire
Link copiato negli appunti

Ti potrebbe interessare

Pubblicato il 31 gen 2024
Link copiato negli appunti