OpenAI ha introdotto diverse protezioni per i minori che usano ChatGPT, inclusa una versione del chatbot per adolescenti. L’azienda californiana ha ora annunciato un nuovo tool che permette di rilevare i CSAM (Child Sexual Abuse Material), ovvero contenuti pedopornografici, inclusi quelli generati con l’AI. Verrà invece mostrato un avviso quando gli utenti inseriscono prompt vietati.
Sospensione e chiusura dell’account
OpenAI sottolinea che per bloccare i predatori sessuali è necessario il coordinamento tra numerose organizzazioni. Le singole aziende hanno la responsabilità di impedire che la propria tecnologia venga sfruttata per arrecare danno ai minori. Occorre inoltre una collaborazione con l’intero settore, le organizzazioni che si occupano della sicurezza dei minori e le forze dell’ordine.
L’azienda californiana ha quindi rilasciato un nuovo classificatore di immagini che può rilevare potenziali CSAM, compreso il materiale generato dall’AI. Il tool cerca indizi visivi di abuso, aiutando nell’identificazione di immagini nuove. Restituisce inoltre punteggi che aiutano i revisori a stabilire quali immagini potrebbero richiedere un esame prioritario.
L’accesso al classificatore è gratuito tramite API OpenAI per le organizzazioni che hanno superato le verifiche, rendendo il rilevamento di CSAM più accessibile all’intero settore. In base ai test effettuati, il tool ha rilevato un numero maggiore di immagini rispetto ad altri strumenti, riducendo del 48% il numero di falsi positivi.
OpenAI vieta la generazione di immagini sessuali con minori e addestra i suoi modelli per rifiutare le richieste. Ora verranno mostrati avvisi che interrompono la generazione e spiegano le conseguenze (è un reato penale). Le conversazioni con richieste di generare CSAM verranno cancellate. Sono previste anche la sospensione e, in caso di violazioni ripetute, la chiusura permanente dell’account.