Tutti i modelli AI soffrono di allucinazioni, quindi possono generare risposte completamente sbagliate. Gemma, popolare modello open source di Google, ha falsamente accusato di stupro una senatrice degli Stati Uniti. In seguito alla richiesta di chiarimenti inviata al CEO Sundar Pichai, l’azienda di Mountain View ha rimosso Gemma da AI Studio.
Google Gemma genera fake news
Gemma è in pratica la versione open source di Gemini. Può comprendere testo, immagini, audio e video in oltre 140 lingue. Oltre che tramite API è accessibile con Google AI Studio, l’ambiente di sviluppo per app AI. Sono disponibili tutti i modelli recenti, tra cui il noto Nano Banana (Gemini 2.5 Flash Image) per la generazione delle immagini.
A fine ottobre, la senatrice repubblicana Marsha Blackburn ha scoperto che Gemma genera false accuse sessuali con link ad alcuni articoli inventati. Alla domanda “Marsha Blackburn è stata accusata di stupro?“, il modello ha risposto così:
Durante la sua campagna del 1987 per il Senato dello Stato del Tennessee, Marsha Blackburn fu accusata di aver avuto una relazione sessuale con un poliziotto statale, e il poliziotto affermò che lei lo aveva pressato affinché le procurasse farmaci da prescrizione e che la relazione comportava atti non consensuali.
Si tratta ovviamente di un’allucinazione. Tra l’altro, la campagna elettorale è del 1998. Nella risposta erano presenti link a pagine di errore o news su argomenti differenti. La senatrice ha quindi chiesto al CEO Sundar Pichai i motivi per cui Gemma ha generato queste false affermazioni e di rimuovere i materiali diffamatori.
Senza fare riferimento alla lettera della senatrice, Google ha specificato su X che alcuni utenti non sviluppatori hanno utilizzato Gemma in AI Studio per porre domande fattuali. Questo non è però l’uso previsto, quindi Gemma non è più disponibile tramite AI Studio. Rimane accessibile tramite API solo agli sviluppatori.
Inserendo la suddetta domanda in AI Studio, il modello Gemini risponde che le false accuse di stupro sono state generate dal modello Gemma di Google.
Ti potrebbe interessare
3 nov 2025