All’inizio del mese, Google ha aggiunto la funzionalità di generazione delle immagini a Gemini (noto in precedenza come Bard). Due giorni fa, gli utenti hanno notato che alcune immagini di persone erano completamente sbagliate. L’azienda di Mountain View ha sospeso la funzionalità e ora ha chiarito perché il modello ha mostrato risultati piuttosto discutibili.
Eccessiva diversità
La funzionalità di generazione delle immagini sfrutta il modello Imagen 2. Durante lo sviluppo, Google ha cercato di evitare la creazione di immagini violente o sessualmente esplicite o rappresentazioni di persone reali (come i deepfake). Dato che Gemini viene usato in tutto il mondo, l’obiettivo è generare immagini che coprono più etnie.
Tuttavia, se l’utente chiede di generare immagini di un tipo specifico di persona (ad esempio, un’insegnante di pelle nera nella classe o un veterinario di pelle bianca con un cane) oppure di persone in particolati contesti storici e culturali, Gemini dovrebbe fornire un risposta precisa. Invece, il risultato è simile a questo:
This is not good. #googlegemini pic.twitter.com/LFjKbSSaG2
— LINK IN BIO (@__Link_In_Bio__) February 20, 2024
Gli errori commessi dal modello IA (in realtà da chi l’ha sviluppato e addestrato) sono due. Il primo è quello che ha portato ad una “sovracompensazione“, ovvero alla generazione di immagini che non dovevano rappresentare la diversità (come i nazisti di pelle nera). Il secondo è quello che ha portato ad un modello eccessivamente conservativo e quindi al rifiuto di generare l’immagine richiesta.
Google ha sospeso la generazione di immagini delle persone ed effettuerà test approfonditi prima di ripristinare la funzionalità. L’azienda californiana sottolinea che Gemini, come altri chatbot, non è sempre affidabile nella generazione di immagini o testo su eventi attuali (problema noto come allucinazioni). Gli utenti dovrebbero sempre usare Search per ottenere informazioni più aggiornate e accurate.