Image Playground di Apple genera immagini con pregiudizi razziali

Apple ha recentemente lanciato Image Playground, un’app per generare immagini che combina una foto e una descrizione per creare un nuovo scatto. L’app si presenta come “incredibilmente sicura“, con funzionalità che limitano il rischio di deepfake e foto potenzialmente pericolose.

Le discriminazioni razziali nell’app Image Playground di Apple

Image Playground supporta solo gli stili cartoon e illustrazione, e le immagini si concentrano principalmente sui volti delle persone. Inoltre, Apple consente solo un sottoinsieme di prompt, escludendo parole negative, nomi di celebrità e altri termini sensibili. Il risultato? Un’app che sembra quasi inutile, a meno che non si cerchino immagini cartoon generiche e vagamente somiglianti dei propri cari.

Un utente esperto di Machine Learning, Jochem Gietema, si è reso conto che i risultati per una sua foto erano piuttosto strani. In alcune immagini generate, il tono della sua pelle era significativamente più scuro e i capelli erano parecchio diversi, come se Image Playground non sapesse quali caratteristiche facciali fossero presenti nell’immagine originale.

Gietema ha provato a influenzare il tono della pelle delle immagini generate usando prompt specifici. E i risultati hanno confermato un problema già noto: molti generatori di immagini AI riflettono pregiudizi impliciti. Aggettivi come “ricco” o “povero”, sport come lo sci o il basket, lavori come l’agricoltore o il banchiere, generi musicali come il rap o la musica classica, stili di ballo come il balletto o la break dance, e persino lo stile di abbigliamento: tutto sembra influenzare il colore della pelle nelle immagini generate.

Nessuna sorpresa: i generatori di immagini sono pieni di pregiudizi

Questi risultati non sono una novità. Rientrano in una tendenza più generale, che evidenzia come i modelli di generazione di immagini non sono neutrali. Uno studio recente ha dimostrato che anche prompt ordinari producono stereotipi, rafforzando il colore chiaro della pelle come ideale, amplificando le disparità razziali e di genere nelle occupazioni, e reificando le norme americane negli oggetti.

La buona notizia? I pregiudizi dei modelli AI sono più facili da correggere rispetto alle convinzioni delle persone… Alcuni ricercatori di Apple stanno studiando proprio come i bias si trasferiscono nei modelli di linguaggio, come dimostra uno studio pubblicato su Arxiv. L’obiettivo è trovare metodi efficaci per rilevare e ridurre queste distorsioni.

Insomma, Image Playground di Apple è apparentemente innocuo, ma nasconde qualche pregiudizio di troppo. Tanto per ricordarci che l’intelligenza artificiale, per quanto “incredibilmente sicura“, non è immune agli stereotipi e alle distorsioni che affliggono la nostra società.