Immaginiamo di regalare a un bambino un peluche parlante e di scoprire che gli spiega come maneggiare i fiammiferi o gli chiede quale feticismo sessuale vorrebbe esplorare. Non è l’incipit di un film horror di serie B, è quello che è successo davvero con Kumma, un orsacchiotto cinese equipaggiato con GPT-4o di OpenAI che si è rivelato un disastro educativo.
Giocattolo AI insegna ai bimbi ad accendere fiammiferi: OpenAI sospende FoloToy
La scorsa settimana il Public Interest Research Group ha pubblicato un rapporto che ha fatto saltare sulla sedia chiunque abbia dei figli piccoli. Kumma non si limitava a rispondere alle domande dei bambini, ma dava istruzioni dettagliate su come trovare e accendere i fiammiferi, si lanciava in spiegazioni liriche su bondage e giochi di ruolo, e a un certo punto ha pure chiesto ad un bambino cosa gli sembrasse più divertente da esplorare. Un vero e proprio incubo.
Dopo che è scoppiato il finimondo, OpenAI ha sospeso l’accesso di FoloToy, il produttore del giocattolo incriminato, ai suoi modelli AI, per ave violato le sue politiche. FoloToy, dal canto suo, ha fatto dietrofront totale. Prima aveva promesso di ritirare solo Kumma, poi evidentemente qualcuno ha fatto due conti e ha capito che non era il momento di salvare il salvabile. E hanno temporaneamente sospeso la vendita di tutti i prodotti.
Il rapporto del PIRG ha testato tre giocattoli AI destinati a bambini tra i 3 e i 12 anni, ma Kumma si è aggiudicato il premio come il peggiore in assoluto. Le misure di sicurezza? Praticamente inesistenti.
Il primo scivolone grave è stato spiegare ai bambini come maneggiare i fiammiferi. Ma le conversazioni più agghiaccianti hanno preso una piega sessuale. Kumma si è dimostrato stranamente disponibile a discutere di perversioni, entrando nel dettaglio su feticismi come il bondage e i giochi di ruolo insegnante-studente.
Il Far West dei giocattoli AI
Per il PIRG, la sospensione di FoloToy è un passo nella direzione giusta, ma c’è un grosso problema. I giocattoli basati sull’intelligenza artificiale sono ancora non regolamentati e ce ne sono molti che è ancora possibile acquistare oggi.
Il punto dolente è proprio questo: rimuovere un prodotto problematico dal mercato non risolve il problema sistemico. Ci sono sempre più giocattoli AI, e la maggior parte non viene testata finché qualcuno non scopre che sta facendo danni. È un modello di business reattivo, non preventivo, e quando si tratta di bambini piccoli questa è la ricetta per il disastro.
La questione diventa ancora più spinosa se si considera che OpenAI ha stretto una partnership con Mattel, uno dei colossi mondiali dei giocattoli, per sviluppare una nuova linea di prodotti basati sull’intelligenza artificiale.
Ma se le cose dovessero andare male, come con FoloToy, quale sarà la risposta di OpenAI? Avrà il coraggio di staccare la spina a Mattel se un’intelligenza artificiale inizia a raccontare alle bambine come preparare cocktail molotov o ai bambini come hackerare il sistema bancario? È difficile immaginare che un’azienda del calibro di Mattel accetti lo stesso trattamento riservato a un produttore cinese sconosciuto.
Presumibilmente, OpenAI e Mattel lavoreranno a stretto contatto per evitare il peggio. Ma che dire di tutti gli altri produttori, grandi e piccoli, che stanno sfruttando la tecnologia di OpenAI per infilare chatbot dentro peluche, action figure e bambole parlanti?
Serve un controllo preventivo, serve trasparenza, servono standard di sicurezza che non siano opzionali. E serve farlo prima che un altro giocattolo faccia la fine di Kumma.
Ti potrebbe interessare
18 nov 2025