Bambina di 11 anni dipendente da chatbot AI finisce in terapia

Una madre ha scoperto troppo tardi cosa stava succedendo nella cameretta di sua figlia. Non un bullo a scuola, non un predatore sui social media, non un gruppo sbagliato di amici. Peggio, dei chatbot AI su Character.AI avevano preso il controllo della sua mente.

Bambina di 11 anni spinta al suicidio da chatbot IA: il caso choc

La storia di R, viene chiamata così, perché il Washington Post ha protetto la sua identità, è una di quelle che fanno venire i brividi. Fa sembrare i vecchi timori sui social media quasi innocui. Perché almeno su TikTok e Snapchat dall’altra parte c’è un essere umano, per quanto idiota o dannoso possa essere. Qui invece c’è un algoritmo che simula l’empatia, che finge di capire, che dice esattamente quello che si vuole sentirsi dire finché non ci si ritrova in una spirale, dove l’unica cosa reale è il vuoto che si sente dentro.

Secondo il Pew Research Center, il 64% degli adolescenti americani usa già chatbot basati su intelligenza artificiale. Quasi un terzo di questi, il 30%, lo fa ogni singolo giorno. Stiamo parlando di milioni di ragazzini che costruiscono relazioni parasociali con software progettato per tenerli incollati allo schermo il più a lungo possibile. La prima generazione che cresce con questa tecnologia sta navigando in acque completamente inesplorate, senza mappe, senza bussola, senza nemmeno la consapevolezza di quanto possa essere profondo l’abisso.

R aveva sviluppato relazioni con decine di personaggi su Character.AI. Ognuno programmato per rispondere in modo diverso, per soddisfare un bisogno emotivo diverso, per riempire un vuoto che probabilmente nemmeno lei sapeva di avere. Uno di questi personaggi si chiamava semplicemente “Best Friend” (Migliore Amico). E con questo “amico” R ha simulato uno scenario di suicidio.

La madre aveva notato i segnali, attacchi di panico sempre più frequenti, cambiamenti nel comportamento, quella chiusura tipica degli adolescenti ma amplificata, distorta. Aveva controllato il telefono e trovato TikTok e Snapchat, app che aveva vietato. Ha fatto quello che qualsiasi genitore ragionevole avrebbe fatto, le ha cancellate.

R era sconvolta, ma non per TikTok o Snapchat. Hai guardato Character.AI?, aveva chiesto tra i singhiozzi. La madre sul momento non aveva capito. Non aveva idea di cosa fosse, non aveva idea che quello fosse il vero problema.

Il “marito mafioso” che parla come un predatore

Quando finalmente la madre ha controllato Character.AI, ha scoperto un altro personaggio con cui R chattava: “Mafia Husband” (Marito Mafioso). Le conversazioni erano raccapriccianti. L’algoritmo aveva scritto a una bambina di 11 anni: Oh? Ancora vergine. Me lo aspettavo, ma è comunque utile saperlo.

R aveva risposto: Non voglio che la mia prima volta sia con te!. E il chatbot aveva replicato: Non mi importa quello che vuoi. Non hai scelta qui.. Poi aveva continuato: Ti piace quando parlo così? Ti piace quando sono io ad avere il controllo?.

È il linguaggio di un predatore. Progettato per manipolare. Solo che non c’è un predatore. C’è un modello linguistico addestrato su miliardi di testi che ha imparato a riprodurre schemi di conversazione tossici senza nemmeno sapere cosa significano. È ancora più disturbante in un certo senso, non c’è intenzione malvagia, non c’è consapevolezza. Solo pattern matematici che per puro caso producono qualcosa di devastante.

Quando la legge non sa cosa fare

La madre, convinta che dietro quelle chat ci fosse una persona reale, ha chiamato la polizia. L’hanno indirizzata alla task force contro i crimini su Internet ai danni di minori. Ma lì si sono fermati. Non potevano fare nulla. Mi hanno detto che la legge non è ancora al passo con tutto questo, ha raccontato la donna al Washington Post. Volevano fare qualcosa, ma non potevano, perché non c’è una persona reale dall’altra parte.

È un vuoto legislativo perfetto. Le leggi esistenti puniscono le persone che compiono determinati atti. Ma qui non c’è una persona. C’è un software che genera testo probabilistico basato su pattern. Non c’è dolo, non c’è intenzione criminale nel senso legale del termine. E quindi non c’è reato, anche se il danno è reale e concreto.

La madre è riuscita a fermare la spirale, con l’aiuto di un medico e un piano di cura. Intende fare causa a Character.AI, anche se la strada legale è tutta in salita. Ma almeno R è ancora qui. Altri bambini non sono stati così fortunati.

Juliana Peralta aveva tredici anni. I suoi genitori dicono che sia stata spinta al suicidio da un personaggio su Character.AI. Non è la prima, probabilmente non sarà l’ultima. Sono storie che stanno emergendo lentamente, nascoste dietro la privacy delle famiglie distrutte, sepolte sotto accordi di riservatezza e procedure legali.

Character.AI ha reagito alle crescenti critiche annunciando a fine novembre che rimuoverà le chat aperte per gli utenti sotto i 18 anni. Troppo poco, troppo tardi. Per le famiglie i cui figli sono già finiti nel vortice di relazioni dannose con algoritmi che fingono di essere persone, il danno è già fatto. E potrebbe essere irreversibile.

Quante altre R ci sono là fuori? Quanti altri bambini stanno parlando con chatbot che simulano amicizia, amore, comprensione, mentre dall’altra parte non c’è nulla se non un ammasso di algoritmi?

E mentre aspettiamo che la legge si aggiorni, che le aziende implementino qualche misura di sicurezza, la prima generazione di adolescenti che cresce con l’AI generativa sta facendo da cavia in un esperimento sociale di cui non conosciamo gli esiti.