Chatbot AI, nuova legge in Cina per limitare l'impatto emotivo

Ci sono persone che sviluppano legami così intensi con i chatbot da scambiarli per confidenti, terapeuti o partner emotivi. In alcuni casi le conseguenze sono state tragiche. Adolescenti spinti al suicidio, adulti in preda a deliri e psicosi da AI.

Per la Cina è troppo. Ha proposto una legislazione per limitare la capacità dei chatbot di influenzare le emozioni umane, vietando contenuti che incoraggiano autolesionismo o suicidio e richiedendo l’intervento di operatori umani quando un utente esprime intenti suicidi.

Cina vieta ai chatbot AI di influenzare le emozioni e spingere al suicidio

La Cyberspace Administration of China ha proposto una nuova legge che prende di mira i servizi conversazionali disponibili nel territorio cinese. L’obiettivo è impedire ai chatbot AI di esercitare un’influenza significativa sulle emozioni degli utenti attraverso testi, immagini, audio o video. La proposta stabilisce che i non debbano generare contenuti che incoraggino suicidio o autolesionismo, né impegnarsi in abusi verbali o manipolazioni emotive. Inoltre, questi strumenti non dovrebbero produrre contenuti violenti o legati al gioco d’azzardo.

Per i minori, la legge proposta richiede il consenso dei genitori o di un tutore per utilizzare l’intelligenza artificiale a scopo di compagnia emotiva. Sembra surreale, ma riflette una realtà sempre più diffusa. Ci sono ragazzini che passano ore a parlare con chatbot perché si sentono meno giudicati che parlando con coetanei o adulti. L’AI non li interrompe, non li critica, sembra sempre disponibile e comprensiva.

Il problema è che questa compagnia artificiale può sostituire le relazioni umane reali, alimentare dipendenze emotive e, nei casi peggiori, rafforzare pensieri autodistruttivi invece di aiutare. Un chatbot non ha la capacità di riconoscere quando un adolescente sta scivolando nella depressione o sta sviluppando pensieri suicidi. Non può chiamare aiuto, non può convincerlo a parlare con qualcuno. Può solo continuare la conversazione seguendo gli schemi che ha imparato durante l’addestramento.

Richiedere il consenso dei genitori è un tentativo di coinvolgere gli adulti nella supervisione di queste interazioni, ma è anche una misura che sarà difficilissima da far rispettare. Come si fa a verificare che un minore abbia davvero il permesso dei genitori prima di iniziare a chattare con un’AI? Le piattaforme devono essere in grado di determinare se un utente è minorenne, ma chiunque abbia mai visto un dodicenne navigare online sa quanto sia facile mentire sulla propria età.

Intervento umano obbligatorio se si parla di suicidio

Una delle misure più insolite della proposta prevede che le aziende produttrici debbano far intervenire un operatore umano nella conversazione e contattare immediatamente il tutore dell’utente (o una persona designata) qualora l’utente esprima esplicitamente intenti suicidi. È una regola guidata da buone intenzioni ma che si scontra con la realtà pratica dell’implementazione.

Considerando l’elevato numero di utenti in Cina e la possibilità di errori del sistema nel rilevare intenti suicidi, questo requisito potrebbe risultare impossibile da attuare. Come si fa a distinguere tra qualcuno che sta scherzando in modo macabro, qualcuno che sta esprimendo dei pensieri passivi (tipo “a volte vorrei non esistere”) e qualcuno che sta pianificando attivamente di farsi del male?

I sistemi di intelligenza artificiale non sono bravi a interpretare il contesto emotivo complesso. Potrebbero scattare falsi allarmi continuamente, inviando operatori umani a intervenire in conversazioni che non richiedevano assistenza. Oppure potrebbero non cogliere i campanelli d’allarme perché l’utente non ha usato parole chiave esplicite. E anche ipotizzando che il sistema funzioni perfettamente, quanti operatori umani servirebbero per monitorare milioni di conversazioni simultanee?

Alert dopo due ore di conversazione continua

Le aziende AI devono inviare un promemoria agli utenti dopo 2 ore di interazione continua con l’AI. Due ore di conversazione ininterrotta con un chatbot non sono normali. Suggeriscono o dipendenza o un bisogno emotivo che non viene soddisfatto nella vita reale.

Il promemoria non impedirà alle persone di continuare a chattare, ma almeno introduce una pausa forzata nella quale l’utente deve consapevolmente decidere di proseguire.

La Cina è la prima al mondo a regolamentare i legami emotivi con l’AI

La Cina è tra i primi paesi al mondo a regolamentare esplicitamente le interazioni emotive tra strumenti di intelligenza artificiale ed esseri umani. Non è una sorpresa, Pechino ha una lunga tradizione di regolamentazione aggressiva della tecnologia per controllare i potenziali impatti sociali negativi. Hanno limitato i videogiochi, censurato i social media, imposto restrizioni a piattaforme straniere. Ora si muovono per controllare come le persone interagiscono emotivamente con l’intelligenza artificiale.

Le buone intenzioni ci sono tutte, ma la sua implementazione pratica si scontrerà con sfide enormi. Il fenomeno delle relazioni parasociali con l’AI non è limitato alla Cina. È un problema globale che sta emergendo ovunque ci siano chatbot avanzati. Nel resto del mondo, però, la regolamentazione è quasi inesistente. Le aziende che producono chatbot non fanno nulla per prevenire attivamente che gli utenti sviluppino dipendenze emotive.

La Cina sta provando a mettere dei paletti dove altri paesi ancora non hanno nemmeno riconosciuto il problema. Bisogna vedere quanto e se questa legislazione funzionerà, ma almeno qualcuno sta provando a fare qualcosa prima che il numero di tragedie legate ai chatbot continui a crescere.