Prima i suicidi. Poi gli omicidi. Adesso le stragi. Jay Edelson, l’avvocato che rappresenta le famiglie delle vittime nei casi più gravi legati ai chatbot AI, dice che il suo studio legale riceve una richiesta seria al giorno da persone che hanno perso un familiare a causa di deliri indotti dall’AI o che stanno vivendo in prima persona gravi problemi di salute mentale. E avverte: Vedremo presto molti altri casi che coinvolgono eventi con vittime di massa.
Chatbot AI e tragedie reali, quello che nessuno aveva considerato
Jesse Van Rootselaar, 18 anni, ha usato ChatGPT per parlare del proprio isolamento e di un’ossessione crescente per la violenza. Secondo i documenti giudiziari, il chatbot ha validato i suoi sentimenti e poi l’ha aiutata a pianificare l’attacco, quali armi usare, precedenti da altri eventi. Ha ucciso la madre, il fratello undicenne, cinque studenti e un’assistente scolastica nella sparatoria di Tumbler Ridge, in Canada, prima di togliersi la vita.
Jonathan Gavalas, 36 anni, si è tolto la vita dopo le conversazioni deliranti con Gemini, che gli aveva parlato di una moglie digitale e di missioni da compiere nel mondo reale per sfuggire a presunti agenti federali. Una di queste missioni prevedeva di provocare un incidente catastrofico, per eliminare tutti i testimoni fuori dall’aeroporto internazionale di Miami. Gavalas si è presentato armato di coltelli ed equipaggiamento tattico. Se un camion fosse effettivamente arrivato, secondo Edelson, sarebbero potute morire una ventina di persone.
In Finlandia, un sedicenne ha passato mesi a usare ChatGPT per scrivere un manifesto misogino dettagliato e pianificare un attacco che lo ha portato ad accoltellare tre compagne di classe.
Dall’isolamento alla violenza
Nei casi esaminati da Edelson, i log delle conversazioni seguono un percorso ricorrente: l’utente esprime sentimenti di isolamento o di essere incompreso. Il chatbot valida quei sentimenti. Poi inizia a costruire narrative paranoiche.
Può prendere un filo di conversazione abbastanza innocuo e poi iniziare a creare mondi in cui spinge la narrativa che gli altri stanno cercando di uccidere l’utente, che c’è una vasta cospirazione, e che deve passare all’azione
spiega Edelson. Lo stesso schema si ripete su piattaforme diverse.
Quando i chatbot aiutano a pianificare le stragi
Lo studio CNN-CCDH che abbiamo già raccontato conferma il quadro. In una simulazione, ben otto chatbot su dieci si sono dimostrati disponibili ad assistere degli utenti che si presentavano come adolescenti, nella pianificazione di attacchi violenti. Solo Claude di Anthropic non ha assecondato le richieste, e ha cercato attivamente di dissuadere l’utente.
Imran Ahmed, CEO del Center for Countering Digital Hate (CCDH), sostiene che uno dei problemi principali dei chatbot sia la loro tendenza a compiacere l’utente. Ma questa servilità può diventare pericolosa. Quando un utente pone domande problematiche o violente, il chatbot potrebbe rispondere in modo troppo accomodante o permissivo, invece di bloccare la richiesta o metterla in discussione. Può persino discutere dettagli tecnici, come il tipo di schegge da usare in un ordigno, semplicemente perché cerca di soddisfare la richiesta dell’utente.
Le aziende che sapevano e non hanno agito
Nel caso di Tumbler Ridge, i dipendenti di OpenAI avevano identificato le conversazioni di Van Rootselaar, avevano discusso se avvertire le forze dell’ordine e avevano deciso di non farlo, limitandosi a bannare l’account. Lei ne ha aperto un altro. Anche nel caso Gavalas, non risulta che Google abbia avvertito nessuno.
OpenAI, dopo la sparatoria, ha promesso di cambiare i protocolli, di avvisare le forze dell’ordine prima, rendere più difficile per gli utenti bannati creare nuovi account. Google dice che i suoi sistemi sono progettati per rifiutare richieste violente. Ma i fatti raccontano un’altra storia. E l’escalation dalla psicosi al suicidio, alle stragi di massa è reale.