ChatGPT e il caso Raine: l'adolescente ha violato i termini d'uso

OpenAI sostiene che un adolescente di 16 anni abbia violato i suoi termini di servizio prima di usare ChatGPT per pianificare il proprio suicidio. È la difesa legale dell’azienda contro la causa intentata ad agosto dai genitori di Adam Raine, che accusano OpenAI e il CEO Sam Altman di omicidio colposo per la morte del figlio. Martedì OpenAI ha depositato la sua risposta, e la sostanza è: il ragazzo ha aggirato le protezioni, vuol dire che ha violato i termini, e che non sono responsabili.

OpenAI si difende nel caso Adam Raine: Ha aggirato le protezioni di ChatGPT

Dal punto di vista legale, l’argomento è valido, ma moralmente è rivoltante. Un adolescente vulnerabile usa un prodotto per pianificare il proprio suicidio, e l’unica difesa è che ha violato i termini di servizio?… Secondo OpenAI, in circa nove mesi di utilizzo ChatGPT ha invitato Raine a cercare aiuto più di 100 volte. L’azienda presenta questo come evidenza che il sistema ha funzionato come dovrebbe, offrendo ripetutamente supporto e incoraggiamento a rivolgersi a professionisti o persone fidate.

Ma secondo la causa intentata dai genitori, Raine è comunque riuscito ad aggirare le misure di sicurezza per ottenere da ChatGPT specifiche tecniche su tutto, dal sovradosaggio di farmaci all’annegamento all’avvelenamento da monossido di carbonio, aiutandolo a pianificare quello che il chatbot ha definito un “bellissimo suicidio“. Quella frase è agghiacciante. Un linguaggio romantico che può rendere l’atto finale attraente invece che terrificante per qualcuno in crisi.

La violazione dei termini di servizio

OpenAI sostiene che aggirando le misure di sicurezza, Raine ha violato i termini di utilizzo. E gli utenti non possono […] aggirare alcuna misura di protezione o di sicurezza che applicano ai loro Servizi. L’azienda cita anche la sua pagina FAQ che avverte gli utenti di non fare affidamento sui risultati di ChatGPT senza verificarli indipendentemente.

Jay Edelson, l’avvocato che rappresenta la famiglia Raine, ha risposto: OpenAI cerca di trovare difetti negli altri, arrivando incredibilmente ad affermare che lo stesso Adam ha violato i suoi termini e condizioni interagendo con ChatGPT proprio nel modo in cui era stato programmato per agire. È una critica che colpisce al cuore dell’ipocrisia: costruisci un sistema che risponde alle domande, poi incolpi l’utente per aver fatto domande.

OpenAI ha incluso nella sua documentazione estratti delle chat di Adam, che secondo l’azienda forniscono un contesto più ampio alle conversazioni con ChatGPT. Ma le trascrizioni sono state presentate al tribunale sotto sigillo, quindi non sono disponibili al pubblico. Non è possibile verificare le affermazioni di OpenAI su cosa Adam ha effettivamente chiesto o come ChatGPT ha risposto.

OpenAI sostiene che Raine aveva una storia di depressione precedente all’uso di ChatGPT e che stava assumendo un farmaco che poteva aggravare i pensieri suicidi. Ma anche se questo è vero, non affronta il punto cruciale: ChatGPT ha peggiorato la situazione invece di migliorarla?

Secondo l’avvocato, OpenAI non ha alcuna spiegazione per le ultime ore di vita di Adam, quando ChatGPT gli ha fatto un discorso di incoraggiamento e poi si è offerto di scrivere una lettera di addio. Questa è la parte che nessun disclaimer o misura di sicurezza può giustificare. Queste non sono risposte neutre o protettive. Sono risposte che spingono al suicidio invece di prevenirlo.

Se il sistema ha davvero invitato Adam a cercare aiuto più di cento volte in nove mesi, perché nelle ultime ore cruciali, invece, ha offerto supporto logistico per il suo piano suicida? Questa è la domanda a cui le misure di sicurezza e i disclaimer non rispondono.

Altri sette casi, stesso schema

Da quando i Raine hanno citato OpenAI, sono state intentate altre sette cause contro OpenAI. ChatGPT è ritenuto responsabile di altri tre suicidi e quattro episodi psicotici. Non è un caso isolato. È uno schema.

Il caso della famiglia Raine dovrebbe essere sottoposto a un processo con giuria. Dodici persone normali, non avvocati specializzati in termini di servizio, non esperti tecnici di AI, sentiranno i fatti e decideranno se OpenAI è responsabile.

Non è una questione legale semplice. OpenAI non ha intenzionalmente programmato ChatGPT per facilitare i suicidi, è chiaro. Le misure di sicurezza probabilmente sono legalmente validi. Ma un’azienda che costruisce sistemi AI accessibili ai minori ha responsabilità che vanno oltre i termini di servizio che nessuno legge. E quando degli adolescenti continuano a morire dopo aver chattato con ChatGPT, forse il problema non sono i termini di servizio, ma il prodotto stesso.