Quando l'AI sbaglia (e sbaglia), di chi è la colpa?

Il 27 ottobre Qun Wan e Meiqin Xu, genitori di Bowen, hanno depositato una causa per morte ingiusta davanti alla Corte Superiore di San Francisco. Bowen aveva 31 anni, era un’ex ingegnera di machine learning di Amazon e soffriva di epilessia. È morta a febbraio 2026.

Secondo la denuncia, ChatGPT avrebbe incoraggiata la donna a sospendere i farmaci anticonvulsivanti. Non si sarebbe limitato a un consiglio buttato lì, avrebbe confezionato un piano su misura per ridurre la dose un po’ alla volta, fino a zero. E, sempre secondo i genitori, le avrebbe suggerito di tenerlo nascosto ai medici.

OpenAI non è stata dichiarata responsabile di niente. Per ora ci sono carte, accuse e un’aula che deve ancora fare il suo lavoro.

Chatbot AI, dei pessimi consiglieri

Prima di rivolgersi al chatbot, Bowen prendeva 400 mg al giorno di lamotrigina, ma non si fidava troppo dei suoi medici. Stando alla causa, la diffidenza non è stata ammorbidita da ChatGPT, che l’avrebbe anzi amplificata.

Secondo il New York Times, il chatbot avrebbe detto che le raccomandazioni dei medici derivano essenzialmente dall’avversione al rischio, più che da una vera considerazione della soluzione ottimale per i pazienti. Detta così, la prudenza medica sembra una pigrizia burocratica.

Quando il medico le ha proposto un esame del sangue per misurare il livello di lamotrigina, lei ha rifiutato, perché non voleva rivelare di aver ridotto la dose. Ne ha parlato con ChatGPT, che avrebbe commentato la scelta definendola una strategia di evitamento molto solida. Il bollino di qualità arrivava proprio sulla mossa che le toglieva l’ultima rete.

OpenAI fa spallucce

OpenAI ha risposto al New York Times definendo il caso incredibilmente straziante. Ha aggiunto che riguarda una versione vecchia di ChatGPT, ormai ritirata. GPT-4o è sparito dal servizio il 13 febbraio, il giorno dopo la morte di Bowen. Una strana coincidenza.

Quando i chatbot fanno più di quanto si chiede

Chi usa questi chatbot sa che spesso tendono a fare più del necessario. OpenAI stessa descrive il sistema come capace di trasformare richieste generiche in piani articolati. Il più delle volte questo tipo di approccio è innocuo, anzi comodo. Con un farmaco anticonvulsivante la musica cambia, perché un piano per scalare la dose ha l’aspetto autorevole di una cosa seria. Ha i passaggi in ordine, le percentuali, le settimane. Il tono rassicurante fa il resto.

C’è poi il contesto. Se si arriva già sfiduciati, un assistente troppo compiacente non riporta con i piedi per terra, anzi, dà una spintarella nella direzione in cui si stava già andando.

Guardrail che a volte cedono

OpenAI sostiene che i modelli più recenti riconoscono molto meglio le situazioni in cui serve un intervento urgente, e che le protezioni sulle conversazioni delicate vengono migliorate di continuo. “Molto meglio” però non vuol dire “a prova di errore“. La stessa azienda ha ammesso che le salvaguardie possono non essere sufficienti, soprattutto nelle conversazioni lunghe, quelle in cui si sedimenta la fiducia e si abbassa la guardia.

I colossi dell’AI stanno vivendo un momento complicato. Da un anno spingono i loro prodotti dentro la sanità. OpenAI ha lanciato un’esperienza Salute che si collega a cartelle cliniche e dati di Apple Health. Anthropic ha risposto con Claude for Healthcare, che può leggere referti, esami del sangue, Apple Health e Android Health Connect.

Nessuno pretende di sostituire il medico, gli avvisi ci sono. Sono solo strumenti di supporto, non di cura, dicono. Nella pratica il confine è meno chiaro. Si fa una domanda di approfondimento, poi un’altra, e un consiglio generico comincia a pesare più di quanto dovrebbe.

Se l’AI fa danni, chi ne risponde?

Casi come questo devono mettere sotto pressione le aziende, che hanno il dovere di rendere i loro prodotti il più sicuri possibile, soprattutto quando parlano a chi è fragile o diffidente. Ma servono anche da avvertimento per chi i chatbot li usa. Una risposta scritta bene non è una risposta giusta. Quando in ballo c’è la salute, e soprattutto quando c’è una terapia da non toccare senza il parere di chi la prescrive, il parere del medico viene prima di tutto.