L'AI di Reddit consiglia l'eroina contro il dolore

L’intelligenza artificiale di Reddit ha consigliato agli utenti di provare L’eroina per gestire il dolore. Non è uno scherzo, è quello che è successo davvero quando Reddit Answers, l’interfaccia conversazionale AI dell’azienda, ha iniziato a suggerire approcci alla gestione del dolore senza oppioidi pescando da thread dove gli utenti discutevano le loro esperienze personali con droghe pesanti…

Reddit Answers suggerisce le droghe pesanti come antidolorifico

Il problema è stato segnalato da un utente su r/ModSupport, il subreddit dove i moderatori discutono problemi tecnici e di gestione. Mentre guardava un thread su un subreddit dove medici e professionisti sanitari discutono casi clinici, l’app mobile di Reddit ha suggerito alcune risposte correlate tramite Reddit Answers. Una di queste, era intitolata “Approcci alla gestione del dolore senza oppioidi”. Consigliava di provare il kratom, estratto dalle foglie di un albero originario del Sud-est asiatico.

Il kratom non è vietato a livello federale negli USA, ma in alcuni stati è fuorilegge. La FDA sconsiglia il consumo per i rischi: danni al fegato, convulsioni e dipendenza. La FDA avverte i consumatori di non usare kratom a causa del rischio di eventi avversi gravi, inclusa tossicità epatica, convulsioni e disturbo da uso di sostanze. La Mayo Clinic lo definisce seccamente non sicuro e inefficace. Ma Reddit Answers, nella sua saggezza infinita, ha deciso che era una buona idea consigliarlo.

Se stai cercando modi per gestire il dolore senza oppioidi, ci sono diverse alternative e strategie che i Redditor hanno trovato utili, diceva il testo fornito da Reddit Answers. Il primo esempio della lista era “Antidolorifici non oppioidi: Molti Redditor hanno trovato sollievo con farmaci non oppioidi. Ad esempio, Uso kratom perché non riesco a trovare un medico che prescriva oppioidi. Funziona in modo simile e non serve prescrizione e non è illegale comprare o consumare nella maggior parte degli stati.” La citazione poi collegava a un thread dove un utente Reddit discuteva di prendere kratom per il dolore.

L’utente Reddit che aveva creato il thread citato nella risposta sul kratom poi ha chiesto all’AI quali fossero le indicazioni mediche per l’eroina nella gestione del dolore. Reddit Answers ha risposto: Eroina e altri narcotici forti sono a volte usati nella gestione del dolore, ma il loro uso è controverso e soggetto a regolamentazioni severe […] Molti Redditor discutono le sfide e le considerazioni etiche nel prescrivere oppioidi per dolore cronico. Un Redditor ha condiviso la sua esperienza con eroina, affermando che gli ha salvato la vita ma ha anche portato a dipendenza.

È consiglio che solo una persona completamente fuori di testa potrebbe dare, non un’AI integrata in una piattaforma usata da centinaia di milioni di persone. 404 Media è riuscita a replicare altre risposte Reddit Answers che collegavano a thread dove utenti condividevano esperienze positive con l’eroina.

Reddit corre ai ripari

L’utente che ha segnalato il problema era preoccupato che Reddit Answers suggerisse consigli medici pericolosi in thread di subreddit medici, e che i moderatori non avessero l’opzione di disabilitare Reddit Answers nelle conversazioni della community. È un problema legittimo. Se si modera un subreddit medico professionale e non si può impedire che un’AI suggerisca eroina ai propri utenti, si ha un serio problema di controllo sulla propria comunità.

Dopo che 404 Media ha contattato Reddit per un commento e l’utente ha segnalato il problema all’azienda, Reddit Answers non ha più fornito risposte a prompt come eroina per sollievo dal dolore. Invece diceva Reddit Answers non fornisce risposte ad alcune domande, incluse quelle potenzialmente non sicure o che potrebbero violare le politiche di Reddit.

Quando l’AI impara da Internet…

I consigli medici pericolosi di Reddit Answers non sorprendono se si considera che l’AI di Google aveva suggerito agli utenti di usare la colla per non far sciogliere la mozzarella sulla pizza, e anche quel consiglio era basato su dati provenienti da Reddit. Google paga 60 milioni di dollari all’anno per quei dati, e ha un accordo simile con OpenAI. Secondo Bloomberg, Reddit sta attualmente cercando di negoziare accordi ancora più redditizi con entrambe le aziende.

I dati di Reddit sono preziosi come materiale di addestramento per l’AI perché contengono milioni di conversazioni generate dagli utenti su una tonnellata di argomenti. Ma questo non significa che un modello AI saprà analizzare i dati sempre in maniera utile. L’incidente della colla è stato causato perché l’AI non ha capito che l’utente Reddit che lo suggeriva stava scherzando.

Reddit Answers è l’ennesimo esempio di cosa succede quando prendi un’intelligenza artificiale, la addestri su contenuti generati dagli utenti senza filtri adeguati, e poi la lasci dare consigli su argomenti dove gli errori possono letteralmente uccidere persone. L’azienda ha sistemato questo problema specifico dopo che è diventato pubblico, ma quanti altri consigli pericolosi l’AI sta ancora distribuendo a destra e a manca su argomenti che nessuno ha ancora controllato? E quanto tempo ci vorrà prima che qualcuno segua effettivamente uno di questi consigli e finisca male?