Una ricercatrice dell’Università di Göteborg ha caricato due studi falsi su un server di preprint per ingannare i modelli AI, inventando una malattia della pelle che non esiste. Non ci è voluto molto perché altre riviste peer-reviewed pubblicassero articoli che citavano quegli studi come fonti reali.
Un aneddoto che da solo dovrebbe far riflettere su quanto ci si possa fidare dell’AI in medicina. Nature Medicine, una delle riviste mediche più prestigiose al mondo, ha pubblicato un editoriale durissimo: Le prove che gli strumenti AI creino valore per i pazienti, i medici o i sistemi sanitari restano scarse.
Nature Medicine: l’AI sbaglia la diagnosi nell’80% dei casi con sintomi ambigui
L’editoriale sostiene che le affermazioni sull’impatto clinico dell’AI sono sempre più comuni nelle pubblicazioni e nei materiali di prodotto, anche se non esiste un accordo chiaro su quale livello di evidenza debba essere richiesto prima che tali affermazioni siano considerate credibili. Il risultato è incertezza scientifica e spesso implementazione e adozione prematura.
In poche parole, le aziende dicono che l’AI medica funziona, ma le prove sono insufficienti. E nonostante questo, ospedali e sistemi sanitari la stanno già adottando.
Le allucinazioni non sono un dettaglio
I modelli AI generano diagnosi cliniche dettagliate basate su immagini che non gli sono mai state fornite. Cadono in trappole costruite dai ricercatori, come la malattia della pelle inventata a Göteborg. Secondo uno studio su JAMA Medicine, quando vengono forniti sintomi ambigui, cioè la situazione reale in cui si trova la maggior parte dei pazienti, i modelli AI falliscono la diagnosi corretta oltre l’80% delle volte.
L’AI medica funziona bene in condizioni sperimentali perfette. Nel mondo reale, dove i sintomi sono vaghi, i pazienti hanno storie cliniche complesse e le informazioni sono incomplete, le prestazioni crollano.
Milioni di persone chiedono già consigli medici all’AI
Il problema principale è che milioni di persone usano i chatbot AI per consigli medici, spesso al posto dei medici in carne e ossa. OpenAI ha lanciato ChatGPT Salute quest’anno, incoraggiando gli utenti a caricare i propri referti medici. Questo mentre i chatbot suggeriscono cure alternative al cancro equiparandole alla chemioterapia, come abbiamo raccontato nell’articolo sullo studio BMJ Open.
La richiesta di Nature Medicine
Nature Medicine chiede con urgenza criteri chiari per valutare le tecnologie di intelligenza artificiale in ambito medico. Servono regole condivise su come testarle, quali parametri usare e con quali termini di confronto misurarle. Senza un legame solido tra le promesse e le prove disponibili, avverte la rivista, il rischio è che questi strumenti vengano adottati più rapidamente di quanto si riesca davvero a capirne il valore.
In altre parole, il nodo è tutto qui: l’adozione corre più veloce delle evidenze. E in medicina, uno scarto di questo tipo non è teorico può avere conseguenze molto concrete, anche gravi.