Può un algoritmo essere razzista?

Un algoritmo forse non può essere razzista, ma può essere discriminante: la sanità pubblica USA ad esempio investe di più nella salute dei bianchi.
Un algoritmo forse non può essere razzista, ma può essere discriminante: la sanità pubblica USA ad esempio investe di più nella salute dei bianchi.

Può un algoritmo essere razzista? No, ma può comunque portare in sé il germe della discriminazione. Questione di “bias“, parola che ormai è diventata d’uso comune nel momento stesso in cui, specchiandosi nella propria rappresentazione digitale, la società ha capito di avere sul proprio volto segni evidenti e distorsivi della propria stessa immagine. Una ricerca pubblicata da Science ha messo in evidenza come proprio un algoritmo può spostare ingenti capitali a partire da queste distorsioni, arrecando danno all’intera società a causa della superficialità (che a breve potremo descrivere come incompetenza, ormai) con cui gli algoritmi decisionali sono stati composti.

Quando l’algoritmo fa distinzioni di colore

Al centro dello studio (50000 le cartelle cliniche analizzate) vi sarebbe un algoritmo sviluppato per calibrare gli interventi della sanità pubblica negli Stati Uniti, un processo che stabilisce le priorità su base statistica e orienta così il budget per calmierare le situazioni più complesse. Mentre è inimmaginabile pensare che una macchina possa essere razzista, la semplice evidenza dimostra come questo processo discrimini in modo pesante le persone sulla base del colore della pelle.

Vengono spesi meno soldi sui pazienti neri che hanno lo stesso livello di necessità, e l’algoritmo conclude erroneamente che i pazienti neri godano di miglior salute rispetto ai pazienti bianchi in egual condizione

Tale evidenza potrebbe apparire paradossale (soprattutto quando ci si trova al cospetto di sistemi che calibrano la salute pubblica di milioni di persone, quando li si analizza nel terzo millennio e quando si ha a che fare con processi di machine learning), ma a parlare è la semplice realtà dei fatti:

è sorprendente vedere come le persone auto-identificatesi come di pelle nera abbiamo avuto generalmente assegnata una valutazione di rischio più bassa rispetto a persone bianche con il medesimo stato di salute.

Il problema è che tutto ciò ha pesanti ricadute sul modo in cui il proprio stato di salute viene curato e come gli aiuti vengano gestiti. Secondo le valutazioni della ricerca, il semplice colore della pelle è in grado di ridurre di 1800 dollari la spesa annua in cure mediche pro-capite; inoltre, mentre solo il 17,7% dei pazienti di pelle nera ottiene cure aggiuntive sulla base degli algoritmi attuali, una valutazione equilibrata porterebbe tale media a ben il 46,5%.

Sebbene il costo reale sia paragonabile, lo stato di salute delle persone di pelle nera risulta peggiore: diabete, anemia, problemi epatici e pressione alta rendono lo stato di salute generalmente peggiore, quindi teoricamente meritevole di maggiori attenzioni: così invece non è, il che apre a considerazioni a ritroso che hanno fatto emergere come l’algoritmo non sia certo viziato da un autonomo moto razzista, ma che si basi su parametri e valutazioni (dunque su una intelligenza di fondo) inquinati.

L’origine della discriminazione

Gli sviluppatori del sistema ,”Optum of Eden Prairie” ringraziano i ricercatori per le evidenze, ma respinge gli addebiti: il modello di costo è solo uno dei possibili sistemi di analisi e secondo loro non il più equilibrato, dovendo mettere in pista anche l’esperienza dei medici e altri fattori clinici.

I ricercatori, al contempo, sebbene abbiano focalizzato i propri studi su un solo sistema di analisi, avrebbero evidenziato medesime distorsioni anche in altri sistemi concorrenti. Il problema sarebbe dunque diffuso, rappresentando una grave macchia per il sistema health-care statunitense. Gli autori della ricerca ricordano inoltre l’importanza di poter accedere in modo analitico agli algoritmi poiché, quando chiusi, impediscono valutazioni di questo tipo lasciando che bias più o meno volontari possano inquinare i processi decisionali e le politiche di investimento. Solo algoritmi aperti, o comunque verificabili, possono far breccia in un servizio nazionale, soprattutto se si parla di salute, soprattutto se il rischio è che fattori come il razzismo possano far breccia.

La domanda di fondo è dunque volutamente provocatoria: può un algoritmo essere razzista? Questo punto interrogativo apre una nuova frontiera di studio e di competenze: quali capacità antropologiche deve maturare uno sviluppatore se intende studiare l’uomo attraverso la statistica, l’IA e il machine learning? Possiamo delegare ad un algoritmo taluni passaggi decisionali senza aver debitamente vagliato l’equilibrio con cui tali valutazioni vengono portate a conclusione? Un algoritmo non può essere razzista, ma il modo con cui lo si mette in modo può essere superficiale. E la superficialità non fa altro che fungere da megafono per le distorsioni della società, le quali, a loro volta, il più delle volte portano con sé pregiudizi.

Fonte: Nature
Link copiato negli appunti

Ti potrebbe interessare

28 10 2019
Link copiato negli appunti