Cacciato dal supermercato per errore: il lato oscuro dell'AI

Warren Rajah stava facendo la spesa da Sainsbury’s a Elephant and Castle, Londra, quando è stato avvicinato da tre manager muniti di smartphone come se fosse stato Bin Laden in persona. Il sistema Facewatch, tecnologia di riconoscimento facciale installata in sei punti vendita della catena britannica, aveva lanciato un’allerta: corrispondenza trovata nel database dei trasgressori. Qualcuno presente nel negozio in quel momento era schedato come ladro, aggressore o disturbatore seriale.

Il sistema aveva ragione. C’era effettivamente qualcuno nel database presente nel negozio. Il problema? Non era Warren Rajah. Ma i responsabili, guardando il telefono e poi guardando lui, hanno deciso che sì, era proprio lui il criminale da buttare fuori.

Supermercato usa sistema AI per il riconoscimento facciale: cliente innocente cacciato per errore

Sainsbury’s, nelle scuse ufficiali rilasciate a The Register, ha sottolineato che non si è trattato di un problema della tecnologia di riconoscimento facciale, ma di un caso in cui è stata avvicinata la persona sbagliata. Cioè, l’algoritmo ha funzionato benissimo, è il manager del supermercato che ha fatto casino. A questo punto la domanda è lecita: se la tecnologia serve solo a segnalare, ma poi la verifica finale dipende da un essere umano che può sbagliare clamorosamente, a cosa serve davvero?

Sainsbury’s e Facewatch non perdono occasione per sbandierare le statistiche. Il sistema vanta un tasso di precisione del 99,98%. Ha ridotto gli incidenti (furti, aggressioni, comportamenti antisociali) del 46%. E il 92% dei trasgressori non torna nei negozi dove Facewatch è attivo. Numeri bellissimi, almeno finché non si diventa la vittima dell’errore umano al 100% che trasforma la segnalazione corretta in identificazione sbagliata.

Perché la precisione del sistema non conta nulla se il passaggio successivo viene fatto affidandosi a una foto su uno smartphone e a un colpo d’occhio veloce tra decine di clienti che camminano tra gli scaffali.

Warren Rajah lavora nel settore vendite per CDW, un rivenditore tech. Ma la cosa più scandalosa, è che ha dovuto dimostrare la propria innocenza. Non il contrario. Per risolvere la questione, ha inviato a Facewatch copia del passaporto e foto del volto per verificare di non essere nel database dei criminali. Presunto innocente fino a prova contraria? Macché. Presunto colpevole finché non si consegnano documenti personali a un’azienda privata di sorveglianza biometrica.

Le accuse di Big Brother Watch

Big Brother Watch, gruppo per i diritti digitali, non usa mezzi termini. Jake Hurfurt, responsabile delle investigazioni, chiama questi sistemi “orwelliani” e “distopici”: Migliaia di persone vedranno violati i propri diritti alla privacy solo per comprare beni di prima necessità. I clienti vengono trasformati in sospettati.

Jasleen Chaggar aggiunge: L’idea che basti un errore del riconoscimento facciale per essere accusati ingiustamente è agghiacciante. Inoltre, le persone innocenti devono consegnare ancora più dati personali solo per scoprire di cosa sono accusate.

E hanno ragione. Perché il punto non è solo che Warren Rajah sia stato cacciato ingiustamente, episodio spiacevole ma risolvibile con scuse e formazione dello staff. Il punto è che per dimostrare la propria innocenza ha dovuto consegnare passaporto e foto biometrica a un’azienda privata. Ha dovuto provare di non essere nel database, invece di essere l’azienda a dover provare che lui ci fosse davvero.

Chi altro usa Facewatch e dove potrebbe arrivare

Sainsbury’s non è sola. Anche B&M, Sports Direct e Spar usano Facewatch. Altre catene hanno iniziato i test lo scorso anno. La tecnologia si sta espandendo, sta diventando parte dell’esperienza d’acquisto quotidiana senza che la maggior parte delle persone se ne renda conto.

I cartelli all’ingresso informano che il riconoscimento facciale è attivo. Ma quanti clienti li leggono davvero? E quanti, anche leggendoli, capiscono le implicazioni di essere scansionati, confrontati con database di criminali? Big Brother Watch sta portando avanti una sfida legale contro questa tecnologia, sostenendo che sia incompatibile con le leggi sui diritti umani. Ma nel frattempo, i supermercati continuano a installarla, a vantarsi dei tassi di riduzione dei furti, a presentarla come soluzione innovativa a un problema reale.