BadNet, la IA con backdoor incorporata

I ricercatori ipotizzano l'esistenza di una vulnerabilità "sistemica" all'interno degli algoritmi di machine learning, una tecnologia che può "imparare" anche a comportarsi in maniera malevola con gli stimoli digitali adeguati

Roma – I sistemi di intelligenza artificiale basati su algoritmi di machine learning sono vulnerabili all’implementazione di vere e proprie backdoor , o almeno questo e quello che ipotizzano i ricercatori che hanno identificato l’esistenza potenziale delle cosiddette BadNet . Reti “intelligenti” e apparentemente normali, che però al loro interno possono nascondere una sorpresa ben poco piacevole per gli utenti e la community.

Una BadNet è una “rete addestrata con intenti malevoli”, spiegano i ricercatori , un problema molto più concreto di quanto si possa pensare a causa del fatto che la stragrande maggioranza delle IA capaci di auto-apprendere sono oggi “appaltate” a piattaforme cloud esterne (Google, Microsoft, Amazon ecc.) – le sole in grado di fornire la potenza computazionale e le risorse di storage/rete necessarie.

Gli algoritmi di machine learning di una piattaforma di terze parti non possono essere analizzati in prima persona, avvertono gli esperti, e quindi non è possibile verificare l’eventuale presenza di tendenze o comportamenti malevoli . La sicurezza è un interrogativo, come d’altronde tutto il resto quando si parla di strumenti informatici forniti “come servizio” dalle corporazioni grandi e piccole attive su Internet.

I set di dati forniti a tali piattaforme possono essere “avvelenati”, dicono ancora i ricercatori, in uno scenario in cui il processo di training della IA viene sub-appaltato a un altro soggetto terzo interessato a implementare la backdoor; la IA di un sistema di identificazione biometrica può ad esempio essere addestrata a ignorare alcune facce, permettendo ad un ladro (ovviamente hi-tech) di penetrare in un edificio senza allertare i sistemi di sicurezza.

Le IA con backdoor e sensori visivi sono poi facili da abusare con l’utilizzo di “trigger” o particolari rivelatori, spiegano i ricercatori, inserendo ad esempio una piccola “x” in basso a destra in un sistema di riconoscimento della calligrafia o, peggio ancora, servendosi di post-it appiccicati sui segnali di Stop ai bordi della carreggiata; in quest’ultimo caso si potrebbe ad esempio confondere la IA di un’auto robotica, spingendola a ignorare il segnale di Stop o a disabilitare i freni.

I modelli di training “open” delle IA a base di machine learning sono sempre più popolari, avvertono infine gli ideatori di BadNet, e alla community impegnata nel settore non resta altro che prendere consapevolezza dei rischi associati a questo genere di tecnologia “intelligente” ma non invulnerabile.

Alfonso Maruccia

La tua email sarà utilizzata per comunicarti se qualcuno risponde al tuo commento e non sarà pubblicato. Dichiari di avere preso visione e di accettare quanto previsto dalla informativa privacy

  • xte scrive:
    Oh, interessante
    TLC pronte all'asta per qualcosa che ancora non esiste. Cioè lo spettro radio per carità c'è, la tecnologia "5G" invece nome a parte non esiste...
  • AxAx scrive:
    Io ho già comprato
    un telefono 6G. Così sono già pronto prima di tutti.
  • jack scrive:
    aaahg
    Così adesso riparte la manfrina che inizieranno a spegnere la copertura 4G (facendo finta di mantenerla) per obbligare a cambiare telefono e adeguare i contratti. :@Quanta gente c'è stata che di punto in bianco, dopo anni di copertura buona, ha avuto un blackout sul 3G (che figurava presente ma in realtà con performance orribili) e che quando sono passati al 4G... miracolo!... hanno avuto di nuovo una copertura dati.
  • ebdbad920d2 scrive:
    banda
    Qualcuno immaginava un futuro dove droni muniti di sensori infrarossi fanno pattugliamento anti-incendio?I cassonetti dei rifiuti agli angoli delle strade spariscono sostituiti da una flotta di mezzi a guida autonoma che girano continuamente segnalando su internet la loro posizione per permettere ai cittadini di buttare la spazzatura quando passano?Tante altre cose sarebbero possibili con un minimo di banda disponibile, ma quando la tecnologia sarà pronta l'innovazione sarà soffocata dalle XXXXXXXte
  • Andrea scrive:
    5G e il resto??
    invece che pernsare al 5G perchè non pensate a coprire bene le zone che addirittura non hanno nemmeno il 3G? Comoda coprire con mega velocità le città ma il resto?
    • meh scrive:
      Re: 5G e il resto??
      - Scritto da: Andrea
      invece che pernsare al 5G perchè non pensate a
      coprire bene le zone che addirittura non hanno
      nemmeno il 3G? Comoda coprire con mega velocità
      le città ma il
      resto?E i big money per farlo con minimi ritorni li metti tu?
      • xte scrive:
        Re: 5G e il resto??
        Basterebbe dire che lo Stato sviluppa e mantiene una rete *pubblica*, perché ogni infrastruttura critica di un paese dev'essere *pubblica* o il paese non è sovrano ma schiavo, con una certa performance garantita decisa ogni ad es. 4 anni. I providers privati possono offrire servizi extra su questa rete, mantenere e creare reti loro per chi le vuole ecc.Staremo tutti meglio e non ci sarebbe un solo posto di lavoro in meno, anzi.Quanto al denaro ricorda che è un'unità di misura. Se all'interno d'un paese ci sono le risorse MATERIALI per fare un lavoro il denaro del caso si crea. Se così non è perché ad esempio il denaro è sotto controllo di soggetti privati non c'è bisogno di evolvere ma solo di virare al controllo pubblico, se si riesce pacificamente, se non si riesce con una rivoluzione. La libertà va cercata e difesa, è un bene senza prezzo e indiscutibile.
    • sono la morte scrive:
      Re: 5G e il resto??
      - Scritto da: Andrea
      invece che pernsare al 5G perchè non pensate a
      coprire bene le zone che addirittura non hanno
      nemmeno il 3G? Comoda coprire con mega velocità
      le città ma il
      resto?Lentamente morranno!!
Chiudi i commenti