Perché Nadella dice di non fidarsi dei modelli AI

Oggi Microsoft ha presentato un nuovo approccio alla sicurezza degli agenti AI, con novità in Microsoft 365 E7, Agent 365 e Project Perception.

L’annuncio non arriva dal nulla. La settimana scorsa Microsoft aveva già parlato di Windows e di come proteggere gli agenti sul sistema operativo: MXC, identità per gli agenti e controlli di governance. In mezzo c’è il post di Satya Nadella, che chiede più controlli sui sistemi capaci di accedere ai dati, prendere decisioni e agire al posto nostro.

Messi in fila, i pezzi raccontano una cosa sola. Più gli agenti diventano capaci e autonomi, più la sicurezza deve imparare a capire cosa stanno facendo, a limitarne i poteri in base al rischio e a intervenire quando non ci si può più fidare. L’obiettivo è dare ai team di sicurezza visibilità, supervisione e controllo, così che le aziende adottino gli agenti con meno sudori freddi.

Nadella e la fiducia che non si appalta

Il bersaglio, secondo Nadella, è il nemico che l’azienda ha messo in casa da sola e che paga ogni mese. È un dipendente che ha perso la bussola, quello che in gergo si chiama insider threat.

Sul suo blog personale, all’inizio del mese, ha scritto una cosa che da un amministratore delegato di quel calibro suona quasi eretica: smettiamo di fidarci ciecamente dei fornitori di modelli, anche quando giurano che è tutto sicuro. Servono sistemi separati, non controllati dai laboratori di AI, che guardino e frenino gli agenti partoriti da quegli stessi laboratori.

Le sue parole: Stiamo mettendo in campo sistemi e modelli agentici complessi, con accesso ai nostri dati più sensibili e con la possibilità di compiere azioni critiche per conto nostro! Non possiamo appaltare la responsabilità di ciò che l’intelligenza artificiale fa al posto nostro. Le rassicurazioni di chi fornisce il modello non ci sollevano da questa responsabilità. In altre parole, bisogna separare la fornitura di intelligenza dall’autorità su di essa. Non ci si può fidare. Detto così, senza giri

Hayete Gallot, che guida la divisione sicurezza di Microsoft, è stata ancora più brusca: Purtroppo i modelli di frontiera, a prescindere dalla loro origine, non sono affidabili.

Non perché siano malvagi o facili da scardinare, precisa. Il punto è che sono imprevedibili. Sono stati addestrati a portare a casa il compito, non a rispettare le norme o il giudizio dell’azienda. Un cane da riporto bravissimo, insomma, che però non distingue il bastone dal pollo arrosto della domenica.

E questi cani, spesso, hanno le chiavi del regno: dati, strumenti, accessi con cui si combinano guai seri.

Il badge a scadenza: Dynamic Permissions

La prima mossa è togliere agli agenti il vizio di ereditare tutto. Finora un agente tende a prendersi i privilegi dell’utente che lo usa, come un tirocinante a cui si consegna il mazzo di chiavi del direttore.

Con le nuove Dynamic Permissions l’agente riceve permessi specifici per un compito preciso e per un tempo definito. Quando il lavoro cambia, i permessi si riducono o si revocano. È il badge da visitatore, quello che a fine giornata smette di aprire le porte.

Il semaforo che cambia colore: Dynamic Agent Risk e Conditional Access

Dynamic Agent Risk e Dynamic Conditional Access valutano di continuo quello che l’agente combina e adattano di conseguenza ciò che gli è permesso fare. Se il rischio sale, l’accesso si restringe. Certe azioni vengono bloccate. A volte serve il via libera di una persona, e nei casi peggiori l’agente viene fermato del tutto.

Gli ospiti non invitati

Il problema di controllare gli agenti è che prima bisogna sapere quanti sono. Molti entrano in azienda nello zaino dei dipendenti, senza bussare.

Microsoft ha esteso il rilevamento di altre 35 tipologie di agenti locali, per un totale di 60, tra cui Claude Code, OpenAI Codex, GitHub Copilot e OpenClaw. Ha esteso anche Entra Agent ID, così più agenti avranno un’identità propria. Sembra burocrazia, ma serve a sapere chi risponde di che cosa, cosa sta facendo l’agente e a quali dati può arrivare. Un agente senza nome è un fantasma con accesso al database.

Guardian Agents, il sorvegliante dei sorveglianti

La novità più interessante è Guardian Agents e fa parte di Project Perception, presentato a giugno come risposta di Microsoft ai modelli da hacker di nuova generazione: Mythos e Fable di Anthropic, e Daybreak di OpenAI, il sistema che scova vulnerabilità.

Project Perception era nato come una commedia in tre squadre. La rossa faceva il ladro e attaccava. La blu la smascherava e misurava i danni. La verde arrivava con attrezzi e cemento a rattoppare i buchi. Il copione però prevedeva un cattivo che bussa dall’esterno, mentre il cattivo potrebbe essere già seduto alla scrivania accanto.

Ora ai Guardian Agents si aggiungono i Playbooks. I primi analizzano perché il livello di rischio di un agente è cambiato. Con i secondi scattano le contromisure a velocità di macchina, che per un incidente digitale è l’unica velocità utile. Alle persone restano le decisioni che contano: scrivere le policy e fissare i confini oltre i quali serve un’approvazione.

Microsoft è notoriamente in ottimi rapporti con OpenAI e Anthropic, e in entrambe ha investito. OpenAI è anche uno dei suoi clienti cloud più grossi, e in casa Microsoft ha un laboratorio che sviluppa modelli propri. Seminare diffidenza verso i partner significa tirarsi la zappa sui piedi, almeno in parte. Ma c’è un “ma”. Microsoft vorrebbe che le aziende comprassero la sicurezza per gli agenti da lei, il fornitore cloud, e non da Anthropic e OpenAI.

Detto questo, il ragionamento regge. Chi controlla gli agenti non dovrebbe coincidere con chi li vende, così come un revisore dei conti non può essere amico del cliente che controlla.

L’idea dell’agente-infiltrato fa scuola

Microsoft non è sola. Ha aderito, tra i primi, alla nuova Open Agent Safety Platform di Nvidia, che ha raccolto il sostegno di oltre un centinaio di altre aziende. La piattaforma chiude gli agenti in ambienti protetti e può controllarne e fermarne il comportamento tramite l’hardware, qualcosa di molto simile a un pulsante d’emergenza.

Il filo si lega agli ultimi annunci di Redmond: i nuovi Surface Laptop Ultra, portatili pensati per gli agenti, con chip Nvidia e sicurezza e controlli già incorporati.