Come promesso nel fine settimana, Microsoft ha pubblicato il report preliminare sul problema tecnico del 12 novembre. I primi dettagli sono disponibili nell’Admin Center di Microsoft 365, quindi solo agli amministratori. Un dirigente dell’azienda di Redmond (Charles Lamanna) ha condiviso i punti salienti su X.
Tutto è iniziato con una modifica di luglio
L’interruzione dei servizi del 12 novembre è stato causato dalla combinazione di tre fattori principali che hanno provocato un sovraccarico e quindi la mancanza risposta dei server di Microsoft 365. Tutto è iniziato con un aggiornamento implementato nel mese di luglio. Durante le settimane successive non è stato rilevato nessun problema.
Ad un certo punto si è manifestato il bug latente, ovvero un “contention lock” in un processo interno (accesso contemporaneo alla stessa risorsa). Il problema è emerso principalmente sui server con hardware recente e un numero maggiore di core. I test di carico erano stati effettuati su hardware più vecchio e meno core.
Microsoft 365 sfrutta due sistemi di gateway di rete indipendenti ed eterogenei, progettati per garantire isolamento ed elevata disponibilità. Ciò consente a molti servizi di effettuare il passaggio verso l’altro gateway in caso di interruzioni o malfunzionamenti (failover). Circa 15 ore prima dell’interruzione, Teams ha eseguito un failover dal gateway di rete alternativo a quello principale che supporta anche Exchange Online. Tale operazione ha incrementato il carico sul gateway, modificando i flussi di traffico.
Quest’ultimo è un funzionamento standard, quindi non doveva avere conseguenze. Tuttavia, nello stesso momento, il 14% della capacità dei server per il gateway di rete era fuori servizio a causa di un problema non correlato del giorno precedente. Tale riduzione della capacità dei server non avrebbe avuto nessun impatto, in quanto il restante 86% era sufficiente per gestire il carico.
Il disservizio è stato causato dalla combinazione di questi tre problemi. I server hanno accumulato milioni di richieste finché hanno smesso di rispondere (simile ad un attacco DDoS, ndr), proprio durante il picco di traffico negli Stati Uniti. Il sistema di gestione del traffico ha quindi instradato gli utenti verso altri endpoint (procedura standard), causando un guasto a cascata poiché la stessa quantità di carico è stata distribuita su meno server. Oltre l’80% dei server era fuori uso, quindi è crollato tutto.
Alcuni servizi, tra cui Teams, OneDrive, SharePoint e Office sono stati spostati fuori dal gateway. Ecco perché sono stati ripristinati prima di Exchange Online (che non può essere spostato). Il ripristino completo ha richiesto più tempo del solito perché, man mano che i server tornavano in servizio, erano immediatamente sopraffatti dal traffico in attesa e diventavano di nuovo non reattivi.
Dopo aver individuato il bug originario (quello di luglio), gli ingegneri hanno applicato il fix e riportato lentamente online tutti i servizi di Microsoft 365. Entro fine settimana verrà pubblicato il report finale con ulteriori dettagli.