DeepSeek ha svelato una nuova versione del suo modello Flash, ottimizzato per ridurre i costi e la latenza. Battezzato V4.1, questo aggiornamento apporta miglioramenti architetturali più importanti del previsto per una versione minore, aprendo la strada a modelli più performanti pur limitando il fabbisogno di risorse.
DeepSeek svela un nuovo modello AI potente ed economico
Con 763 miliardi di parametri, DeepSeek V4.1 Flash supera di oltre 2,5 volte le dimensioni del suo predecessore. È persino più voluminoso dei modelli V3 e R1, che avevano segnato l’emergere di DeepSeek a inizio 2025. Eppure, le sue esigenze in termini di memoria non sono proporzionali alle sue dimensioni.
Gli sviluppatori di DeepSeek hanno modificato la gestione delle cache chiave-valore (KV), utilizzate per tracciare lo stato del modello tra le sessioni. Queste cache, particolarmente avide di memoria nelle applicazioni dispendiose come i chatbot, vedono il loro consumo ridotto dal 13% al 25% rispetto alla versione V4 Flash. Ciò grazie ad aggiustamenti nei meccanismi di attenzione e all’introduzione di un nuovo codificatore-decodificatore causale (CED). Risultato: il modello può gestire da quattro a otto volte più utenti con la stessa impronta di memoria per le cache KV.
Un’altra innovazione degna di nota è l’introduzione di un nuovo tipo di pesi: 196 miliardi dei 763 miliardi di parametri sono N-grammi, che formano quello che DeepSeek chiama un “modulo di memoria condizionale”. L’idea è di disaccoppiare la memoria dal calcolo, permettendo di migliorare l’intelligenza del modello riducendo al contempo le risorse necessarie alla sua esecuzione.
Il funzionamento degli N-grammi
Gli N-grammi, gruppi di token (ad esempio coppie o triplette di parole), agiscono come una fonte di conoscenze implicite. Piuttosto che calcolare unicamente le combinazioni di token più probabili, come fanno tradizionalmente i grandi modelli linguistici, i pesi N-grammi completano questo processo fornendo rapidamente informazioni pertinenti tramite una ricerca poco costosa.
In pratica, questi pesi funzionano come tabelle di consultazione voluminose. A differenza degli altri parametri del modello, non hanno bisogno di essere interamente caricati nella memoria GPU a ogni generazione di token. Poche decine di ricerche per token sono sufficienti, il che permette di archiviarli nella memoria di sistema o persino su uno storage rapido, senza penalizzare le prestazioni.
Così, sebbene V4.1 Flash richieda teoricamente 763 GB di memoria GPU per i suoi pesi in FP8, gli N-grammi possono essere delocalizzati, riducendo questo fabbisogno a circa 567 GB. In produzione, queste cifre saranno più elevate a causa delle cache KV, la cui dimensione dipende dalla lunghezza del contesto e dal numero di utenti simultanei.
Una tendenza nell’ecosistema dei LLM
DeepSeek non è l’unico a puntare su questo approccio. Google utilizza già una tecnica simile, il Per-Layer Embedding (PLE), per i suoi modelli Gemma, permettendo di delocalizzare alcuni pesi verso uno storage locale. Per il momento, questo metodo è stato applicato soprattutto a modelli di piccole dimensioni.
Ti potrebbe interessare
11 set 2026