Modelli AI DeepSeek arrivano sui PC Copilot+ di Microsoft

Microsoft ha appena portato le versioni distillate dei modelli DeepSeek R1 7B e 14B sui PC Copilot+ con processori Qualcomm Snapdragon X.

DeepSeek 7B e 14B sui PC Copilot+ di Microsoft

Ma facciamo un passo indietro. Tutto è cominciato a gennaio, quando Microsoft ha annunciato l’intenzione di ottimizzare DeepSeek-R1 per le NPU dei PC Copilot+. A febbraio, il modello DeepSeek-R1-Distill-Qwen-1.5B aveva fatto capolino su AIToolkit per VSCode. E ora, ecco arrivare i pesi massimi da 7B e 14B, pronti a scatenare la fantasia degli sviluppatori.

Perché sì, poter far girare questi modelli direttamente sui PC apre le porte a un nuovo mondo di applicazioni AI. Significa poter accedere a una potenza di calcolo notevole, senza dover dipendere dal cloud o da un hardware esterno.

Inoltre, grazie all’ottimizzazione per le NPU, questi modelli possono offrire prestazioni da notevoli senza prosciugare la batteria del PC o mandare in ebollizione il processore. E non è finita qui. Mentre DeepSeek si occupa dell’AI, la CPU e GPU saranno libere di dedicarsi ad altre attività.

Microsoft sfrutta la quantizzazione per ottimizzare i modelli AI su PC

Come è riuscita Microsoft a far funzionare questi modelli enormi direttamente sulle NPU dei nuovi PC Copilot+? Con la quantizzazione. Grazie ad Aqua, uno strumento interno di quantizzazione automatica, il gigante di Redmond è riuscito a ridurre drasticamente il peso dei modelli AI senza comprometterne troppo la qualità. È proprio questo approccio che permette di eseguire le reti neurali avanzate direttamente sui PC, senza bisogno di server cloud o hardware aggiuntivi.

Certo, la velocità non è ancora il massimo. Al momento, il modello da 14B raggiunge a malapena gli 8 token al secondo, mentre quello da 1.5B arriva a 40. Ma Microsoft ha promesso che ci sta lavorando. C’è da apprezzare la buona volontà.