Come funziona Survival LLM, il chatbot offline per le emergenze

La connessione a Internet è una di quelle cose che diamo per scontate finché non smette di funzionare. Di solito succede nel momento peggiore, un temporale abbatte un traliccio, la corrente salta, il telefono ha ancora qualche tacca di batteria, ma il segnale dati oscilla tra una barra e il nulla. È in quei momenti che vengono in mente le domande più urgenti… Tipo quanto resistono i cibi nel frigorifero spento, la serratura smart si apre lo stesso? e ci si accorge che senza la connessione non si ha modo di trovare le risposte. I chatbot che si usano tutti i giorni, da ChatGPT a Claude, dipendono da enormi centri di calcolo raggiungibili solo attraverso la rete. Senza rete, nisba.

È da questa constatazione piuttosto banale che nasce l’interesse per uno strumento diverso: un chatbot gratuito e a codice aperto, chiamato Survival LLM, progettato per funzionare interamente sul proprio computer anche quando la connessione non c’è. Una volta installato e configurato, mette a disposizione un milione e mezzo di articoli sugli argomenti più disparati, il tutto senza mai inviare una sola richiesta a un server remoto.

Come funziona Survival LLM: tutto resta sul proprio computer

Il principio è l’opposto di quello che fanno i chatbot tradizionali. Invece di inviare le domande a un centro di calcolo esterno e attendere la risposta, Survival LLM esegue un modello di intelligenza artificiale direttamente sulla macchina dell’utente. Accanto al modello installa una biblioteca di materiale di riferimento scaricato in anticipo, articoli provenienti da fonti come l’enciclopedia libera, archivi medici pubblici, guide dell’agenzia federale per la gestione delle emergenze, indicazioni dei centri per il controllo delle malattie e manuali di riparazione di iFixit, la nota piattaforma dedicata alla riparazione di dispositivi e apparecchi.

L’archivio completo contiene circa un milione e mezzo di articoli, di cui circa 930.000 provenienti dall’enciclopedia libera. La copertura è ampia e concreta, ed è tutto consultabile senza aprire un navigatore e senza che il computer sia collegato alla rete.

Una caratteristica particolarmente apprezzabile è la trasparenza delle risposte. Il chatbot non si limita a fornire un’informazione, mostra anche gli articoli da cui l’ha ricavata e permette di leggere direttamente i passaggi pertinenti. Quando si tratta di consigli che riguardano la salute o la sicurezza, poter verificare la fonte con i propri occhi non è un dettaglio di poco conto.

Il programma consente inoltre di aggiungere i propri documenti: manuali di istruzioni, piani familiari di emergenza, contatti utili, guide specifiche in formato testo o documento. Tutto viene indicizzato e reso consultabile insieme alla biblioteca preinstallata. I dati inseriti, secondo quanto dichiarato dallo sviluppatore, restano sul computer e non vengono mai trasmessi all’esterno.

I limiti

Se tutto questo suona troppo bello per essere vero, è perché c’è un aspetto da considerare. Lo sviluppatore stesso pubblica i risultati dei propri test di accuratezza, e i numeri non sono uniformi.

Su ventidue domande relative a emergenze e primo soccorso, i modelli più grandi e potenti hanno risposto correttamente a ventuno. Un risultato eccellente. Ma il modello raccomandato per i computer con una quantità di memoria compresa tra 16 e 31 gigabyte, vale a dire la fascia in cui rientra la maggior parte dei portatili in circolazione, ha centrato solo quattordici risposte su ventidue. Poco più del sessanta per cento. In un contesto dove una risposta sbagliata può riguardare un’ustione, un avvelenamento o un’allergia alimentare, quel margine di errore non è trascurabile.

Va precisato che questi risultati provengono dai test interni dello sviluppatore su una versione precedente della biblioteca, non da verifiche indipendenti. La capacità del programma di mostrare le fonti originali delle risposte funziona come una rete di sicurezza, ma non garantisce che il modello le abbia interpretate correttamente. In altre parole: il chatbot può indicare l’articolo giusto e trarne comunque una conclusione sbagliata. Per le questioni che riguardano la salute e l’incolumità, il confronto con la fonte originale non è facoltativo, è obbligatorio.

Cosa serve per installarlo

Survival LLM è disponibile gratuitamente dal sito ufficiale dello sviluppatore. Funziona su computer con processore a 64 bit che utilizzano Windows nella versione 10 o successiva, e sui portatili Apple con processore proprietario e sistema operativo dalla versione 14 in poi.

L’installazione richiede una connessione a Internet, dato che bisogna scaricare sia il modello di intelligenza artificiale sia la biblioteca di riferimento. Non è il tipo di programma che si installa in due minuti, e conviene saperlo in anticipo. La biblioteca ridotta pesa circa 1,3 gigabyte, quella completa circa 9. Il modello varia da circa 6 a 80 gigabyte in base alle caratteristiche del computer. Lo sviluppatore stima che la configurazione iniziale richieda da venti minuti a due ore e mezza, a seconda della velocità della connessione e della potenza della macchina.

I computer con poca memoria di lavoro potrebbero essere limitati alla sola consultazione della biblioteca, senza la funzione di conversazione con l’intelligenza artificiale. In particolare, per le macchine con soli 8 gigabyte di memoria lo sviluppatore sconsiglia l’uso del modello conversazionale. Non è un capriccio tecnico, i modelli di intelligenza artificiale che girano in locale hanno bisogno di molta memoria per funzionare in modo accettabile, e su una macchina con risorse limitate le risposte diventano lente, imprecise o entrambe le cose.

C’è poi un dettaglio pratico che sembra ovvio, ma che vale la pena ricordare: un chatbot che funziona senza connessione non funziona senza corrente. Se il portatile si scarica durante un’interruzione prolungata, il programma più sofisticato del mondo diventa un peso morto. Avere una batteria esterna carica o una stazione di alimentazione portatile resta un requisito fondamentale per chi vuole davvero prepararsi a un’emergenza.

Uno strumento utile, non un sostituto

L’idea che sta dietro Survival LLM merita rispetto perché affronta un problema reale che quasi nessuno nel settore dell’intelligenza artificiale si preoccupa di risolvere: cosa succede quando la rete non c’è. Avere sul proprio computer una collezione consultabile di guide mediche, istruzioni di emergenza e manuali di riparazione è qualcosa di concretamente utile, soprattutto durante interruzioni prolungate della rete o in zone dove la copertura è inaffidabile, e in Italia, basta allontanarsi di pochi chilometri da un centro urbano per scoprire quante di queste zone esistano ancora.

Ma utile non significa infallibile. I risultati dei test dello sviluppatore lo dimostrano con una chiarezza che altri produttori di intelligenza artificiale farebbero bene a imitare: il programma sbaglia, e sbaglia più spesso sulle macchine meno potenti. Per le domande che riguardano la salute e la sicurezza, esattamente quelle per cui si userebbe questo strumento in un’emergenza, la verifica della fonte originale non è un optional ma un passaggio indispensabile.

Detto questo, avere a portata di mano un milione e mezzo di articoli consultabili senza rete, gratis, con la possibilità di aggiungere i propri documenti, è meglio che restare al buio a chiedersi quanto durano le uova nel frigorifero spento. La risposta, per la cronaca, è circa quattro ore con lo sportello chiuso. Ma è sempre meglio verificare.