Chat with RTX: crea un chatbot IA con l'app di NVIDIA

NVIDIA ha appena pubblicato una tech demo chiamata Chat with RTX: è disponibile per il download gratuito, ma per utilizzarla è necessario soddisfare alcuni requisiti di sistema (che elencheremo a breve). Come si può intuire già dal nome, ciò che fa è mettere a disposizione di chi possiede un PC con scheda video RTX la possibilità di creare un chatbot IA personalizzato con cui interagire in locale, senza doversi necessariamente connettere a un server sul cloud. Vediamo di cosa si tratta e come funziona.

Cos’è e come funziona Chat with RTX

Sfrutta il processo RAG (Retrieval-Augmented Generation) per l’ottimizzazione dell’output applicato ai modelli linguistici di grandi dimensioni, la tecnologia TensorRT-LLM sviluppata internamente e le potenzialità delle GPU RTX. Agli utenti è consentito caricare un archivio di file dal proprio computer per renderlo un dataset da dare in pasto a modelli open source come Mistral o Llama 2. L’intelligenza artificiale generativa, poi, si baserà su questa conoscenza per rispondere rapidamente in modo coerente alle domande poste.

Ad esempio (secondo quanto riportato sul blog di NVIDIA), è possibile chiedere al chatbot Qual era il ristorante che il mio partner ha consigliato quando eravamo a Las Vegas? per far sì che l’IA cerchi l’informazione all’interno di documenti in vari formati (TXT, PDF, DOC/DOCX, XML e così via), estrapolandola e presentandola all’interno della conversazione. È inoltre garantito il supporto ai dati inclusi nei video e nelle playlist di YouTube, semplicemente specificandone l’indirizzo.

Ecco quali sono i requisiti di sistema necessari per l’utilizzo di Chat with RTX.

• Sistema operativo: Windows 11;
• GPU: NVIDIA GeForce RTX 30 o 40 Series oppure NVIDIA RTX Ampere o Ada Generation con almeno 8 GB di  VRAM;
• RAM: almeno 16 GB;
• driver: versione 535.11 o successiva.

Come scritto in apertura, al momento si tratta di una tech demo. L’idea di proporre chatbot da eseguire in locale, dunque operativi anche in assenza di una connessione Internet, potrebbe prendere sempre più piede in futuro e NVIDIA sembra avere l’intenzione di non farsi trovare impreparata.