Google risolve l'oblio catastrofico dell'AI con Nested Learning

Google Research ha sviluppato una nuova tecnica chiamata Nested Learning per affrontare uno dei difetti più grossi dell’intelligenza artificiale: l’oblio catastrofico. In pratica, quando un’AI viene aggiornata con nuove informazioni o le si insegna una nuova abilità, tende a cancellare tutto ciò che sapeva prima.

Nested Learning di Google simula la neuroplasticità del cervello nell’AI

Il nuovo metodo Nested Learning s’ispira direttamente al cervello umano, che non ha questo problema. Quando impariamo qualcosa di nuovo, non cancelliamo i vecchi ricordi, o almeno, non dovremmo. Google lo ha definito una solida base per colmare il divario tra gli attuali LLM e la loro natura smemorata e il cervello umano.

Il Nested Learning ha comportato un cambiamento radicale nel modo di concepire l’architettura e l’algoritmo di ottimizzazione di un modello di AI. Tradizionalmente, gli sviluppatori consideravano questi due aspetti come entità separate. Con il Nested Learning, invece, vengono trattati come un’unica entità integrata.

Il trucco sta nel trattare i modelli di AI come una serie di problemi di ottimizzazione più piccoli, interconnessi e annidati. Ciascuno di questi sotto-problemi può apprendere e aggiornare le proprie conoscenze a un ritmo specifico diverso, grazie a una tecnica chiamata “aggiornamenti multi-tempo”. È come avere diverse parti del cervello che lavorano a velocità diverse, alcune si adattano rapidamente alle nuove esperienze, altre mantengono saldi i ricordi di lungo periodo.

Questa struttura simula la neuroplasticità del cervello umano, dove alcune aree si modificano per integrare nuove esperienze senza cancellare i vecchi ricordi. Quindi, invece di aggiornare l’intero modello in modo uniforme e spazzare via le vecchie conoscenze come un bulldozer, il Nested Learning crea un sistema dinamico e stratificato che si aggiorna senza distruggere quello che già sa.

Hope: il modello che non dimentica

Google Research ha applicato questi principi per progettare un modello di prova chiamato Hope. Un nome piuttosto ottimista, per la serie “speriamo che questa volta funzioni davvero“. Hope è un’architettura ricorrente che si auto-modifica, capace di ottimizzare la propria memoria. Utilizza i sistemi di memoria Continuum, che non trattano la memoria come semplici contenitori a breve e lungo termine, ma come uno spettro di moduli stratificati, ciascuno dei quali si aggiorna alla propria frequenza.

Hope è riuscito a superare costantemente i modelli attuali nelle sfide di memoria a lungo termine. Nei compiti dove il modello deve richiamare un piccolo dettaglio specifico sepolto in profondità in un documento enorme, Hope ha dimostrato prestazioni superiori. Era anche più accurato ed efficiente nella modellazione del linguaggio generale.

In pratica, Hope riesce a fare quello che i modelli attuali fanno fatica a gestire: ricordare informazioni specifiche anche quando sono nascoste in mezzo a tonnellate di altri dati.

Quando arriverà su Gemini?

Quando vedremo queste migliorie nelle prossime versioni di Gemini? Non lo sappiamo. Google non ha condiviso una tempistica su quando potremo aspettarci di vedere il Nested Learning integrato nel suo modello di AI di punta. Speriamo presto!