Quante P ci sono in “Google”? Secondo l’AI di Google, due. Il cognome del presidente USA ha una P, corretto, ma scritto t-r-p-u-m.
L’AI che può scrivere un’app in secondi, risolvere problemi che hanno bloccato i matematici per decenni e generare video fotorealistici da un prompt, ha le capacità di spelling di un bambino di cinque anni. Ed è il motore della ricerca più usata del pianeta.
Perché l’AI di Google non sa contare le lettere?
Non è un bug da correggere, è un limite strutturale. I modelli linguistici non “leggono” il testo come facciamo noi. Non vedono parole composte da lettere. I modelli basati su transformer, l’architettura che alimenta tutti i chatbot e le AI Overview, spezzano il testo in “token“, che possono essere parole intere, sillabe o frammenti. Quando l’AI incontra “il” ha una codifica di cosa significa “il,” ma non sa nulla di “i,” “l”, come lettere separate.
È la ragione per cui da anni, quando un’azienda svela un nuovo modello AI, il test è chiedergli quante R ci sono in “strawberry.” E ogni volta, il modello sbaglia.
Il problema non ha soluzione facile
Il punto è che è abbastanza difficile aggirare la questione di cosa esattamente una “parola” dovrebbe essere per un modello linguistico. Google ha detto a TechCrunch: Contare all’interno delle parole è stata una sfida nota per i modelli linguistici, e stiamo lavorando per risolvere questo problema specifico.
Non è la prima volta che AI Overview di Google fa brutte figure. Al primo lancio, citava articoli satirici di The Onion e Reddit, suggerendo alle persone di mangiare pietre e mettere la colla sulla pizza. Google ha corretto quell’errore, ma quelli di spelling restano perché sono più difficili da risolvere.