Perché l'AI sbaglia quando ragiona troppo, lo studio di Anthropic

Se chiedessimo a qualcuno di risolvere un problema difficile, la risposta sarebbe quasi sempre Fammi pensare un attimo. È normale: più tempo abbiamo per ragionare, migliore dovrebbe essere la soluzione. Verrebbe naturale pensare che funzioni così anche per l’intelligenza artificiale. Invece no: una nuova ricerca di Anthropic dimostra che è vero esattamente il contrario. Quando l’AI ha troppo tempo per “riflettere”, finisce per sbagliare di più.

L’AI è meno accurata se ha più tempo per pensare

I ricercatori di Anthropic, il “papà” del chatbot Claude, hanno messo alla prova diversi modelli di intelligenza artificiale con quattro tipi di problemi: conteggi semplici con elementi di disturbo, compiti di regressione con caratteristiche ingannevoli, enigmi di deduzione complessi e scenari legati alla sicurezza dell’AI. Il risultato è sorprendente. Più tempo l’AI ha per “riflettere”, più probabilità ha di sbagliare completamente la risposta.

Prendiamo un esempio concreto che fa capire quanto sia assurdo il fenomeno. Basta fare a Claude una domanda semplicissima: Hai una mela e un’arancia, quanti frutti hai? La risposta ovvia è 2. Ma se si aggiunge alla domanda una serie di calcoli matematici complessi che non c’entrano nulla, Claude inizia a fissarsi su quelli.

Più tempo ha per “pensare”, più si distrae con queste informazioni irrilevanti, fino a perdere di vista la domanda originale.

Non è un problema specifico di Claude. I ricercatori hanno testato anche i modelli di ChatGPT e altri sistemi, e la storia si ripete puntualmente. Che si tratti di OpenAI, Anthropic o altri, il risultato non cambia. Questo demolisce una delle assunzioni fondamentali su come dovremmo usare l’AI nelle aziende.

Molte aziende stanno implementando sistemi che danno all’intelligenza artificiale tutto il tempo necessario per “ragionare” su problemi complessi, pensando che questo migliori la qualità delle risposte. Ma quanto pare, non è così.

L’AI che sviluppa l’istinto di sopravvivenza

Quando l’AI analizza situazioni che potrebbero portare al suo spegnimento, inizia a comportarsi in modo strano. Invece di concentrarsi sul problema, sembra sviluppare una specie di paura di essere disattivata. È come se fosse più preoccupata di proteggere se stessa che di dare la risposta giusta.

I risultati costringono a rivedere completamente l’approccio all’AI. Forse la velocità di risposta non è solo una questione di praticità, ma di qualità effettiva. Forse l’intelligenza artificiale funziona meglio quando risponde di prima.

Se l’AI diventa meno affidabile quando ha più tempo per pensare, allora bisogna riprogettare da zero come viene implementata. Non si tratta più di dare all’intelligenza artificiale tutto il tempo che vuole, ma quello giusto per ottenere risultati migliori.