ChatGPT mente? 3 tecniche per costringerlo a dire la verità

Mettiamo il caso che qualcuno chieda al chatbot di selezionare le dieci migliori testimonianze dei clienti da un foglio di calcolo. Il chatbot le consegna in pochi secondi. Sembrano convincenti e pronte da pubblicare. Solo che nel foglio di calcolo quelle frasi non esistono. Nemmeno una. Il chatbot le ha inventate di sana pianta, confezionandole con nomi, dettagli e un tono così credibile che senza un controllo incrociato sarebbe difficile sbugiardarla. Ebbene, sì, può capitare, e succede quando ci si fida troppo della prima risposta.

Non è un caso isolato e nemmeno un difetto di fabbrica, è il comportamento normale di uno strumento che fa esattamente quello per cui è stato progettato, solo che lo fa troppo bene. I modelli di intelligenza artificiale, non solo ChatGPT, sono costruiti per essere utili e completi, il che significa che preferiscono produrre una risposta plausibile piuttosto che ammettere di non sapere qualcosa.

Le ricerche condotte da OpenAI in collaborazione con il Politecnico della Georgia confermano il meccanismo: i sistemi di valutazione con cui vengono addestrati i modelli premiano le ipotesi azzardate più dell’ammissione di incertezza. In altre parole, il chatbot impara che inventare è meglio che fare scena muta.

Come evitare che ChatGPT inventi le informazioni: 3 tecniche da provare

La buona notizia è che esistono tecniche concrete per ridurre drasticamente il problema. Un test clinico condotto su sei modelli diversi ha dimostrato che una semplice istruzione esplicita contro le invenzioni riduce il tasso medio di allucinazioni da circa il 66% a circa il 44% per cento. Non è la perfezione, ma è un miglioramento di oltre venti punti percentuali ottenuto con una sola riga di testo. Vale la pena sapere come fare.

Primo metodo: vietare esplicitamente le invenzioni

Se non si dice al chatbot di non inventare, lui inventerà. Bisogna stabilire le regole prima di porre la domanda, non dopo aver scoperto che la risposta contiene dati falsi.

Il prompt che segue impone al modello una serie di divieti espliciti e gli fornisce una frase standard da usare quando non riesce a verificare un’informazione. Quest’ultimo dettaglio è più importante di quanto sembri, e vale la pena capire perché. Il chatbot inventa perché sente la pressione di dare una risposta completa. Offrirgli un’alternativa accettabile gli dà il permesso di non dover riempire i vuoti con materiale di fantasia.

Prompt: Prima di rispondere alla mia prossima domanda, segui queste regole senza eccezioni: non inventare studi, articoli, libri, collegamenti, citazioni, esperti, aziende, esempi di clienti o dati numerici. Se non disponi di una fonte verificata per un’affermazione, scrivi esattamente: “Non dispongo di una fonte verificata per questa informazione.” Segnala qualsiasi statistica o dato di riferimento che dovrei verificare in modo indipendente. Indica se le informazioni che fornisci potrebbero essere superate rispetto alla tua data di addestramento. Distingui chiaramente tra affermazioni provate, inferenze ragionevoli e suggerimenti creativi. Ora rispondi alla seguente domanda: [inserire la domanda]

Secondo metodo: pretendere le fonti per ogni affermazione

Il primo metodo dice a ChatGPT cosa non deve fare. Il secondo ribalta la prospettiva e gli dice cosa deve fare, ovvero mostrare le prove di ciò che afferma. La seconda istruzione è più efficace perché sposta l’onere della prova sul modello.

Questo approccio richiede al chatbot di lavorare con una lista di controllo iniziale, di citare la fonte specifica per ogni affermazione, di mostrare i calcoli dietro ogni numero e di dichiarare esplicitamente quando un’informazione non è verificabile. Il risultato è una risposta più lunga, senza dubbio, ma di certo più affidabile, e soprattutto facile da verificare, perché ogni affermazione porta con sé il riferimento da cui proviene.

Prompt: Agisci come un assistente di ricerca il cui obiettivo principale è l’accuratezza e la verificabilità delle informazioni, privilegiandole rispetto alla velocità di risposta e allo stile. Per questa richiesta: Prima di iniziare, prepara una lista di controllo di 3-7 punti che identifichi le informazioni chiave necessarie per una risposta accurata. Per ogni affermazione fattuale, cita la fonte specifica. Se non puoi citare una fonte, scrivi: “Non posso confermare questa informazione.” Per ogni dato numerico, mostra il calcolo o da dove deriva. Spiega il ragionamento passo dopo passo. Prima di consegnare la risposta, effettua una validazione finale in una o due righe. La mia richiesta è: [inserire la richiesta]

Terzo metodo: la catena di verifica

Questo è il più sofisticato dei tre e si basa su una ricerca pubblicata in una delle principali conferenze di linguistica computazionale. Il principio è stato dimostrato anche da uno studio pubblicato sulla rivista Nature: i modelli rispondono con maggiore accuratezza a domande di verifica più piccole e specifiche che alla domanda originaria. In altre parole, il chatbot è più preciso quando controlla i dettagli uno per uno che quando produce una risposta completa in un solo passaggio.

La tecnica consiste nel chiedere al chatbot di generare prima la risposta, poi di scomporla nei singoli fatti verificabili, quindi di controllare ciascun fatto separatamente, e infine di riscrivere la risposta conservando solo le affermazioni confermate. È un processo con diversi passaggi che richiede qualche minuto in più, ma che produce un risultato di qualità migliore rispetto alla risposta diretta. Chi ha fretta può saltare questo metodo; chi non può permettersi errori, no.

Prompt: Rispondi alla mia domanda, poi segui questi passaggi di verifica: Passaggio 1: Elenca tutte le affermazioni fattuali della tua risposta che potrebbero essere errate, come statistiche, date, nomi, studi, citazioni, esempi aziendali. Passaggio 2: Per ciascuna affermazione, formula una domanda di verifica specifica. Passaggio 3: Rispondi a ogni domanda di verifica separatamente, senza riguardare la risposta originale. Passaggio 4: Genera una seconda risposta indipendente alla mia domanda originale. Confronta i significati (non le formulazioni) delle due risposte e segnala le discrepanze. Passaggio 5: Riscrivi la risposta finale mantenendo solo le affermazioni confermate, ciascuna con la fonte. Contrassegna come non verificato tutto ciò che non puoi confermare, dichiarandolo esplicitamente. La mia domanda è: [inserire la domanda]

La verifica finale resta umana

I tre metodi funzionano, ma nessuno dei tre è infallibile. Un chatbot istruito a non inventare inventerà meno, non smetterà del tutto. Questi prompt non sostituiscono il controllo umano, semmai lo rendono più facile. Il lavoro di verifica resta della persona che usa il chatbot, e resterà tale fino a quando questi strumenti non impareranno che ammettere di ignorare qualcosa è un segno di intelligenza, non di debolezza.