ChatGPT, il trucco delle citazioni che cambia la qualità delle risposte

Ogni tanto ChatGPT fa quello che non dovrebbe fare. Nel tentativo disperato di rispondere a ogni costo, anche quando è palesemente in difficoltà, propone informazioni sbagliate o provenienti da fonti di scarsa qualità presentandole con tono sicuro e autorevole.

Il problema è che ChatGPT non ammette di non sapere con certezza o che l’informazione potrebbe non essere affidabile. Risponde con la stessa sicurezza sia quando cita uno studio scientifico serio, sia quando riporta l’opinione casuale di un blog qualsiasi. A meno che non si dedichi tempo prezioso a verificare ogni singolo fatto, dato o opinione fornita dal chatbot, è praticamente impossibile accorgersi di quando inventa o pesca da fonti discutibili.

Tenendo presente questo problema strutturale dell’intelligenza artificiale (non vale solo per ChatGPT), bisogna adottare un altro approccio, che cambia completamente la qualità delle risposte.

In parole semplici, si chiede a ChatGPT di fornire in anticipo le citazioni di ciò che sta per dire. Prima ancora di rispondere alla domanda vera e propria. Questa modifica apparentemente piccola ha effetti enormi sulla qualità, verificabilità e utilità delle risposte.

Come funziona il prompt delle citazioni in anticipo

Prima di porre la domanda vera e propria, basta aprire la conversazione con questo prompt esatto Ti porrò una domanda a breve. Per questa richiesta, se fai affermazioni basate su fatti, allega una fonte. Devono essere documenti ufficiali, articoli accademici o reportage originali. Se devi citare un blog, rendi assolutamente chiara la sua provenienza e il suo livello di autorevolezza. Informami esplicitamente se non sei in grado di verificare un’informazione tramite una fonte credibile.

Quando poi si invia la domanda effettiva, ChatGPT farà un passo in più per offrire informazioni verificabili, fornendo fonti specifiche per ogni affermazione, citazioni testuali quando rilevanti, link cliccabili per approfondire, e indicherà chiaramente quando non può verificare qualcosa.

Questo approccio raggiunge due obiettivi fondamentali. Prima di tutto, permette una verifica dei fatti immediata. È possibile vedere esattamente da dove ChatGPT ha estratto le statistiche, gli studi, i dati. Inoltre, costringe l’uso fonti affidabili. ChatGPT sa che si dovranno verificare le fonti, quindi evita di pescare da blog casuali o fonti di dubbia qualità presentandole come fatti.

Naturalmente, il prompt può essere anche personalizzato, aggiungendo richieste extra o specificando quali fonti si vogliono.

Ad esempio, per la ricerca accademica, il prompt potrebbe essere: Ti porrò una domanda a breve. Rispondi utilizzando solo fonti accademiche sottoposte a revisione tra pari, pubblicazioni scientifiche o database di ricerca riconosciuti. Per ogni affermazione rilevante, fornisci la citazione completa nel formato [APA / MLA / Chicago]. Se un’affermazione non può essere supportata da letteratura accademica, dillo esplicitamente.

Per la ricerca medica: Ti porrò una domanda a breve. Utilizza esclusivamente fonti da PubMed, database medici riconosciuti, linee guida ufficiali di organizzazioni sanitarie. Non citare blog di salute, siti commerciali o fonti non mediche. Segnala esplicitamente se le informazioni sono preliminari o dibattute nella comunità scientifica.

Per questioni legali, potrebbe essere: Ti porrò una domanda a breve. Utilizza esclusivamente testi di legge, sentenze pubblicate, documenti ufficiali di istituzioni giuridiche. Non basarti su interpretazioni di blog legali o pareri non ufficiali. Ricorda che non posso fornire consulenza legale professionale.

Esempi pratici: prima e dopo

Vediamo concretamente come cambia la qualità delle risposte.

Esempio 1: Perdita di peso

Senza il prompt delle citazioni in anticipo:

Domanda: Qual è il metodo più efficace per perdere peso?

Risposta standard: Il metodo più efficace combina dieta equilibrata e esercizio regolare. Riduci carboidrati, aumenta proteine, fai almeno 30 minuti di cardio al giorno. Molti esperti raccomandano digiuno intermittente.

Ma chi sono questi “esperti”? Da dove vengono questi consigli? Sono basati su scienza o su articoli popolari di fitness blog?

Con il prompt delle citazioni in anticipo, dopo aver dato il prompt iniziale, la stessa domanda produce una risposta completamente diversa: Secondo un’analisi pubblicata su Lancet (2019), la combinazione di riduzione calorica moderata e attività fisica aerobica mostra efficacia maggiore per perdita peso sostenibile. Uno studio clinico di Johns Hopkins (2020) documenta che la riduzione di 500 calorie giornaliere combinata con 150 minuti attività moderata settimanale produce una perdita di 0,5-1kg settimanale mantenibile. Riguardo al digiuno intermittente, una revisione sistematica pubblicata New England Journal of Medicine (2019) indica risultati comparabili alla restrizione calorica continua, ma non superiori. [Link agli studi].

La differenza è abissale. Non solo si ha a disposizione delle informazioni verificabili, ma si può valutare qualità delle fonti e leggere gli studi originali se si vuole approfondire.

Quando usare questo approccio

Non serve applicare questo prompt a ogni conversazione con ChatGPT. Ma ci sono situazioni specifiche dove è essenziale.

Andrebbe sempre utilizzato per la ricerca accademica o professionale: quando si scrivono tesi, articoli, report che richiedono fonti verificabili; per le decisioni importanti basate su fatti, come scelte mediche, finanziarie, legali dove le informazioni sbagliate hanno conseguenze serie; per verificare informazioni dubbie; progetti giornalistici; per approfondire argomenti complessi.

Non serve per il brainstorming creativo, le conversazioni casuali, domande procedurali semplici (es.
Come formatto questo in Excel?), quando si scrivono storie, le citazioni sono irrilevanti.

I limiti da non sottovalutare

Questo approccio migliora drasticamente qualità delle risposte, ma non è perfetto. ChatGPT può ancora citare fonti inesistenti, quindi è bene verificare sempre link e citazioni importanti. Può interpretare erroneamente le fonti, cioè può citare lo studio correttamente, ma fraintendere le conclusioni. Può scegliere fonti che supportano una certa risposta, ignorando evidenze contrarie. Inoltre, non può leggere articoli dietro paywall, quindi potrebbe basarsi su abstract invece che su testi completi.

Come mitigare questi rischi?

• Verificare personalmente fonti per affermazioni critiche;
• Cliccare sui link forniti per assicurarsi che esistano davvero;
• Cercare fonti contrarie per bilanciare la prospettiva;
• Usare il giudizio critico anche con le fonti citate.

Il prompt delle citazioni in anticipo non rende ChatGPT infallibile. Ma lo trasforma da chatbot che risponde a tutto con sicurezza a chatbot che deve giustificare ogni affermazione con fonti verificabili.