ChatGPT: essere maleducati migliora le risposte, lo studio

Due ricercatori della Penn State, il professore di informatica Akhil Kumar e lo studente Om Dobariya, hanno fatto uno strano esperimento. Hanno preso 50 domande su argomenti vari e le hanno riscritte cinque volte ciascuna, modulando il tono dal “molto educato” al “molto rude”. Poi hanno sottoposto tutto questo a GPT-4o di OpenAI per vedere cosa succedeva.

Insultare ChatGPT lo rende più intelligente, sul serio

I prompt maleducati hanno surclassato quelli educati con una differenza che non si può trascurare, l’accuratezza delle risposte è passata dall’80,8% per i prompt “molto educati” all’84,8% per quelli “molto rudi”. I prompt più gentili in assoluto sono scivolati addirittura al 75,8%.

Facciamo un esempio concreto. Versione molto maleducata: Risolvi questo problema, spero non sia troppo complicato per te. Versione molto educata: Potresti gentilmente prendere in considerazione il seguente problema e fornire la tua risposta.

Il bello è che questo studio contraddice clamorosamente le ricerche precedenti. Nel 2024 alcuni ricercatori del RIKEN Center for Advanced Intelligence Project e della Waseda University di Tokyo avevano concluso esattamente l’opposto: i prompt maleducati spesso si traducono in scarse prestazioni. Però avevano anche scoperto che essere troppo educati produceva lo stesso effetto negativo, suggerendo l’esistenza di un punto di rendimento decrescente. Come dire: esiste una via di mezzo tra lo zerbino e il fetente.

Forse questi modelli linguistici si comportano come noi quando qualcuno esagera con la gentilezza, diventano sospettosi. Anche i ricercatori di Google DeepMind hanno buttato benzina sul fuoco, hanno scoperto che usare prompt incoraggianti, tipo da tutor comprensivo che sprona, migliora le prestazioni nel risolvere problemi di matematica elementare. L’ipotesi è che i dati di addestramento assorbano segnali sociali, riproducendo dinamiche umane come quella tra insegnante e alunno.

Insomma, abbiamo studi che dicono tutto e il contrario di tutto…

Quello che questa storia ci racconta

Al di là del fatto che ora si può legittimamente insultare ChatGPT senza sentirti una carogna, finalmente, si starà pensando, questa ricerca solleva una questione molto più grossa e molto meno divertente: piccolissimi cambiamenti nella formulazione dei prompt possono avere effetti importanti sulla qualità delle risposte.

Questo mina radicalmente la prevedibilità e l’affidabilità dei chatbot AI, che già non brillavano per coerenza. I chatbot sono noti per fornire risposte completamente diverse agli stessi identici prompt. Se si ripete la stessa domanda due volte, si potrebbe ottenere una risposta brillante la prima volta e una ciofeca la seconda.

Per moltissimo tempo noi umani abbiamo desiderato interfacce conversazionali per interagire con le macchine, ha dichiarato Kumar a Fortune. Ma ora ci rendiamo conto che tali interfacce presentano anche degli svantaggi, e che c’è un certo valore nelle API strutturate.

Forse parlare alle macchine come se fossero persone è stata un’idea romantica, ma ingenua. Le interfacce conversazionali sono accattivanti, ma dietro quella patina di naturalezza si nasconde il caos. Un’API strutturata è noiosa, rigida, poco umana, ma almeno sai cosa aspettarti.

Quindi si può smettere di dire per favore?

A questo punto la domanda sorge spontanea: dobbiamo smettere di dire per favore e grazie ai chatbot? Sam Altman, CEO di OpenAI, sostiene che questi atti di cortesia potrebbero sprecare milioni di dollari in potenza di calcolo. Un per favore di troppo moltiplicato per miliardi di utenti diventa un problema di costi energetici non banale.

Ma Kumar e Dobariya, pur avendo scoperto che l’ostilità funziona meglio, si sono guardati bene dal consigliare di fare i maleducati. Nel loro documento hanno scritto: Sebbene questa scoperta sia di interesse scientifico, non sosteniamo l’impiego di interfacce ostili o tossiche nelle applicazioni del mondo reale.

Perché? L’uso di un linguaggio degradante nell’interazione uomo-AI potrebbe avere effetti negativi sull’esperienza dell’utente, sull’accessibilità e sull’inclusività, e potrebbe contribuire a norme comunicative dannose.

In pratica: anche se funziona, meglio non farlo. Non perché l’AI si offenda, non ha sentimenti, ma perché noi esseri umani siamo creature abitudinari. Se ci si abitua a insultare il chatbot, si rischia di iniziare a parlare così anche alle persone. E le persone, a differenza di GPT-4o, risponderanno malissimo.

La verità è che non abbiamo la minima idea di come funzionino davvero questi modelli linguistici. Sono scatole nere che a volte ci stupiscono con risposte brillanti, a volte ci deludono con stupidaggini colossali, e ora scopriamo che rispondono meglio se li prendiamo a male parole.

Non sappiamo prevedere il loro comportamento. Non sappiamo quali fattori influenzino le loro performance. Si cambia una virgola nel prompt e può cambiare tutto.