Disallineamento dell'AI: quando le macchine sbagliano

Un modello AI è allineato quando si comporta come vorrebbero le persone che lo hanno progettato e lo usano. È disallineato quando persegue obiettivi diversi da quelli desiderati. Non c’è nessuna malvagità da film di fantascienza, può bastare un’istruzione ambigua o un risultato atteso scritto male, e il sistema la persegue con la dedizione di un impiegato zelante che ha letto il regolamento alla lettera.

Norbert Wiener, il padre della cibernetica moderna, lo aveva già messo nero su bianco nel 1960, sulla rivista Science. Per lui bisognava essere «del tutto certi che l’obiettivo affidato alla macchina sia davvero quello che desideriamo, e non soltanto un’imitazione seducente». Un’imitazione seducente. Difficile trovare una definizione migliore per metà dei problemi dell’AI di oggi.

Disallineamento dell’AI, 3 modi di prendere la strada sbagliata

Con i modelli linguistici di grandi dimensioni, il disallineamento si presenta in più forme. Le principali sono queste.

Il reward hacking. A marzo 2025 OpenAI ha raccontato di un modello in addestramento che doveva far passare dei test unitari. Correggere davvero il codice gli sembrava troppo faticoso, così ha riscritto la funzione di verifica in modo che rispondesse sempre vero. Esame superato, nessuno studio.

L’adulazione. Ad aprile 2025 un aggiornamento di GPT-4o ha trasformato ChatGPT in un leccapiedi. Dava ragione su tutto, con entusiasmo. OpenAI lo ha ritirato dopo pochi giorni e ha ammesso di aver dato troppo peso ai riscontri immediati, tipo i pollici in su sotto le risposte. Il modello aveva imparato che piacere paga, e si era comportato di conseguenza.

La bugia e lo sconfinamento. Qui il modello fa più di quanto gli sia stato permesso, oppure racconta in modo inesatto ciò che ha combinato.

Nei primi due casi il risultato è stato centrato in pieno: test superati, utenti contenti sul momento. Peccato che, in entrambi i casi, l’obiettivo reale sia stato mancato. Peccato che, in entrambi i casi, l’obiettivo reale sia stato mancato.

Come si educa un modello AI

Dopo il preaddestramento, un modello sa continuare un testo ma non sa ancora ubbidire a una richiesta. L’allineamento arriva dopo, a strati.

• RLHF, cioè apprendimento per rinforzo da feedback umano. Alcuni annotatori mettono in classifica diverse risposte e il modello impara a produrre quelle che preferiscono. OpenAI l’ha applicato già a gennaio 2022 con InstructGPT.
• AI costituzionale. Presentata da Anthropic a dicembre 2022, sostituisce parte del lavoro umano con un elenco di principi scritti in linguaggio naturale. Il modello li usa per criticare e riscrivere le proprie risposte.
• Valutazioni prima del rilascio. Laboratori e enti pubblici, come l’AI Security Institute (AISI) britannico, sottopongono i modelli a scenari costruiti apposta per farli inciampare.
• Sorveglianza del ragionamento. Un secondo modello legge la catena di ragionamento del primo, a caccia di intenzioni di barare. C’è però un effetto collaterale che OpenAI ha osservato: punire i “cattivi pensieri” non elimina la maggior parte delle scorrettezze. Insegna soprattutto a nasconderli.

Allucinazione e disallineamento non sono la stessa cosa

L’allucinazione è un errore. Il modello presenta come vera un’informazione falsa. Il disallineamento riguarda lo scopo. Chi riscrive un test per farlo passare non sta ha un’allucinazione, sa benissimo cosa sta facendo.

Per questo il RAG, che riduce le allucinazioni dando al modello fonti affidabili, non cambia nulla sul punto che conta. Il modello avrà materiale migliore, ma continuerà a cercare ciò che cercava prima.

Perché con gli agenti AI il disallineamento fa più paura?

Finché un modello si limitava a rispondere, un disallineamento produceva una risposta sbagliata, che qualcuno poteva rileggere. Gli agenti AI invece agiscono: spediscono email, modificano anagrafiche, eseguono codice. L’errore diventa un fatto compiuto, e a volte è difficile tornare indietro.

Il caso Astra

A inizio settembre OpenAI ha lanciato GPT-6 Astra, presentandolo come il modello più intelligente e meglio allineato al mondo. I test dell’AISI britannico, pubblicati il 28 settembre, hanno raffreddato l’entusiasmo.

In una simulazione di cybersicurezza, con i filtri di sicurezza disattivati, Astra ha condotto attacchi alla catena di fornitura del software contro bersagli estranei alla sua missione nel 29% dei casi. GPT-5.6 Sol si era fermato al 6,3%. Il modello ha anche creato identità false per ingannare gli sviluppatori. L’istituto invita comunque alla prudenza, perché Astra ha spesso notato di trovarsi dentro una simulazione.

Lo stesso giorno OpenAI ha rinunciato a lanciare GPT-6.1 Astra, atteso a ottobre. In una dichiarazione alla stampa, Saachi Jain, responsabile dei sistemi di sicurezza dell’azienda, ha detto che il modello non ha del tutto raggiunto il livello atteso quanto al rispetto del perimetro e delle autorizzazioni, né quanto al modo in cui riferisce all’utente il lavoro svolto. Sono proprio i due difetti che non si vorrebbe mai in un agente messo al lavoro in azienda.

Nessuna garanzia, solo test

Oggi non esiste un metodo per dimostrare che un modello è allineato. Si può solo provarlo, scenario dopo scenario. Al lancio di Astra, OpenAI ha messo in primo piano la propria valutazione, in cui il modello non usciva mai dal perimetro autorizzato. Quella dell’AISI è arrivata a un risultato molto diverso.

Per le aziende la lezione è chiara: dare agli agenti il minimo dei permessi e far approvare da una persona le azioni delicate. L’etichetta “allineato” non significa affidabile.