Come riconoscere un testo scritto dall'AI, lo studio di Graphite

Claude Opus 5.5 ha preso la brutta abitudine di ripetere un po’ troppo spesso l’intercalare Questo conta (“this matters”). Per l’esattezza, lo dice 116 volte più spesso di un essere umano. Per una macchina programmata per sembrare naturale, non è un bel risultato.

Per un po’ il colpevole perfetto è stato il trattino lungo. Poi i laboratori si sono accorti che la gente li annusava e hanno rimediato. Il problema è che i vizi non spariscono, cambiano solo abito. Lo dice un nuovo studio di Graphite, società di marketing che si è messa a frugare nelle abitudini di scrittura dei modelli più avanzati. Il bottino è sorprendente: 13.000 espressioni almeno due volte più frequenti nei testi delle macchine che in quelli scritti da persone. Tredicimila piccoli tic, e ognuno è una porticina da cui l’AI si fa riconoscere.

Graphite è partita da 10.000 articoli pubblicati prima dell’arrivo di ChatGPT, quindi scritti da esseri umani in un’epoca ancora innocente. Poi ha dato ai modelli solo i riassunti e ha chiesto di riscrivere gli articoli da capo, per evitare che si limitassero a scopiazzare il testo originale. A quel punto bastava mettere le due pile una accanto all’altra e contare quante volte ogni parola o costruzione saltava fuori.

Claude Opus e la sindrome del questo conta

Il tic più vistoso di Opus 5.5 è la parola “dependable”, “affidabile”, che compare 23 volte più spesso che nei testi umani. Il vero campione però è la frase “this matters”, che il modello usa 116 volte più di noi. “Why X matters”, cioè “perché X è importante”, arriva a quota 92.

Il vecchio “non è X, è Y” è stato messo al bando, e Opus ha trovato subito la scappatoia: “è più di una X, è una Y”. La struttura è praticamente la stessa.

Astra, il campione dei forse

Astra di OpenAI ha un repertorio diverso e un carattere più prudente. Adora scoprire un’altra dimensione di qualunque argomento, anche di una ricetta per i pancake. Ogni volta che deve promettere qualcosa si nasconde dietro un può offrire o un potrebbe fornire, così non si assume mai la responsabilità di niente.

La sua specialità è correggere un errore che nessuno aveva fatto. Un argomento non è semplicemente X, oppure si suggerisce di fare una cosa invece di affidarsi a X. Costruzioni di questo tipo compaiono oltre 100 volte più spesso che nella prosa umana.

Il trattino lungo ha davvero perso

Su questo fronte i laboratori hanno vinto, e con un certo accanimento. Opus 5.5 usa il trattino lungo il 99% in meno rispetto a Opus 5. Astra lo usa l’88% in meno rispetto ai campioni umani, quindi scrive con più pudore di noi. Gemini 3.1 Pro l’ha quasi cancellato dal vocabolario.

Non c’è però da festeggiare troppo. Greg Druck, chief AI officer di Graphite, spiega a TechCrunch che il totale dei tic resta più o meno uguale. Riescono a togliere quelli più sfacciati, ma ne spuntano altri. E ogni versione ha i suoi.

Claude si avvicina a noi, GPT si allontana

Secondo Druck, Claude e GPT stanno prendendo due strade diverse. I modelli Claude, infatti, stanno diventando progressivamente più simili agli esseri umani nella scelta e nella frequenza delle parole. Per i GPT, invece, la tendenza è opposta: i loro testi si stanno allontanando sempre di più dalla distribuzione linguistica tipica degli esseri umani.

Le promesse e la realtà dei fatti

Le promesse non mancano. Secondo Anthropic, Opus 5.5 comunica in modo più naturale dei precedenti. OpenAI non è stata da meno con le versioni GPT-6 di Sol e Luna, promettendo più chiarezza, meno gergo e meno giri di parole strani.

Druck è scettico. Pensa che i laboratori controllino queste cose molto meno di quanto si creda. Parliamo di modelli giganteschi, con miliardi di parametri. Possono fare solo un numero finito di test, e qualcosa scappa sempre.