Le traduzioni AI inondano Wikipedia di informazioni false

Un articolo di Wikipedia sulla famiglia reale francese La Bourdonnaye cita un libro e un numero di pagina specifico per descrivere le origini della famiglia. Tutto regolare, tranne che quella pagina di quel libro non parla affatto dei La Bourdonnaye. La fonte è inventata. Non da un buontempone, ma da un modello di intelligenza artificiale a cui era stato chiesto di tradurre l’articolo originale in un’altra lingua…

Le allucinazioni dell’AI contaminano Wikipedia, ma cosa sta succedendo?

Al centro della vicenda c’è la Open Knowledge Association (OKA), un’organizzazione no-profit dedicata al miglioramento di Wikipedia e di altre piattaforme aperte. Il metodo di lavoro di OKA è semplice: recluta traduttori, principalmente contractor dal Sud del mondo, e li paga per tradurre articoli di Wikipedia in altre lingue. Come? Con ChatGPT, Gemini o Grok, e pubblicare la traduzione dopo una revisione.

Un foglio di calcolo pubblico usato dai traduttori OKA descrive il processo: Scegli un articolo, copia la sezione iniziale in Gemini o ChatGPT, poi verifica se alcuni suggerimenti migliorano la leggibilità. Modifica l’articolo su Wikipedia solo se i suggerimenti sono un miglioramento e non cambiano il significato. Le istruzioni precedenti raccomandavano Grok, il modello AI di Elon Musk, per lo stesso scopo, prima che un test interno mostrasse che ChatGPT e Claude erano più accurati.

Un annuncio di lavoro di OKA per un “Traduttore Wikipedia” offre 397 dollari al mese per un massimo di 40 ore settimanali, con l’aspettativa di pubblicare 5-20 articoli a settimana.

Le allucinazioni: fonti inventate, paragrafi scollegati, errori a catena

Quando gli editor di Wikipedia hanno iniziato a controllare le traduzioni di OKA, i problemi sono emersi a cascata. Fonti inesistenti. Frasi aggiunte senza alcun riferimento. Paragrafi interi attribuiti a materiale che non aveva nulla a che fare con l’argomento dell’articolo. L’articolo sulle elezioni del Senato francese del 1879, per esempio, conteneva paragrafi la cui fonte riguardava un argomento completamente diverso.

Per misurare il tasso di errore, ho deciso di controllare a campione le prime traduzioni elencate, e ho già trovato diversi errori. ha spiegato Ilyas Lebleu, editor di Wikipedia che ha portato alla luce il problema. Non si tratta di casi selezionati ad arte.

La pagina di discussione di Wikipedia sulla questione è stata ancora più diretta: Molti risultati presentano criticità, numerosi editor dimostrano una conoscenza dell’inglese limitata, non revisionano il proprio lavoro e non inseriscono link di riferimento.

La soluzione di OKA: usare l’AI per controllare l’AI

Jonathan Zimmermann, fondatore di OKA, ha riconosciuto che gli errori ci sono, ma ha difeso il processo dell’organizzazione, che include la revisione umana e il controllo delle fonti. Dopo la discussione con gli editor, OKA ha introdotto un nuovo passaggio: un secondo modello AI che controlla la traduzione del primo alla ricerca di discrepanze, omissioni o imprecisioni.

Usare l’AI per verificare i risultati dell’AI è un metodo che ha precedenti poco incoraggianti, ma Zimmermann ha assicurato che il secondo modello non sostituisce la verifica umana, semplicemente la integra.

Le nuove regole di Wikipedia

Gli editor di Wikipedia hanno deciso di non bloccare le traduzioni OKA in toto, ma di imporre restrizioni individuali, i traduttori che ricevono quattro avvertimenti per contenuti non verificabili in sei mesi verranno bannati senza ulteriori preavvisi. I contenuti aggiunti da un traduttore bloccato potranno essere cancellati preventivamente, a meno che un editor in regola non se ne assuma la responsabilità.

Il fatto che un’organizzazione paghi lavoratori del Sud del mondo meno di 400 dollari al mese per incollare articoli nei chatbot AI e pubblicare il risultato sull’enciclopedia più consultata del pianeta, dice molto su come l’AI stia erodendo la qualità dell’informazione, anche quando le intenzioni sono buone.