Proposto un nuovo standard per bloccare tutti i crawler AI

Kevin Kelley, responsabile tecnico per gli standard di Anthropic, ha proposto un nuovo standard alla IETF (Internet Engineering Task Force) che permette agli editori di bloccare tutti i crawler AI. Non sarà quindi più necessario inserire istruzioni separate per ogni provider. La proposta viene supportata anche da OpenAI, Google, Microsoft e Meta.

Standard per impedire l’uso dei contenuti

Per impedire ai crawler AI di accedere ai contenuti del sito è necessario inserire righe per ogni provider nel file robots.txt (standard Robots Exclusion Protocol). I gestori dei siti devono quindi cercare i nomi dei crawler, verificare se il provider cambia il nome ed eventualmente aggiornare il file di testo. Nel caso di Google Search e Bing esistono crawler distinti per l’indicizzazione e l’addestramento dei modelli AI.

Kevin Kelley ha proposto una soluzione “unificata” che consente di bloccare lo scraping non autorizzato da parte di tutti i crawler. Gli editori devono inserire queste righe nel file robots.txt, se vogliono impedire l’uso dei contenuti per l’addestramento dei modelli:

User-Agent: __usage_ai-training
Disallow: /

Sarà ancora possibile utilizzare le istruzioni precedenti. Un editore potrebbe ad esempio bloccare tutti i crawler tranne quello di Google (Google-Extended) o di OpenAI (GPTBot). L’azienda di Mountain View sottolinea che lo standard rispetta il codice di condotta per i modelli general purpose dell’AI Act in Europa. Ovviamente, il rispetto non è obbligatorio (alcuni provider accedono ugualmente ai contenuti).

Anthropic ha già adottato la nuova istruzione. Il supporto da parte di Google e Microsoft è previsto all’inizio del 2027. OpenAI ha comunicato che l’implementerà lo standard nei prossimi mesi. Nessuna scadenza è stata invece stabilita da Meta. Microsoft ha annunciato controlli più granulari. Dal 1 marzo 2027 si potranno specificare preferenze distinte per addestramento e grounding (la capacità del modello AI di puntare ad una fonte di informazione affidabile per ridurre le allucinazioni).