SEO

Crawler AI e robots.txt: quali bot bloccare e quali far entrare per restare visibili

Bloccare tutti i bot AI può sembrare una scelta prudente, ma rischia di farti sparire dalle risposte di ChatGPT, Claude o Perplexity. Ecco la differenza tra bot di addestramento e bot di ricerca, con i nomi esatti e un robots.txt di esempio.

Marco Maltraversidi Marco Maltraversi · Aggiornato il 5 novembre 2026 · 4 min di lettura
Crawler AI e robots.txt: guida ai bot
In breve
  • I bot AI hanno scopi diversi: addestramento dei modelli, indicizzazione per la ricerca e visite su richiesta dell’utente.
  • Bloccare i bot di addestramento (es. GPTBot, ClaudeBot) non toglie dalla ricerca; bloccare quelli di ricerca (es. OAI-SearchBot, Claude-SearchBot) sì.
  • Google-Extended controlla l’uso per Gemini e il grounding, ma secondo Google non influisce su inclusione e ranking nella Ricerca.
  • Prima di bloccare, decidi cosa vuoi proteggere e cosa vuoi che le AI dicano di te.

I termini tecnici

TermineCosa significa
User agentNome con cui un bot si identifica e che si usa nelle regole di robots.txt.
Bot di addestramentoRaccoglie contenuti che possono essere usati per addestrare modelli futuri.
Bot di ricercaIndicizza le pagine per mostrarle come fonti nelle risposte di ricerca AI.
Bot su richiestaVisita una pagina perché un utente lo ha chiesto in quel momento; alcune regole robots.txt possono non applicarsi.
GroundingUso di documenti recuperati al momento della domanda per costruire la risposta.
Crawl-delayDirettiva per rallentare la frequenza di scansione, supportata da alcuni bot.

I principali crawler AI

BotAziendaScopoSe lo blocchi
OAI-SearchBotOpenAIRicerca in ChatGPTNon compari nelle risposte di ricerca di ChatGPT
GPTBotOpenAIAddestramentoContenuti esclusi dal training, ricerca invariata
ChatGPT-UserOpenAIVisite su richiestaRobots.txt può non applicarsi
Claude-SearchBotAnthropicRicerca in ClaudeMeno visibilità nelle ricerche di Claude
ClaudeBotAnthropicAddestramentoContenuti futuri esclusi dal training
Claude-UserAnthropicVisite su richiestaClaude non recupera le pagine per l’utente
Google-ExtendedGoogleGemini e groundingNessun effetto sulla Ricerca Google
GooglebotGoogleRicerca, AI Overview, AI ModeSparisci da Google, AI comprese
BingbotMicrosoftBing e CopilotSparisci da Bing e Copilot
PerplexityBotPerplexityIndicizzazione per PerplexityMeno citazioni in Perplexity

Un robots.txt di esempio

Esempio per chi vuole restare visibile nelle ricerche AI ma escludere i contenuti dall’addestramento dei modelli:

# Ricerca: consentiti
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Addestramento: esclusi
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.esempio.it/sitemap_index.xml
Attenzione: bloccare Google-Extended è una scelta strategica: riguarda Gemini e il grounding in altri prodotti Google, non la Ricerca. Valutala con i tuoi obiettivi.

Come decidere

Vuoi essere citatoConsenti bot di ricerca e su richiesta, oltre a Googlebot e Bingbot.
Vuoi proteggere i contenutiValuta il blocco dei bot di addestramento, sapendo che la ricerca resta attiva.
Contenuti a pagamentoProteggi l’area riservata con login, non solo con robots.txt.
Server sotto caricoUsa crawl-delay dove supportato o limiti a livello di CDN.

Attenzione a CDN e firewall

  • Molte CDN offrono il blocco “con un clic” dei bot AI: verifica cosa include prima di attivarlo
  • Regole firewall troppo aggressive possono bloccare anche Googlebot e Bingbot
  • Controlla i log del server per vedere quali bot visitano davvero il sito
  • Verifica gli IP ufficiali pubblicati dalle aziende per riconoscere i bot falsi

Fonti

Fonti ufficiali e approfondimenti: OpenAI: panoramica dei crawler, Google: crawler comuni e Google-Extended, Anthropic: crawler e robots.txt, Search Engine Roundtable: aggiornamento crawler Anthropic (febbraio 2026). Piattaforme e documentazione cambiano spesso: verifica sempre la versione aggiornata.

Marco Maltraversi
Marco Maltraversi

Fondatore di Digital Web Marketing Agency, ingegnere informatico, autore di “SEO e SEM”, “SEO Audit avanzato” e coautore di “Generative SEO” (Edizioni LSWR). Docente di SEO e web marketing e ideatore del Marketing Business Summit.

Domande frequenti

Le domande più comuni

Hai un caso specifico? Scrivici: rispondiamo entro 48 ore.

Se blocco GPTBot sparisco da ChatGPT?

No. GPTBot riguarda l’addestramento; la presenza nei risultati di ricerca di ChatGPT dipende da OAI-SearchBot.

Bloccare Google-Extended penalizza il posizionamento su Google?

Secondo Google no: Google-Extended non influisce sull’inclusione nella Ricerca né sul ranking.

Posso bloccare le AI Overview tramite robots.txt?

Le AI Overview usano Googlebot: bloccarlo ti toglie da tutta la Ricerca. Per limitare l’uso dei testi si usano nosnippet o max-snippet.

Tutti i bot AI rispettano robots.txt?

I principali dichiarano di rispettarlo, con eccezioni per le visite richieste direttamente dagli utenti. Per contenuti riservati serve un login.

Come vedo quali bot visitano il mio sito?

Dai log del server o dagli strumenti di analisi della CDN, filtrando per user agent e verificando gli IP ufficiali.

Verifica crawler

Il tuo sito blocca per errore i bot che ti fanno comparire nelle AI?

Controlliamo robots.txt, CDN e log e ti diciamo cosa aprire e cosa proteggere.