Bloccare tutti i bot AI può sembrare una scelta prudente, ma rischia di farti sparire dalle risposte di ChatGPT, Claude o Perplexity. Ecco la differenza tra bot di addestramento e bot di ricerca, con i nomi esatti e un robots.txt di esempio.

| Termine | Cosa significa |
|---|---|
| User agent | Nome con cui un bot si identifica e che si usa nelle regole di robots.txt. |
| Bot di addestramento | Raccoglie contenuti che possono essere usati per addestrare modelli futuri. |
| Bot di ricerca | Indicizza le pagine per mostrarle come fonti nelle risposte di ricerca AI. |
| Bot su richiesta | Visita una pagina perché un utente lo ha chiesto in quel momento; alcune regole robots.txt possono non applicarsi. |
| Grounding | Uso di documenti recuperati al momento della domanda per costruire la risposta. |
| Crawl-delay | Direttiva per rallentare la frequenza di scansione, supportata da alcuni bot. |
| Bot | Azienda | Scopo | Se lo blocchi |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Ricerca in ChatGPT | Non compari nelle risposte di ricerca di ChatGPT |
| GPTBot | OpenAI | Addestramento | Contenuti esclusi dal training, ricerca invariata |
| ChatGPT-User | OpenAI | Visite su richiesta | Robots.txt può non applicarsi |
| Claude-SearchBot | Anthropic | Ricerca in Claude | Meno visibilità nelle ricerche di Claude |
| ClaudeBot | Anthropic | Addestramento | Contenuti futuri esclusi dal training |
| Claude-User | Anthropic | Visite su richiesta | Claude non recupera le pagine per l’utente |
| Google-Extended | Gemini e grounding | Nessun effetto sulla Ricerca Google | |
| Googlebot | Ricerca, AI Overview, AI Mode | Sparisci da Google, AI comprese | |
| Bingbot | Microsoft | Bing e Copilot | Sparisci da Bing e Copilot |
| PerplexityBot | Perplexity | Indicizzazione per Perplexity | Meno citazioni in Perplexity |
Esempio per chi vuole restare visibile nelle ricerche AI ma escludere i contenuti dall’addestramento dei modelli:
# Ricerca: consentiti
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Addestramento: esclusi
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.esempio.it/sitemap_index.xmlFonti ufficiali e approfondimenti: OpenAI: panoramica dei crawler, Google: crawler comuni e Google-Extended, Anthropic: crawler e robots.txt, Search Engine Roundtable: aggiornamento crawler Anthropic (febbraio 2026). Piattaforme e documentazione cambiano spesso: verifica sempre la versione aggiornata.

Fondatore di Digital Web Marketing Agency, ingegnere informatico, autore di “SEO e SEM”, “SEO Audit avanzato” e coautore di “Generative SEO” (Edizioni LSWR). Docente di SEO e web marketing e ideatore del Marketing Business Summit.
Hai un caso specifico? Scrivici: rispondiamo entro 48 ore.
No. GPTBot riguarda l’addestramento; la presenza nei risultati di ricerca di ChatGPT dipende da OAI-SearchBot.
Secondo Google no: Google-Extended non influisce sull’inclusione nella Ricerca né sul ranking.
Le AI Overview usano Googlebot: bloccarlo ti toglie da tutta la Ricerca. Per limitare l’uso dei testi si usano nosnippet o max-snippet.
I principali dichiarano di rispettarlo, con eccezioni per le visite richieste direttamente dagli utenti. Per contenuti riservati serve un login.
Dai log del server o dagli strumenti di analisi della CDN, filtrando per user agent e verificando gli IP ufficiali.
Controlliamo robots.txt, CDN e log e ti diciamo cosa aprire e cosa proteggere.