Vai al contenuto

Verifica accesso dei crawler AI

Verifica dei crawler AI: GPTBot e gli altri bot AI possono scansionare il tuo sito?

Inserisci un dominio e vedi, bot per bot, quali crawler AI il tuo robots.txt consente e quali blocca.

Ti restano 10 utilizzi gratuiti oggi

Come funziona

Come funziona la verifica dei crawler

  1. Inserisci il tuo dominio

    Recuperiamo il robots.txt dalla radice del dominio.

  2. Leggiamo le regole

    Per ogni crawler AI troviamo il gruppo di regole che lo riguarda e verifichiamo se può recuperare le tue pagine.

  3. Vedi chi è consentito

    Ottieni un punteggio e un elenco bot per bot, così puoi correggere un blocco o mantenerlo di proposito.

Che cos’è GPTBot e dovrei bloccarlo?

GPTBot è il crawler web di OpenAI. OpenAI usa ciò che raccoglie per addestrare i suoi modelli. Bloccarlo nel robots.txt interrompe quella raccolta, ma non ti toglie dalle risposte in tempo reale di ChatGPT, che si basano su un altro bot.

Quel bot è OAI-SearchBot, che indicizza le pagine per la ricerca di ChatGPT. ChatGPT-User è un terzo bot che recupera una pagina quando una persona chiede a ChatGPT di aprirla. Se vuoi comparire nelle risposte di ChatGPT, consenti OAI-SearchBot e ChatGPT-User, qualunque cosa decida su GPTBot.

Quali crawler AI contano?

I bot di ricerca e recupero influiscono sul fatto che oggi tu venga citato: OAI-SearchBot, ChatGPT-User, PerplexityBot e Claude-SearchBot. I bot di addestramento influiscono su ciò che i modelli sanno: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) e meta-externalagent.

AI Overview e AI Mode di Google usano Googlebot, quindi bloccare Googlebot ti toglie sia dalla ricerca Google sia da quelle risposte. Google-Extended è un controllo separato per l’uso dei tuoi contenuti da parte di Gemini.

Come consento o blocco uno specifico bot AI?

Aggiungi un gruppo al tuo robots.txt. Per consentire un bot, scrivi User-agent: OAI-SearchBot seguito da Allow: /. Per bloccarne uno, scrivi User-agent: GPTBot seguito da Disallow: /. Le regole per un bot specifico prevalgono sul gruppo generico User-agent: *.

Il robots.txt è una richiesta, non un lucchetto. I crawler corretti lo rispettano, altri no. Se devi bloccare un bot con certezza, applica il blocco anche a livello di firewall o CDN.

Domande sui crawler AI

Come verifico se GPTBot può scansionare il mio sito?

Inserisci il tuo dominio nella verifica qui sopra. Legge il tuo robots.txt e ti dice se GPTBot, e altri nove crawler AI, sono consentiti o bloccati. Un robots.txt mancante significa che tutti i bot sono consentiti.

Bloccare GPTBot impedisce a ChatGPT di citare il mio brand?

Non di per sé. GPTBot raccoglie dati di addestramento. Le risposte in tempo reale di ChatGPT usano OAI-SearchBot e ChatGPT-User. Bloccare questi due ti toglie dai risultati di ricerca di ChatGPT, mentre bloccare solo GPTBot li lascia intatti.

Il robots.txt ferma davvero i crawler AI?

Ferma i crawler che lo rispettano, tra cui i principali di OpenAI, Anthropic, Google, Perplexity e Apple. Non può fermare un crawler che ignora le regole, quindi i contenuti sensibili richiedono un login o una regola firewall.

Cosa significa il punteggio?

Il punteggio è la quota di crawler AI testati a cui è consentito recuperare la tua home page. 80 e oltre è eccellente, da 50 a 79 è parziale e sotto 50 è limitato. Un punteggio basso è un problema solo se vuoi essere visibile nelle risposte AI.

Dovrei aggiungere anche un llms.txt?

È un’aggiunta a basso costo. llms.txt è un semplice file che indirizza gli strumenti AI verso le tue pagine più utili e non sostituisce il robots.txt. I nostri generatori di llms.txt ne creano uno in un minuto.

Sii il brand che l’AI consiglia.

Scopri come ChatGPT, AI Overview di Google, Gemini, Perplexity, Claude e altri 11 motori AI parlano di te: risultati in pochi minuti.