Saltar para o conteúdo

Verificador de acesso de rastreadores de IA

Verificador de acesso de rastreadores de IA: o GPTBot e outros bots de IA conseguem rastrear o seu site?

Introduza um domínio e veja, bot a bot, que rastreadores de IA o seu robots.txt permite e quais bloqueia.

Restam 10 utilizações gratuitas hoje

Como funciona

Como funciona a verificação de acesso dos rastreadores

  1. Introduza o seu domínio

    Obtemos o robots.txt na raiz do domínio.

  2. Lemos as regras

    Para cada rastreador de IA encontramos o grupo de regras que se lhe aplica e testamos se consegue obter as suas páginas.

  3. Veja quem é permitido

    Recebe uma pontuação e uma lista bot a bot, para poder corrigir um bloqueio ou mantê-lo de propósito.

O que é o GPTBot e devo bloqueá-lo?

O GPTBot é o rastreador web da OpenAI. A OpenAI usa o que recolhe para treinar os seus modelos. Bloqueá-lo no robots.txt impede essa recolha, mas não o retira das respostas em direto do ChatGPT, que dependem de outro bot.

Esse bot é o OAI-SearchBot, que indexa páginas para a pesquisa do ChatGPT. O ChatGPT-User é um terceiro, que obtém uma página quando uma pessoa pede ao ChatGPT que a abra. Se quer aparecer nas respostas do ChatGPT, permita o OAI-SearchBot e o ChatGPT-User, independentemente do que decidir sobre o GPTBot.

Que rastreadores de IA importam?

Os bots de pesquisa e obtenção afetam se é citado hoje: OAI-SearchBot, ChatGPT-User, PerplexityBot e Claude-SearchBot. Os bots de treino afetam o que os modelos sabem: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) e meta-externalagent.

O Google AI Overviews e o AI Mode usam o Googlebot, pelo que bloquear o Googlebot o retira da pesquisa Google e dessas respostas. O Google-Extended é um controlo separado para a utilização do seu conteúdo pelo Gemini.

Como permito ou bloqueio um bot de IA específico?

Acrescente um grupo ao seu robots.txt. Para permitir um bot, escreva User-agent: OAI-SearchBot seguido de Allow: /. Para bloquear um, escreva User-agent: GPTBot seguido de Disallow: /. As regras de um bot nomeado sobrepõem-se ao grupo genérico User-agent: *.

O robots.txt é um pedido, não um cadeado. Os rastreadores bem comportados respeitam-no e alguns não. Se precisa de bloquear um bot com certeza, aplique também o bloqueio na sua firewall ou CDN.

Perguntas sobre rastreadores de IA

Como verifico se o GPTBot consegue rastrear o meu site?

Introduza o seu domínio no verificador acima. Ele lê o seu robots.txt e diz-lhe se o GPTBot, e outros nove rastreadores de IA, são permitidos ou bloqueados. A ausência de robots.txt significa que todos os bots são permitidos.

Bloquear o GPTBot impede o ChatGPT de mencionar a minha marca?

Não por si só. O GPTBot recolhe dados de treino. As respostas em direto do ChatGPT usam o OAI-SearchBot e o ChatGPT-User. Bloquear esses dois retira-o dos resultados de pesquisa do ChatGPT, enquanto bloquear apenas o GPTBot os deixa intactos.

O robots.txt trava mesmo os rastreadores de IA?

Trava os rastreadores que o respeitam, o que inclui os principais da OpenAI, Anthropic, Google, Perplexity e Apple. Não consegue travar um rastreador que ignore as regras, pelo que o conteúdo sensível precisa de login ou de uma regra de firewall.

O que significa a pontuação?

A pontuação é a quota dos rastreadores de IA que testamos que têm permissão para obter a sua página inicial. 80 ou mais é excelente, 50 a 79 é parcial e abaixo de 50 é limitado. Uma pontuação baixa só é um problema se quiser ser visível nas respostas de IA.

Devo acrescentar também um llms.txt?

É um acrescento de baixo custo. O llms.txt é um ficheiro simples que encaminha as ferramentas de IA para as suas páginas mais úteis e não substitui o robots.txt. Os nossos geradores de llms.txt criam um em um minuto.

Seja a marca que a IA recomenda.

Comece a monitorizar o que o ChatGPT, o Google AI Overviews, o Gemini, o Perplexity, o Claude e mais 11 motores de IA dizem sobre si. Resultados em minutos.