Ir para o conteúdo

Verificador de crawlers de IA

Verificador de crawlers de IA: o GPTBot e outros bots de IA conseguem rastrear o seu site?

Informe um domínio e veja, bot por bot, quais crawlers de IA o seu robots.txt libera e quais bloqueia.

10 execuções gratuitas restantes hoje

Como funciona

Como funciona a verificação de rastreamento

  1. Informe seu domínio

    Buscamos o robots.txt na raiz do domínio.

  2. Lemos as regras

    Para cada crawler de IA, encontramos o grupo de regras que se aplica a ele e testamos se ele consegue acessar suas páginas.

  3. Veja quem está liberado

    Você recebe uma nota e uma lista bot por bot, para corrigir um bloqueio ou mantê-lo de propósito.

O que é o GPTBot e devo bloqueá-lo?

O GPTBot é o crawler da OpenAI. A OpenAI usa o que ele coleta para treinar seus modelos. Bloqueá-lo no robots.txt interrompe essa coleta e não tira você das respostas ao vivo do ChatGPT, que dependem de outro bot.

Esse bot é o OAI-SearchBot, que indexa páginas para a busca do ChatGPT. O ChatGPT-User é um terceiro, que acessa uma página quando uma pessoa pede ao ChatGPT para abri-la. Se você quer aparecer nas respostas do ChatGPT, libere o OAI-SearchBot e o ChatGPT-User, seja qual for a sua decisão sobre o GPTBot.

Quais crawlers de IA importam?

Os bots de busca e recuperação afetam se você é citado hoje: OAI-SearchBot, ChatGPT-User, PerplexityBot e Claude-SearchBot. Os bots de treinamento afetam o que os modelos sabem: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) e meta-externalagent.

O Google AI Overviews e o AI Mode usam o Googlebot, então bloquear o Googlebot tira você tanto da busca do Google quanto dessas respostas. O Google-Extended é um controle separado para o uso do seu conteúdo pelo Gemini.

Como libero ou bloqueio um bot de IA específico?

Adicione um grupo ao seu robots.txt. Para liberar um bot, escreva User-agent: OAI-SearchBot seguido de Allow: /. Para bloquear um, escreva User-agent: GPTBot seguido de Disallow: /. As regras de um bot nomeado prevalecem sobre o grupo genérico User-agent: *.

O robots.txt é um pedido, não um cadeado. Os crawlers bem-comportados o respeitam, e alguns não. Se você precisa bloquear um bot com certeza, reforce também no firewall ou na CDN.

Dúvidas sobre crawlers de IA

Como verifico se o GPTBot pode rastrear o meu site?

Informe seu domínio no verificador acima. Ele lê o seu robots.txt e diz se o GPTBot, e outros nove crawlers de IA, estão liberados ou bloqueados. A ausência de robots.txt significa que todos os bots estão liberados.

Bloquear o GPTBot impede o ChatGPT de citar a minha marca?

Não por si só. O GPTBot coleta dados de treinamento. As respostas ao vivo do ChatGPT usam o OAI-SearchBot e o ChatGPT-User. Bloquear esses dois tira você dos resultados de busca do ChatGPT, enquanto bloquear só o GPTBot não afeta isso.

O robots.txt realmente impede os crawlers de IA?

Ele impede os crawlers que o respeitam, o que inclui os principais da OpenAI, Anthropic, Google, Perplexity e Apple. Não impede um crawler que ignora as regras, então conteúdo sensível precisa de login ou de uma regra de firewall.

O que significa a nota?

A nota é a fatia dos crawlers de IA testados que podem acessar a sua página inicial. De 80 para cima é excelente, de 50 a 79 é parcial e abaixo de 50 é limitado. Uma nota baixa só é problema se você quer ser visível nas respostas de IA.

Devo adicionar também um llms.txt?

É um complemento de baixo custo. O llms.txt é um arquivo simples que aponta as ferramentas de IA para as suas páginas mais úteis e não substitui o robots.txt. Nossos geradores de llms.txt criam um em um minuto.

Seja a marca que a IA recomenda.

Comece a monitorar o que ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude e mais 11 motores de IA dizem sobre você. Resultados em minutos.