Saltar al contenido

Verificador de rastreo para IA

Verificador de rastreo para IA: ¿pueden GPTBot y otros bots de IA rastrear tu web?

Introduce un dominio y comprueba, bot por bot, qué rastreadores de IA permite tu robots.txt y cuáles bloquea.

Te quedan 10 usos gratuitos hoy

Cómo funciona

Cómo funciona la comprobación de rastreo

  1. Introduce tu dominio

    Obtenemos el robots.txt de la raíz del dominio.

  2. Leemos las reglas

    Para cada rastreador de IA buscamos el grupo de reglas que le corresponde y comprobamos si puede acceder a tus páginas.

  3. Mira quién está permitido

    Obtienes una puntuación y una lista bot por bot, para que puedas corregir un bloqueo o mantenerlo a propósito.

¿Qué es GPTBot y debería bloquearlo?

GPTBot es el rastreador web de OpenAI. OpenAI usa lo que recopila para entrenar sus modelos. Bloquearlo en robots.txt detiene esa recopilación, pero no te saca de las respuestas en vivo de ChatGPT, que dependen de otro bot.

Ese bot es OAI-SearchBot, que indexa páginas para la búsqueda de ChatGPT. ChatGPT-User es un tercero que accede a una página cuando una persona pide a ChatGPT que la abra. Si quieres aparecer en las respuestas de ChatGPT, permite OAI-SearchBot y ChatGPT-User, decidas lo que decidas sobre GPTBot.

¿Qué rastreadores de IA importan?

Los bots de búsqueda y recuperación influyen en si te citan hoy: OAI-SearchBot, ChatGPT-User, PerplexityBot y Claude-SearchBot. Los bots de entrenamiento influyen en lo que saben los modelos: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) y meta-externalagent.

Google AI Overviews y AI Mode usan Googlebot, así que bloquear Googlebot te saca tanto de la búsqueda de Google como de esas respuestas. Google-Extended es un control aparte para el uso que hace Gemini de tu contenido.

¿Cómo permito o bloqueo un bot de IA concreto?

Añade un grupo a tu robots.txt. Para permitir un bot, escribe User-agent: OAI-SearchBot seguido de Allow: /. Para bloquear uno, escribe User-agent: GPTBot seguido de Disallow: /. Las reglas de un bot con nombre tienen prioridad sobre el grupo genérico User-agent: *.

Robots.txt es una petición, no una cerradura. Los rastreadores bien comportados lo respetan y algunos no. Si necesitas bloquear un bot con seguridad, aplícalo también en tu cortafuegos o CDN.

Preguntas sobre rastreadores de IA

¿Cómo compruebo si GPTBot puede rastrear mi web?

Introduce tu dominio en el verificador de arriba. Lee tu robots.txt y te dice si GPTBot, y otros nueve rastreadores de IA, están permitidos o bloqueados. Si no existe robots.txt, todos los bots están permitidos.

¿Bloquear GPTBot evitará que ChatGPT mencione mi marca?

No por sí solo. GPTBot recopila datos de entrenamiento. Las respuestas en vivo de ChatGPT usan OAI-SearchBot y ChatGPT-User. Bloquear esos dos te saca de los resultados de búsqueda de ChatGPT, mientras que bloquear solo GPTBot los deja intactos.

¿Detiene robots.txt a los rastreadores de IA?

Detiene a los rastreadores que lo respetan, entre ellos los principales de OpenAI, Anthropic, Google, Perplexity y Apple. No puede detener a un rastreador que ignora las reglas, así que el contenido sensible necesita un inicio de sesión o una regla de cortafuegos.

¿Qué significa la puntuación?

La puntuación es el porcentaje de los rastreadores de IA que probamos que pueden acceder a tu página de inicio. De 80 en adelante es excelente, de 50 a 79 es parcial y por debajo de 50 es limitada. Una puntuación baja solo es un problema si quieres ser visible en las respuestas de la IA.

¿Debería añadir también un llms.txt?

Es un añadido de bajo coste. llms.txt es un archivo de texto plano que dirige a las herramientas de IA hacia tus páginas más útiles y no sustituye a robots.txt. Nuestros generadores de llms.txt pueden crear uno en un minuto.

Sé la marca que recomienda la IA.

Empieza a medir lo que dicen de ti ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude y otros 11 motores de IA. Resultados en minutos.