Aller au contenu

Vérificateur d’accès des crawlers IA

Vérificateur d’accès des crawlers IA : GPTBot et les autres bots IA peuvent-ils explorer votre site ?

Saisissez un domaine et voyez, bot par bot, quels crawlers IA votre robots.txt autorise et lesquels il bloque.

10 utilisations gratuites restantes aujourd’hui

Comment ça marche

Comment fonctionne la vérification des crawlers

  1. Saisissez votre domaine

    Nous récupérons le robots.txt à la racine du domaine.

  2. Nous lisons les règles

    Pour chaque crawler IA, nous trouvons le groupe de règles qui s’applique et testons s’il peut récupérer vos pages.

  3. Voyez qui est autorisé

    Vous obtenez un score et une liste bot par bot, pour corriger un blocage ou le conserver volontairement.

Qu’est-ce que GPTBot et faut-il le bloquer ?

GPTBot est le crawler web d’OpenAI. OpenAI utilise ce qu’il collecte pour entraîner ses modèles. Le bloquer dans robots.txt arrête cette collecte, sans vous retirer des réponses en direct de ChatGPT, qui reposent sur un autre bot.

Ce bot est OAI-SearchBot, qui indexe les pages pour la recherche ChatGPT. ChatGPT-User est un troisième bot, qui récupère une page quand quelqu’un demande à ChatGPT de l’ouvrir. Si vous voulez apparaître dans les réponses de ChatGPT, autorisez OAI-SearchBot et ChatGPT-User, quelle que soit votre décision pour GPTBot.

Quels crawlers IA comptent ?

Les bots de recherche et de récupération déterminent si vous êtes cité aujourd’hui : OAI-SearchBot, ChatGPT-User, PerplexityBot et Claude-SearchBot. Les bots d’entraînement déterminent ce que savent les modèles : GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) et meta-externalagent.

Google AI Overviews et AI Mode utilisent Googlebot : bloquer Googlebot vous retire donc à la fois de la recherche Google et de ces réponses. Google-Extended est un contrôle distinct pour l’usage de votre contenu par Gemini.

Comment autoriser ou bloquer un bot IA précis ?

Ajoutez un groupe à votre robots.txt. Pour autoriser un bot, écrivez User-agent: OAI-SearchBot suivi de Allow: /. Pour en bloquer un, écrivez User-agent: GPTBot suivi de Disallow: /. Les règles d’un bot nommé l’emportent sur le groupe générique User-agent: *.

Le robots.txt est une demande, pas un verrou. Les crawlers bien élevés le respectent, d’autres non. Si vous devez bloquer un bot à coup sûr, appliquez aussi la règle sur votre pare-feu ou votre CDN.

Questions sur les crawlers IA

Comment vérifier si GPTBot peut explorer mon site ?

Saisissez votre domaine dans le vérificateur ci-dessus. Il lit votre robots.txt et indique si GPTBot, et neuf autres crawlers IA, sont autorisés ou bloqués. L’absence de robots.txt signifie que tous les bots sont autorisés.

Bloquer GPTBot empêchera-t-il ChatGPT de mentionner ma marque ?

Pas à lui seul. GPTBot collecte des données d’entraînement. Les réponses en direct de ChatGPT utilisent OAI-SearchBot et ChatGPT-User. Bloquer ces deux-là vous retire des résultats de la recherche ChatGPT, alors que bloquer uniquement GPTBot ne les affecte pas.

Le robots.txt arrête-t-il vraiment les crawlers IA ?

Il arrête ceux qui le respectent, dont les principaux d’OpenAI, Anthropic, Google, Perplexity et Apple. Il ne peut pas arrêter un crawler qui ignore les règles : un contenu sensible nécessite donc un accès protégé ou une règle de pare-feu.

Que signifie le score ?

Le score est la part des crawlers IA testés qui sont autorisés à récupérer votre page d’accueil. 80 et plus est excellent, de 50 à 79 est partiel et en dessous de 50 est limité. Un score bas n’est un problème que si vous voulez être visible dans les réponses IA.

Dois-je aussi ajouter un llms.txt ?

C’est un ajout peu coûteux. Le llms.txt est un fichier texte simple qui oriente les outils IA vers vos pages les plus utiles, et il ne remplace pas le robots.txt. Nos générateurs de llms.txt peuvent en créer un en une minute.

Devenez la marque que l’IA recommande.

Suivez ce que ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude et 11 autres moteurs IA disent de vous, avec des résultats en quelques minutes.