Ga naar de inhoud

Check van AI-crawlertoegang

Check van AI-crawlertoegang: kunnen GPTBot en andere AI-bots je site crawlen?

Voer een domein in en zie, bot voor bot, welke AI-crawlers je robots.txt toelaat en welke hij blokkeert.

Nog 10 gratis runs vandaag

Zo werkt het

Hoe de crawlcheck werkt

  1. Voer je domein in

    We halen de robots.txt op in de root van het domein.

  2. We lezen de regels

    Voor elke AI-crawler zoeken we de groep regels die voor hem geldt en testen we of hij je pagina’s kan ophalen.

  3. Zie wie is toegelaten

    Je krijgt een score en een lijst per bot, zodat je een blokkade kunt oplossen of bewust laten staan.

Wat is GPTBot en moet ik hem blokkeren?

GPTBot is de webcrawler van OpenAI. OpenAI gebruikt wat hij verzamelt om zijn modellen te trainen. Hem blokkeren in robots.txt stopt die verzameling en haalt je niet uit de live antwoorden van ChatGPT, die op een andere bot leunen.

Die bot is OAI-SearchBot, die pagina’s indexeert voor ChatGPT-zoeken. ChatGPT-User is een derde, die een pagina ophaalt wanneer iemand ChatGPT vraagt hem te openen. Wil je in antwoorden van ChatGPT voorkomen, laat dan OAI-SearchBot en ChatGPT-User toe, wat je ook over GPTBot beslist.

Welke AI-crawlers zijn belangrijk?

Zoek- en retrieval-bots bepalen of je nu geciteerd wordt: OAI-SearchBot, ChatGPT-User, PerplexityBot en Claude-SearchBot. Trainingsbots bepalen wat modellen weten: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) en meta-externalagent.

Google AI-overzicht en AI Mode gebruiken Googlebot, dus Googlebot blokkeren haalt je uit zowel Google-zoeken als die antwoorden. Google-Extended is een aparte instelling voor het gebruik van je content door Gemini.

Hoe sta ik een specifieke AI-bot toe of blokkeer ik hem?

Voeg een groep toe aan je robots.txt. Om een bot toe te staan schrijf je User-agent: OAI-SearchBot gevolgd door Allow: /. Om er een te blokkeren schrijf je User-agent: GPTBot gevolgd door Disallow: /. Regels voor een bij naam genoemde bot gaan voor op de algemene groep User-agent: *.

Robots.txt is een verzoek, geen slot. Nette crawlers respecteren het en sommige niet. Moet een bot zeker geblokkeerd zijn, dwing dat dan ook af in je firewall of cdn.

Vragen over AI-crawlers

Hoe check ik of GPTBot mijn site kan crawlen?

Voer je domein in de checker hierboven in. Hij leest je robots.txt en vertelt of GPTBot, en negen andere AI-crawlers, zijn toegelaten of geblokkeerd. Een ontbrekende robots.txt betekent dat elke bot is toegelaten.

Voorkomt het blokkeren van GPTBot dat ChatGPT mijn merk noemt?

Niet op zichzelf. GPTBot verzamelt trainingsdata. De live antwoorden van ChatGPT gebruiken OAI-SearchBot en ChatGPT-User. Blokkeer je die twee, dan val je weg uit de zoekresultaten van ChatGPT; blokkeer je alleen GPTBot, dan blijven ze intact.

Stopt robots.txt AI-crawlers echt?

Het stopt crawlers die het respecteren, waaronder de grote van OpenAI, Anthropic, Google, Perplexity en Apple. Het kan een crawler die de regels negeert niet stoppen, dus gevoelige content heeft een login of firewallregel nodig.

Wat betekent de score?

De score is het aandeel van de geteste AI-crawlers dat je homepage mag ophalen. 80 en hoger is uitstekend, 50 tot 79 gedeeltelijk en onder 50 beperkt. Een lage score is alleen een probleem als je zichtbaar wilt zijn in AI-antwoorden.

Moet ik ook een llms.txt toevoegen?

Het is een goedkope toevoeging. llms.txt is een gewoon bestand dat AI-tools naar je nuttigste pagina’s wijst en het vervangt robots.txt niet. Onze llms.txt-generators maken er in een minuut een.

Wees het merk dat AI aanbeveelt.

Zie hoe ChatGPT, Google AI-overzicht, Gemini, Perplexity, Claude en 11 andere AI-engines over jou praten. Binnen enkele minuten heb je resultaat.