Hoppa till innehållet

Kontroll av AI-crawlers

Kontroll av AI-crawlers: kan GPTBot och andra AI-bottar crawla din webbplats?

Ange en domän och se, bot för bot, vilka AI-crawlers din robots.txt tillåter och vilka den blockerar.

10 gratiskörningar kvar i dag

Så fungerar det

Så fungerar kontrollen av crawlers

  1. Ange din domän

    Vi hämtar robots.txt i domänens rot.

  2. Vi läser reglerna

    För varje AI-crawler hittar vi den regelgrupp som gäller för den och testar om den kan hämta dina sidor.

  3. Se vilka som är tillåtna

    Du får ett betyg och en lista bot för bot, så att du kan åtgärda en blockering eller behålla den med avsikt.

Vad är GPTBot och bör jag blockera den?

GPTBot är OpenAIs webbcrawler. OpenAI använder det den samlar in för att träna sina modeller. Att blockera den i robots.txt stoppar den insamlingen, men tar inte bort dig från ChatGPT:s livesvar, som förlitar sig på en annan bot.

Den boten är OAI-SearchBot, som indexerar sidor för ChatGPT-sök. ChatGPT-User är en tredje som hämtar en sida när en person ber ChatGPT öppna den. Vill du synas i ChatGPT-svar ska du tillåta OAI-SearchBot och ChatGPT-User, oavsett vad du bestämmer om GPTBot.

Vilka AI-crawlers är viktiga?

Sök- och hämtningsbottar avgör om du citeras i dag: OAI-SearchBot, ChatGPT-User, PerplexityBot och Claude-SearchBot. Träningsbottar påverkar vad modellerna kan: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) och meta-externalagent.

Google AI Overviews och AI Mode använder Googlebot, så att blockera Googlebot tar bort dig från både Googles sök och de svaren. Google-Extended är en separat kontroll för Geminis användning av ditt innehåll.

Hur tillåter eller blockerar jag en specifik AI-bot?

Lägg till en grupp i din robots.txt. För att tillåta en bot skriver du User-agent: OAI-SearchBot följt av Allow: /. För att blockera en skriver du User-agent: GPTBot följt av Disallow: /. Regler för en namngiven bot går före den generiska gruppen User-agent: *.

Robots.txt är en begäran, inte ett lås. Väluppfostrade crawlers respekterar den, andra gör det inte. Behöver du blockera en bot med säkerhet ska du dessutom upprätthålla det i din brandvägg eller CDN.

Frågor om AI-crawlers

Hur kontrollerar jag om GPTBot kan crawla min webbplats?

Ange din domän i kontrollen ovan. Den läser din robots.txt och berättar om GPTBot, och nio andra AI-crawlers, är tillåtna eller blockerade. En saknad robots.txt betyder att alla bottar är tillåtna.

Stoppar en blockering av GPTBot ChatGPT från att nämna mitt varumärke?

Inte i sig. GPTBot samlar in träningsdata. ChatGPT:s livesvar använder OAI-SearchBot och ChatGPT-User. Blockerar du de två tas du bort från ChatGPT:s sökresultat, medan en blockering av enbart GPTBot lämnar dem orörda.

Stoppar robots.txt verkligen AI-crawlers?

Den stoppar crawlers som följer den, vilket inkluderar de stora från OpenAI, Anthropic, Google, Perplexity och Apple. Den kan inte stoppa en crawler som ignorerar reglerna, så känsligt innehåll behöver i stället inloggning eller en brandväggsregel.

Vad betyder betyget?

Betyget är andelen av de AI-crawlers vi testar som får hämta din startsida. 80 och uppåt är utmärkt, 50 till 79 är delvis och under 50 är begränsat. Ett lågt betyg är bara ett problem om du vill synas i AI-svar.

Ska jag lägga till en llms.txt också?

Det är ett billigt tillägg. llms.txt är en vanlig fil som pekar AI-verktyg till dina mest användbara sidor, och den ersätter inte robots.txt. Våra llms.txt-generatorer bygger en på en minut.

Bli varumärket som AI rekommenderar.

Börja följa hur ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude och 11 AI-motorer till beskriver dig. Resultat på några minuter.