Gå til indhold

Tjek af AI-crawlere

Tjek af AI-crawlere: Kan GPTBot og andre AI-bots crawle dit site?

Indtast et domæne, og se bot for bot, hvilke AI-crawlere din robots.txt tillader, og hvilke den blokerer.

10 gratis kørsler tilbage i dag

Sådan virker det

Sådan virker crawler-tjekket

  1. Indtast dit domæne

    Vi henter robots.txt i domænets rod.

  2. Vi læser reglerne

    For hver AI-crawler finder vi den regelgruppe, der gælder for den, og tester, om den kan hente dine sider.

  3. Se, hvem der er tilladt

    Du får en score og en liste bot for bot, så du kan rette en blokering eller beholde den med vilje.

Hvad er GPTBot, og skal jeg blokere den?

GPTBot er OpenAIs webcrawler. OpenAI bruger det, den indsamler, til at træne sine modeller. At blokere den i robots.txt stopper den indsamling, men fjerner dig ikke fra ChatGPTs live svar, som bygger på en anden bot.

Den bot er OAI-SearchBot, som indekserer sider til ChatGPT-søgning. ChatGPT-User er en tredje, der henter en side, når en person beder ChatGPT åbne den. Hvis du vil optræde i ChatGPT-svar, så tillad OAI-SearchBot og ChatGPT-User, uanset hvad du beslutter om GPTBot.

Hvilke AI-crawlere har betydning?

Søge- og hentebots afgør, om du bliver citeret i dag: OAI-SearchBot, ChatGPT-User, PerplexityBot og Claude-SearchBot. Træningsbots påvirker, hvad modellerne ved: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) og meta-externalagent.

Google AI-oversigter og AI Mode bruger Googlebot, så at blokere Googlebot fjerner dig fra både Google-søgning og de svar. Google-Extended er en separat kontrol af Geminis brug af dit indhold.

Hvordan tillader eller blokerer jeg en bestemt AI-bot?

Tilføj en gruppe til din robots.txt. For at tillade en bot skriver du User-agent: OAI-SearchBot efterfulgt af Allow: /. For at blokere en skriver du User-agent: GPTBot efterfulgt af Disallow: /. Regler for en navngiven bot går forud for den generelle gruppe User-agent: *.

Robots.txt er en anmodning, ikke en lås. Velopdragne crawlere respekterer den, og nogle gør ikke. Hvis du skal være sikker på at blokere en bot, så håndhæv det også i din firewall eller CDN.

Spørgsmål om AI-crawlere

Hvordan tjekker jeg, om GPTBot kan crawle mit site?

Indtast dit domæne i tjekket ovenfor. Det læser din robots.txt og fortæller dig, om GPTBot og ni andre AI-crawlere er tilladt eller blokeret. Mangler robots.txt, er alle bots tilladt.

Stopper det ChatGPT i at nævne mit brand, hvis jeg blokerer GPTBot?

Ikke i sig selv. GPTBot indsamler træningsdata. ChatGPTs live svar bruger OAI-SearchBot og ChatGPT-User. Blokerer du de to, forsvinder du fra ChatGPTs søgeresultater, mens det kun at blokere GPTBot lader dem være urørt.

Stopper robots.txt faktisk AI-crawlere?

Den stopper crawlere, der respekterer den, herunder de store fra OpenAI, Anthropic, Google, Perplexity og Apple. Den kan ikke stoppe en crawler, der ignorerer reglerne, så følsomt indhold kræver et login eller en firewallregel i stedet.

Hvad betyder scoren?

Scoren er andelen af de AI-crawlere, vi tester, som må hente din forside. 80 og derover er fremragende, 50 til 79 er delvist, og under 50 er begrænset. En lav score er kun et problem, hvis du vil være synlig i AI-svar.

Skal jeg også tilføje en llms.txt?

Det er et billigt tillæg. llms.txt er en almindelig fil, der peger AI-værktøjer hen på dine mest nyttige sider, og den erstatter ikke robots.txt. Vores llms.txt-generatorer kan lave en på et minut.

Vær det brand, AI anbefaler.

Begynd at følge, hvordan ChatGPT, Google AI-oversigter, Gemini, Perplexity, Claude og 11 andre AI-motorer omtaler dig. Resultater på få minutter.