Zum Inhalt springen

KI-Crawler-Check

KI-Crawler-Check: Können GPTBot und andere KI-Bots Ihre Website crawlen?

Geben Sie eine Domain ein und sehen Sie Bot für Bot, welche KI-Crawler Ihre robots.txt erlaubt und welche sie blockiert.

Heute noch 10 kostenlose Durchläufe

So funktioniert es

So funktioniert der Crawler-Check

  1. Domain eingeben

    Wir rufen die robots.txt im Stamm der Domain ab.

  2. Wir lesen die Regeln

    Für jeden KI-Crawler suchen wir die passende Regelgruppe und testen, ob er Ihre Seiten abrufen darf.

  3. Sehen, wer erlaubt ist

    Sie erhalten einen Wert und eine Liste Bot für Bot, damit Sie eine Sperre beheben oder bewusst beibehalten können.

Was ist GPTBot und sollte ich ihn blockieren?

GPTBot ist der Web-Crawler von OpenAI. OpenAI nutzt das Gesammelte zum Training seiner Modelle. Wer ihn in der robots.txt blockiert, stoppt diese Sammlung, entfernt sich aber nicht aus den Live-Antworten von ChatGPT, die auf einem anderen Bot beruhen.

Dieser Bot heißt OAI-SearchBot und indexiert Seiten für die ChatGPT-Suche. ChatGPT-User ist ein dritter, der eine Seite abruft, wenn ein Mensch ChatGPT bittet, sie zu öffnen. Wenn Sie in ChatGPT-Antworten erscheinen möchten, erlauben Sie OAI-SearchBot und ChatGPT-User, unabhängig davon, wie Sie über GPTBot entscheiden.

Welche KI-Crawler sind wichtig?

Such- und Abruf-Bots beeinflussen, ob Sie heute zitiert werden: OAI-SearchBot, ChatGPT-User, PerplexityBot und Claude-SearchBot. Trainings-Bots beeinflussen, was Modelle wissen: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) und meta-externalagent.

Google KI-Übersichten und AI Mode nutzen den Googlebot; wer den Googlebot blockiert, verschwindet sowohl aus der Google-Suche als auch aus diesen Antworten. Google-Extended ist eine eigene Steuerung dafür, ob Gemini Ihre Inhalte nutzt.

Wie erlaube oder blockiere ich einen bestimmten KI-Bot?

Fügen Sie Ihrer robots.txt eine Gruppe hinzu. Um einen Bot zu erlauben, schreiben Sie User-agent: OAI-SearchBot gefolgt von Allow: /. Um einen zu blockieren, schreiben Sie User-agent: GPTBot gefolgt von Disallow: /. Regeln für einen benannten Bot überschreiben die allgemeine Gruppe User-agent: *.

Die robots.txt ist eine Bitte, kein Schloss. Gut erzogene Crawler beachten sie, manche nicht. Wenn Sie einen Bot sicher aussperren müssen, setzen Sie das zusätzlich an Ihrer Firewall oder Ihrem CDN durch.

Fragen zu KI-Crawlern

Wie prüfe ich, ob GPTBot meine Website crawlen kann?

Geben Sie Ihre Domain im Check oben ein. Er liest Ihre robots.txt und zeigt, ob GPTBot und neun weitere KI-Crawler erlaubt oder blockiert sind. Fehlt die robots.txt, ist jeder Bot erlaubt.

Verhindert das Blockieren von GPTBot, dass ChatGPT meine Marke nennt?

Nicht allein. GPTBot sammelt Trainingsdaten. Die Live-Antworten von ChatGPT nutzen OAI-SearchBot und ChatGPT-User. Blockieren Sie diese beiden, verschwinden Sie aus den ChatGPT-Suchergebnissen; blockieren Sie nur GPTBot, bleiben sie bestehen.

Stoppt die robots.txt KI-Crawler tatsächlich?

Sie stoppt Crawler, die sie beachten, darunter die großen von OpenAI, Anthropic, Google, Perplexity und Apple. Einen Crawler, der die Regeln ignoriert, kann sie nicht aufhalten; sensible Inhalte brauchen stattdessen Login oder Firewall-Regel.

Was bedeutet der Wert?

Der Wert ist der Anteil der getesteten KI-Crawler, die Ihre Startseite abrufen dürfen. 80 und mehr ist ausgezeichnet, 50 bis 79 teilweise und unter 50 eingeschränkt. Ein niedriger Wert ist nur dann ein Problem, wenn Sie in KI-Antworten sichtbar sein möchten.

Sollte ich zusätzlich eine llms.txt anlegen?

Das ist eine günstige Ergänzung. Die llms.txt ist eine einfache Datei, die KI-Tools auf Ihre nützlichsten Seiten verweist, und sie ersetzt die robots.txt nicht. Unsere llms.txt-Generatoren erstellen eine in einer Minute.

Werden Sie die Marke, die KI empfiehlt.

Erfassen Sie, wie ChatGPT, Google KI-Übersichten, Gemini, Perplexity, Claude und 11 weitere KI-Engines über Sie sprechen. Ergebnisse in Minuten.