Przejdź do treści

Sprawdzanie dostępu robotów AI

Sprawdzanie dostępu robotów AI: Czy GPTBot i inne boty AI mogą indeksować Twoją stronę?

Podaj domenę i zobacz, bot po bocie, które roboty AI Twój robots.txt dopuszcza, a które blokuje.

Pozostało dziś darmowych uruchomień: 10

Jak to działa

Jak działa sprawdzanie dostępu robotów

  1. Podaj domenę

    Pobieramy plik robots.txt z katalogu głównego domeny.

  2. Czytamy reguły

    Dla każdego robota AI znajdujemy grupę reguł, która go dotyczy, i testujemy, czy może pobierać Twoje strony.

  3. Zobacz, kto ma dostęp

    Dostajesz wynik i listę bot po bocie, dzięki czemu możesz naprawić blokadę albo zostawić ją celowo.

Czym jest GPTBot i czy go blokować?

GPTBot to robot indeksujący OpenAI. OpenAI wykorzystuje zebrane dane do trenowania swoich modeli. Zablokowanie go w robots.txt zatrzymuje to zbieranie i nie usuwa Cię z odpowiedzi ChatGPT na żywo, które korzystają z innego bota.

Tym botem jest OAI-SearchBot, który indeksuje strony dla wyszukiwania ChatGPT. ChatGPT-User to trzeci, który pobiera stronę, gdy użytkownik prosi ChatGPT o jej otwarcie. Jeśli chcesz pojawiać się w odpowiedziach ChatGPT, dopuść OAI-SearchBot i ChatGPT-User, niezależnie od decyzji o GPTBot.

Które roboty AI mają znaczenie?

Roboty wyszukujące i pobierające wpływają na to, czy jesteś cytowany dziś: OAI-SearchBot, ChatGPT-User, PerplexityBot i Claude-SearchBot. Roboty treningowe wpływają na wiedzę modeli: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) i meta-externalagent.

Google AI Overviews i AI Mode korzystają z Googlebota, więc zablokowanie Googlebota usuwa Cię zarówno z wyszukiwarki Google, jak i z tych odpowiedzi. Google-Extended to osobna kontrola nad wykorzystaniem Twoich treści przez Gemini.

Jak dopuścić lub zablokować konkretnego bota AI?

Dodaj grupę do swojego robots.txt. Aby dopuścić bota, wpisz User-agent: OAI-SearchBot, a po nim Allow: /. Aby go zablokować, wpisz User-agent: GPTBot, a po nim Disallow: /. Reguły dla nazwanego bota mają pierwszeństwo przed ogólną grupą User-agent: *.

Robots.txt to prośba, nie zamek. Roboty działające poprawnie ją respektują, inne nie. Jeśli musisz mieć pewność, że bot jest zablokowany, wymuś to dodatkowo na firewallu lub w CDN.

Pytania o roboty AI

Jak sprawdzić, czy GPTBot może indeksować moją stronę?

Wpisz domenę w narzędziu powyżej. Odczyta Twój robots.txt i powie, czy GPTBot oraz dziewięć innych robotów AI jest dopuszczonych, czy zablokowanych. Brak pliku robots.txt oznacza, że dopuszczony jest każdy bot.

Czy zablokowanie GPTBot sprawi, że ChatGPT przestanie wspominać moją markę?

Samo w sobie nie. GPTBot zbiera dane treningowe. Odpowiedzi ChatGPT na żywo korzystają z OAI-SearchBot i ChatGPT-User. Zablokowanie tych dwóch usuwa Cię z wyników wyszukiwania ChatGPT, a zablokowanie samego GPTBot ich nie narusza.

Czy robots.txt naprawdę zatrzymuje roboty AI?

Zatrzymuje roboty, które go respektują, w tym główne roboty OpenAI, Anthropic, Google, Perplexity i Apple. Nie zatrzyma robota, który ignoruje reguły, więc wrażliwe treści wymagają logowania lub reguły firewalla.

Co oznacza wynik?

Wynik to odsetek testowanych przez nas robotów AI, które mogą pobrać Twoją stronę główną. 80 i więcej to doskonały wynik, 50–79 częściowy, a poniżej 50 ograniczony. Niski wynik to problem tylko wtedy, gdy chcesz być widoczny w odpowiedziach AI.

Czy powinienem dodać też llms.txt?

To tani dodatek. llms.txt to zwykły plik, który wskazuje narzędziom AI Twoje najbardziej przydatne strony, i nie zastępuje robots.txt. Nasze generatory llms.txt zbudują go w minutę.

Bądź marką, którą poleca AI.

Zacznij śledzić, co ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude i 11 kolejnych silników AI mówi o Twojej marce. Wyniki w kilka minut.