Перейти к содержимому

Проверка доступа ИИ-краулеров

Проверка доступа ИИ-краулеров: может ли GPTBot и другие ИИ-боты обходить ваш сайт?

Введите домен и увидите по каждому боту, каких ИИ-краулеров ваш robots.txt разрешает, а каких блокирует.

Осталось бесплатных запусков сегодня: 10

Как это работает

Как работает проверка доступа краулеров

  1. Введите домен

    Мы получаем robots.txt из корня домена.

  2. Мы читаем правила

    Для каждого ИИ-краулера находим применимую к нему группу правил и проверяем, может ли он получать ваши страницы.

  3. Смотрите, кто допущен

    Вы получаете оценку и список по каждому боту, чтобы исправить блокировку или оставить её намеренно.

Что такое GPTBot и стоит ли его блокировать?

GPTBot это веб-краулер OpenAI. То, что он собирает, OpenAI использует для обучения моделей. Блокировка в robots.txt останавливает этот сбор, но не убирает вас из живых ответов ChatGPT, которые опираются на другого бота.

Этот бот называется OAI-SearchBot, он индексирует страницы для поиска ChatGPT. ChatGPT-User, третий бот, получает страницу, когда человек просит ChatGPT её открыть. Если вы хотите появляться в ответах ChatGPT, разрешите OAI-SearchBot и ChatGPT-User независимо от того, что вы решите про GPTBot.

Какие ИИ-краулеры важны?

Поисковые боты влияют на то, цитируют ли вас сегодня: OAI-SearchBot, ChatGPT-User, PerplexityBot и Claude-SearchBot. Обучающие боты влияют на то, что знают модели: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) и meta-externalagent.

Google AI Overviews и AI Mode используют Googlebot, поэтому блокировка Googlebot убирает вас и из поиска Google, и из этих ответов. Google-Extended это отдельный параметр управления использованием вашего контента в Gemini.

Как разрешить или заблокировать конкретного ИИ-бота?

Добавьте группу в robots.txt. Чтобы разрешить бота, напишите User-agent: OAI-SearchBot, а затем Allow: /. Чтобы заблокировать, напишите User-agent: GPTBot, а затем Disallow: /. Правила для названного бота переопределяют общую группу User-agent: *.

Robots.txt работает как просьба, а не как замок. Добросовестные краулеры её соблюдают, а некоторые нет. Если бота нужно заблокировать наверняка, дополнительно настройте блокировку на файрволе или CDN.

Вопросы об ИИ-краулерах

Как проверить, может ли GPTBot обходить мой сайт?

Введите домен в проверку выше. Она читает ваш robots.txt и сообщает, разрешены ли GPTBot и девять других ИИ-краулеров или заблокированы. Отсутствие robots.txt означает, что разрешены все боты.

Остановит ли блокировка GPTBot упоминания моего бренда в ChatGPT?

Сама по себе нет. GPTBot собирает данные для обучения. Живые ответы ChatGPT используют OAI-SearchBot и ChatGPT-User. Блокировка этих двух убирает вас из результатов поиска ChatGPT, а блокировка только GPTBot оставляет их нетронутыми.

Действительно ли robots.txt останавливает ИИ-краулеров?

Он останавливает краулеров, которые его соблюдают, включая основных от OpenAI, Anthropic, Google, Perplexity и Apple. Он не остановит краулера, игнорирующего правила, поэтому для чувствительного контента нужны авторизация или правило файрвола.

Что означает оценка?

Оценка показывает долю проверяемых нами ИИ-краулеров, которым разрешено получать вашу главную страницу. 80 и выше: отлично, от 50 до 79: частично, ниже 50: ограниченно. Низкая оценка становится проблемой, только если вы хотите быть видимыми в ответах нейросетей.

Стоит ли также добавить llms.txt?

Это недорогое дополнение. llms.txt это простой файл, который указывает ИИ-инструментам на ваши самые полезные страницы, и он не заменяет robots.txt. Наши генераторы llms.txt создадут его за минуту.

Станьте брендом, которого рекомендуют нейросети.

Начните отслеживать, как ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude и ещё 11 нейросетей говорят о вас. Результаты через несколько минут.