Что такое GPTBot и стоит ли его блокировать?
GPTBot это веб-краулер OpenAI. То, что он собирает, OpenAI использует для обучения моделей. Блокировка в robots.txt останавливает этот сбор, но не убирает вас из живых ответов ChatGPT, которые опираются на другого бота.
Этот бот называется OAI-SearchBot, он индексирует страницы для поиска ChatGPT. ChatGPT-User, третий бот, получает страницу, когда человек просит ChatGPT её открыть. Если вы хотите появляться в ответах ChatGPT, разрешите OAI-SearchBot и ChatGPT-User независимо от того, что вы решите про GPTBot.