GPTBot 是什么?应该屏蔽它吗?
GPTBot 是 OpenAI 的网络爬虫。OpenAI 用它收集的内容训练模型。在 robots.txt 中屏蔽它可以阻止这类收集,但不会让你从 ChatGPT 的实时回答中消失,因为实时回答依赖另一个爬虫。
那个爬虫就是 OAI-SearchBot,它为 ChatGPT 搜索索引页面。ChatGPT-User 是第三个,在用户要求 ChatGPT 打开某个页面时抓取该页面。无论你如何处理 GPTBot,只要想出现在 ChatGPT 的回答中,就应该允许 OAI-SearchBot 和 ChatGPT-User。