跳到正文

AI 爬虫可访问性检测

AI 爬虫可访问性检测: GPTBot 等 AI 爬虫能抓取你的网站吗?

输入域名,逐个爬虫查看你的 robots.txt 允许哪些 AI 爬虫、屏蔽哪些。

今天还剩 10 次免费运行

运作方式

爬虫可访问性检测如何运作

  1. 输入域名

    我们抓取该域名根目录下的 robots.txt。

  2. 解析规则

    针对每个 AI 爬虫,我们找到适用于它的规则组,并测试它能否抓取你的页面。

  3. 查看谁被允许

    你会得到一个评分和逐个爬虫的列表,可以据此修复屏蔽,或有意保留屏蔽。

GPTBot 是什么?应该屏蔽它吗?

GPTBot 是 OpenAI 的网络爬虫。OpenAI 用它收集的内容训练模型。在 robots.txt 中屏蔽它可以阻止这类收集,但不会让你从 ChatGPT 的实时回答中消失,因为实时回答依赖另一个爬虫。

那个爬虫就是 OAI-SearchBot,它为 ChatGPT 搜索索引页面。ChatGPT-User 是第三个,在用户要求 ChatGPT 打开某个页面时抓取该页面。无论你如何处理 GPTBot,只要想出现在 ChatGPT 的回答中,就应该允许 OAI-SearchBot 和 ChatGPT-User。

哪些 AI 爬虫重要?

搜索与检索类爬虫影响你当下是否被引用:OAI-SearchBot、ChatGPT-User、PerplexityBot 和 Claude-SearchBot。训练类爬虫影响模型所知道的内容:GPTBot、ClaudeBot、Google-Extended(Gemini)、Applebot-Extended、CCBot(Common Crawl)和 meta-externalagent。

Google AI 概览和 AI Mode 使用 Googlebot,因此屏蔽 Googlebot 会让你同时从 Google 搜索和这些回答中消失。Google-Extended 则是单独控制 Gemini 使用你内容的开关。

如何允许或屏蔽某个特定的 AI 爬虫?

在 robots.txt 中添加一个规则组。要允许某个爬虫,写 User-agent: OAI-SearchBot,后接 Allow: /。要屏蔽某个爬虫,写 User-agent: GPTBot,后接 Disallow: /。针对指定爬虫的规则会覆盖通用的 User-agent: * 规则组。

robots.txt 只是请求,而不是锁。遵守规范的爬虫会尊重它,也有些不会。如果你必须确保屏蔽某个爬虫,请同时在防火墙或 CDN 层面执行。

AI 爬虫常见问题

如何检测 GPTBot 能否抓取我的网站?

在上方检测工具中输入你的域名。它会读取你的 robots.txt,并告诉你 GPTBot 以及另外九个 AI 爬虫是被允许还是被屏蔽。没有 robots.txt 意味着所有爬虫都被允许。

屏蔽 GPTBot 会让 ChatGPT 不再提到我的品牌吗?

不会单独造成这种结果。GPTBot 收集的是训练数据。ChatGPT 的实时回答使用 OAI-SearchBot 和 ChatGPT-User。屏蔽这两个会让你从 ChatGPT 搜索结果中消失,只屏蔽 GPTBot 则不会影响它们。

robots.txt 真的能阻止 AI 爬虫吗?

它能阻止遵守规则的爬虫,包括 OpenAI、Anthropic、Google、Perplexity 和 Apple 的主要爬虫。它无法阻止无视规则的爬虫,所以敏感内容需要用登录或防火墙规则来保护。

评分是什么意思?

评分是我们测试的 AI 爬虫中,被允许抓取你首页的比例。80 分及以上为优秀,50 到 79 分为部分允许,低于 50 分为受限。只有当你希望在 AI 回答中被看见时,低分才是问题。

还需要添加 llms.txt 吗?

这是一个低成本的补充。llms.txt 是一个纯文本文件,把 AI 工具指向你最有用的页面,它不能取代 robots.txt。我们的 llms.txt 生成器一分钟就能生成一份。

成为 AI 推荐的品牌。

开始追踪 ChatGPT、Google AI 概览、Gemini、Perplexity、Claude 以及另外 11 个 AI 引擎如何谈论你,几分钟即可出结果。