本文へスキップ

AIクローラー確認ツール

AIクローラー確認ツール: GPTBotなどのAIボットは、サイトを巡回できますか?

ドメインを入力すると、robots.txtが許可しているAIクローラーと、ブロックしているAIクローラーを、ボットごとに確認できます。

本日の無料実行はあと10回です

仕組み

クローラー確認の仕組み

  1. ドメインを入力

    ドメインのルートにあるrobots.txtを取得します。

  2. ルールを読み取る

    AIクローラーごとに適用されるルールのグループを見つけ、ページを取得できるかを判定します。

  3. 許可状況を確認

    スコアとボットごとの一覧が表示されるので、ブロックを解除するか、意図的に維持するかを判断できます。

GPTBotとは何ですか?ブロックすべきですか?

GPTBotはOpenAIのウェブクローラーです。OpenAIは、収集した内容をモデルの学習に使用します。robots.txtでブロックすると、その収集は止まりますが、ChatGPTのリアルタイム回答からは外れません。リアルタイム回答は別のボットに依存しているためです。

そのボットがOAI-SearchBotで、ChatGPT検索向けにページをインデックスします。3つ目のChatGPT-Userは、ユーザーがChatGPTにページを開くよう頼んだときに、そのページを取得します。ChatGPTの回答に登場したい場合は、GPTBotの扱いにかかわらず、OAI-SearchBotとChatGPT-Userを許可してください。

どのAIクローラーが重要ですか?

検索・取得系のボットは、いま引用されるかどうかを左右します。OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBotです。学習系のボットは、モデルが何を知っているかを左右します。GPTBot、ClaudeBot、Google-Extended(Gemini)、Applebot-Extended、CCBot(Common Crawl)、meta-externalagentです。

Google AI OverviewsとAI ModeはGooglebotを使用するため、Googlebotをブロックすると、Google検索とそれらの回答の両方から外れます。Google-Extendedは、Geminiによるコンテンツの利用を管理する別の設定です。

特定のAIボットを許可・ブロックするには?

robots.txtにグループを追加します。ボットを許可するには、User-agent: OAI-SearchBot に続けて Allow: / と記述します。ブロックするには、User-agent: GPTBot に続けて Disallow: / と記述します。名前を指定したボットのルールは、汎用の User-agent: * グループより優先されます。

robots.txtは依頼であり、鍵ではありません。行儀のよいクローラーは従いますが、従わないものもあります。確実にブロックしたいボットは、ファイアウォールやCDNでも制御してください。

AIクローラーのよくある質問

GPTBotがサイトを巡回できるかは、どう確認しますか?

上のチェッカーにドメインを入力してください。robots.txtを読み取り、GPTBotとほかの9つのAIクローラーが許可されているかブロックされているかを表示します。robots.txtがない場合は、すべてのボットが許可されます。

GPTBotをブロックすると、ChatGPTが自社ブランドを言及しなくなりますか?

それだけでは、なりません。GPTBotは学習データを収集します。ChatGPTのリアルタイム回答は、OAI-SearchBotとChatGPT-Userを使います。この2つをブロックするとChatGPTの検索結果から外れますが、GPTBotのみをブロックしても影響はありません。

robots.txtで、AIクローラーを本当に止められますか?

robots.txtを尊重するクローラーは止められます。OpenAI、Anthropic、Google、Perplexity、Appleの主要なクローラーが含まれます。ルールを無視するクローラーは止められないため、機密性の高いコンテンツにはログインやファイアウォールのルールが必要です。

スコアは何を意味しますか?

スコアは、テスト対象のAIクローラーのうち、トップページの取得を許可されているものの割合です。80以上は優秀、50〜79は一部制限、50未満は制限ありです。スコアが低くても、問題になるのはAI回答に登場したい場合のみです。

llms.txtも追加すべきですか?

手間のかからない追加施策です。llms.txtは、AIツールを最も役立つページへ案内するプレーンなファイルで、robots.txtの代わりにはなりません。当社のllms.txtジェネレーターなら、1分で作成できます。

AIが薦めるブランドになる。

ChatGPT、Google AI Overviews、Gemini、Perplexity、Claudeのほか11のAIエンジンがあなたのブランドをどう語るかを、数分で計測できます。