मुख्य सामग्री पर जाएँ

AI crawlability checker

AI Crawlability Checker: क्या GPTBot और दूसरे AI बॉट आपकी साइट क्रॉल कर सकते हैं?

डोमेन डालें और बॉट-दर-बॉट देखें कि आपकी robots.txt कौन-से AI क्रॉलर को allow करती है और किसे block।

आज 10 फ़्री रन बचे हैं

यह कैसे काम करता है

Crawlability जाँच कैसे काम करती है

  1. अपना डोमेन डालें

    हम डोमेन के रूट पर robots.txt फ़ेच करते हैं।

  2. हम नियम पढ़ते हैं

    हर AI क्रॉलर के लिए हम उस पर लागू नियमों का समूह खोजते हैं और टेस्ट करते हैं कि वह आपके पेज फ़ेच कर सकता है या नहीं।

  3. देखें कौन allowed है

    आपको स्कोर और बॉट-दर-बॉट लिस्ट मिलती है, ताकि आप कोई block ठीक कर सकें या जानबूझकर रख सकें।

GPTBot क्या है और क्या मुझे इसे block करना चाहिए?

GPTBot OpenAI का वेब क्रॉलर है। OpenAI जो इकट्ठा करता है उसे अपने मॉडल ट्रेन करने में इस्तेमाल करता है। robots.txt में इसे block करने से वह संग्रह रुकता है, पर आप ChatGPT के लाइव उत्तरों से बाहर नहीं होते, जो किसी दूसरे बॉट पर निर्भर हैं।

वह बॉट OAI-SearchBot है, जो ChatGPT search के लिए पेज इंडेक्स करता है। ChatGPT-User तीसरा है, जो तब पेज फ़ेच करता है जब कोई व्यक्ति ChatGPT से उसे खोलने को कहता है। अगर आप ChatGPT उत्तरों में दिखना चाहते हैं, तो GPTBot पर जो भी तय करें, OAI-SearchBot और ChatGPT-User को allow करें।

कौन-से AI क्रॉलर मायने रखते हैं?

Search और retrieval बॉट प्रभावित करते हैं कि आज आपको cite किया जाता है या नहीं: OAI-SearchBot, ChatGPT-User, PerplexityBot और Claude-SearchBot। Training बॉट प्रभावित करते हैं कि मॉडल क्या जानते हैं: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) और meta-externalagent।

Google AI Overviews और AI Mode Googlebot इस्तेमाल करते हैं, इसलिए Googlebot को block करने से आप Google search और उन उत्तरों, दोनों से बाहर हो जाते हैं। Google-Extended अलग नियंत्रण है, जो Gemini द्वारा आपके कंटेंट के इस्तेमाल के लिए है।

किसी ख़ास AI बॉट को allow या block कैसे करूँ?

अपनी robots.txt में एक समूह जोड़ें। बॉट को allow करने के लिए User-agent: OAI-SearchBot लिखें और उसके बाद Allow: /। Block करने के लिए User-agent: GPTBot लिखें और उसके बाद Disallow: /। नाम वाले बॉट के नियम सामान्य User-agent: * समूह को override करते हैं।

Robots.txt एक अनुरोध है, ताला नहीं। अच्छे व्यवहार वाले क्रॉलर इसे मानते हैं, कुछ नहीं मानते। अगर आपको किसी बॉट को पक्का रोकना है, तो इसे अपने फ़ायरवॉल या CDN पर भी लागू करें।

AI क्रॉलर के सवाल

मैं कैसे जाँचूँ कि GPTBot मेरी साइट क्रॉल कर सकता है?

ऊपर चेकर में अपना डोमेन डालें। वह आपकी robots.txt पढ़ता है और बताता है कि GPTBot और नौ अन्य AI क्रॉलर allowed हैं या blocked। robots.txt न होने का मतलब है कि हर बॉट allowed है।

क्या GPTBot को block करने से ChatGPT मेरे ब्रांड का ज़िक्र करना बंद कर देगा?

अपने आप नहीं। GPTBot ट्रेनिंग डेटा जुटाता है। ChatGPT के लाइव उत्तर OAI-SearchBot और ChatGPT-User इस्तेमाल करते हैं। इन दोनों को block करने से आप ChatGPT search नतीजों से बाहर हो जाते हैं, जबकि सिर्फ़ GPTBot को block करने से वे बने रहते हैं।

क्या robots.txt सच में AI क्रॉलर को रोकती है?

यह उन क्रॉलर को रोकती है जो इसे मानते हैं, जिनमें OpenAI, Anthropic, Google, Perplexity और Apple के प्रमुख क्रॉलर आते हैं। जो क्रॉलर नियम अनदेखे करता है, उसे यह नहीं रोक सकती, इसलिए संवेदनशील कंटेंट के लिए लॉगिन या फ़ायरवॉल नियम चाहिए।

स्कोर का क्या मतलब है?

स्कोर हमारे टेस्ट किए AI क्रॉलर में से उन क्रॉलर का हिस्सा है जिन्हें आपका होमपेज फ़ेच करने की अनुमति है। 80 और ऊपर उत्कृष्ट है, 50 से 79 आंशिक और 50 से नीचे सीमित। कम स्कोर तभी समस्या है जब आप AI उत्तरों में दिखना चाहते हैं।

क्या मुझे llms.txt भी जोड़ना चाहिए?

यह कम लागत का जोड़ है। llms.txt एक सादी फ़ाइल है जो AI टूल्स को आपके सबसे उपयोगी पेजों तक ले जाती है, और यह robots.txt की जगह नहीं लेती। हमारे llms.txt generators एक मिनट में एक बना सकते हैं।

वह ब्रांड बनें जिसे AI रेकमेंड करे।

ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude और 11 और AI इंजन आपके बारे में क्या कहते हैं, यह ट्रैक करना शुरू करें। नतीजे कुछ ही मिनटों में।