انتقل إلى المحتوى

فاحص وصول زواحف الذكاء الاصطناعي

فاحص وصول زواحف الذكاء الاصطناعي: هل تستطيع GPTBot وزواحف الذكاء الاصطناعي الأخرى زحف موقعك؟

أدخل نطاقًا وشاهد، زاحفًا بزاحف، أيّ زواحف الذكاء الاصطناعي يسمح لها robots.txt وأيها يحظرها.

تبقّى لك 10 تشغيلات مجانية اليوم

كيف تعمل

كيف يعمل فحص الوصول للزحف

  1. أدخل نطاقك

    نجلب ملف robots.txt من جذر النطاق.

  2. نقرأ القواعد

    نجد لكل زاحف ذكاء اصطناعي مجموعة القواعد التي تنطبق عليه ونختبر هل يستطيع جلب صفحاتك.

  3. اعرف من المسموح

    تحصل على درجة وقائمة زاحفًا بزاحف، فتصلح الحظر أو تبقيه عن قصد.

ما GPTBot وهل أحظره؟

GPTBot هو زاحف الويب من OpenAI. تستخدم OpenAI ما تجمعه لتدريب نماذجها. وحظره في robots.txt يوقف هذا الجمع، لكنه لا يخرجك من إجابات ChatGPT المباشرة التي تعتمد على زاحف آخر.

هذا الزاحف هو OAI-SearchBot الذي يفهرس الصفحات لبحث ChatGPT. وChatGPT-User زاحف ثالث يجلب الصفحة حين يطلب شخص من ChatGPT فتحها. وإن أردت الظهور في إجابات ChatGPT فاسمح لـ OAI-SearchBot وChatGPT-User مهما قررت بشأن GPTBot.

أي زواحف الذكاء الاصطناعي تهم؟

تؤثر زواحف البحث والاسترجاع في هل يُستشهد بك اليوم: OAI-SearchBot وChatGPT-User وPerplexityBot وClaude-SearchBot. وتؤثر زواحف التدريب فيما تعرفه النماذج: GPTBot وClaudeBot وGoogle-Extended (Gemini) وApplebot-Extended وCCBot (Common Crawl) وmeta-externalagent.

يستخدم Google AI Overviews وAI Mode زاحف Googlebot، فحظر Googlebot يخرجك من بحث Google ومن تلك الإجابات معًا. أما Google-Extended فهو تحكم منفصل في استخدام Gemini لمحتواك.

كيف أسمح لزاحف ذكاء اصطناعي محدد أو أحظره؟

أضف مجموعة إلى robots.txt. للسماح لزاحف اكتب User-agent: OAI-SearchBot يليه Allow: /. ولحظر زاحف اكتب User-agent: GPTBot يليه Disallow: /. وتتغلب قواعد الزاحف المسمّى على المجموعة العامة User-agent: *.

ملف robots.txt طلب وليس قفلًا. تحترمه الزواحف المنضبطة ولا يحترمه بعضها. وإن احتجت إلى حظر زاحف بشكل مؤكد فافرضه أيضًا على جدار الحماية أو شبكة CDN.

أسئلة عن زواحف الذكاء الاصطناعي

كيف أعرف هل تستطيع GPTBot زحف موقعي؟

أدخل نطاقك في الفاحص أعلاه. يقرأ robots.txt ويخبرك هل GPTBot وتسعة زواحف ذكاء اصطناعي أخرى مسموحة أو محظورة. وغياب robots.txt يعني أن كل الزواحف مسموحة.

هل يمنع حظر GPTBot ChatGPT من ذكر علامتي؟

ليس وحده. يجمع GPTBot بيانات التدريب، بينما تستخدم إجابات ChatGPT المباشرة OAI-SearchBot وChatGPT-User. وحظر هذين يخرجك من نتائج بحث ChatGPT، بينما حظر GPTBot وحده يبقيها.

هل يوقف robots.txt زواحف الذكاء الاصطناعي فعلًا؟

يوقف الزواحف التي تحترمه، ومنها الرئيسية من OpenAI وAnthropic وGoogle وPerplexity وApple. ولا يستطيع إيقاف زاحف يتجاهل القواعد، فالمحتوى الحساس يحتاج إلى تسجيل دخول أو قاعدة في جدار الحماية.

ماذا تعني الدرجة؟

الدرجة هي نسبة زواحف الذكاء الاصطناعي التي نختبرها والمسموح لها بجلب صفحتك الرئيسية. 80 فأعلى ممتازة، ومن 50 إلى 79 جزئية، وما دون 50 محدودة. والدرجة المنخفضة مشكلة فقط إن أردت الظهور في إجابات الذكاء الاصطناعي.

هل أضيف llms.txt أيضًا؟

إضافة منخفضة التكلفة. llms.txt ملف نصي بسيط يوجّه أدوات الذكاء الاصطناعي إلى أنفع صفحاتك، ولا يحل محل robots.txt. ويمكن لمنشئي llms.txt لدينا بناء واحد في دقيقة.

كن العلامة التي يوصي بها الذكاء الاصطناعي.

ابدأ تتبع ما تقوله عنك ChatGPT وGoogle AI Overviews وGemini وPerplexity وClaude و11 من محركات الذكاء الاصطناعي الأخرى، وستظهر النتائج خلال دقائق.