İçeriğe geç

Yapay zeka tarayıcı erişim kontrolü

Yapay Zeka Tarayıcı Erişim Kontrolü: GPTBot ve Diğer Yapay Zeka Botları Sitenizi Tarayabilir mi?

Bir alan adı girin ve robots.txt dosyanızın hangi yapay zeka tarayıcılarına izin verdiğini, hangilerini engellediğini bot bot görün.

Bugün 10 ücretsiz kullanım hakkınız kaldı

Nasıl çalışır

Tarayıcı erişim kontrolü nasıl çalışır

  1. Alan adınızı girin

    Alan adının kökündeki robots.txt dosyasını çekeriz.

  2. Kuralları okuruz

    Her yapay zeka tarayıcısı için ona uygulanan kural grubunu bulur ve sayfalarınızı çekip çekemeyeceğini test ederiz.

  3. Kimin izinli olduğunu görün

    Bir puan ve bot bot bir liste alırsınız; böylece bir engeli düzeltebilir ya da bilerek sürdürebilirsiniz.

GPTBot nedir ve engellemeli miyim?

GPTBot, OpenAI’ın web tarayıcısıdır. OpenAI topladıklarını modellerini eğitmek için kullanır. robots.txt’te engellemek bu toplamayı durdurur ve sizi ChatGPT’nin canlı yanıtlarından çıkarmaz; onlar farklı bir bota dayanır.

Bu bot, sayfaları ChatGPT araması için dizinleyen OAI-SearchBot’tur. ChatGPT-User ise bir kişi ChatGPT’den bir sayfayı açmasını istediğinde onu çeken üçüncü bottur. ChatGPT yanıtlarında yer almak istiyorsanız GPTBot hakkında ne karar verirseniz verin OAI-SearchBot ve ChatGPT-User’a izin verin.

Hangi yapay zeka tarayıcıları önemli?

Arama ve getirme botları bugün alıntılanıp alınmadığınızı etkiler: OAI-SearchBot, ChatGPT-User, PerplexityBot ve Claude-SearchBot. Eğitim botları modellerin ne bildiğini etkiler: GPTBot, ClaudeBot, Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl) ve meta-externalagent.

Google AI Overviews ve AI Mode, Googlebot’u kullanır; dolayısıyla Googlebot’u engellemek sizi hem Google aramasından hem de bu yanıtlardan çıkarır. Google-Extended, Gemini’nin içeriğinizi kullanımı için ayrı bir denetimdir.

Belirli bir yapay zeka botuna nasıl izin verir veya engellerim?

robots.txt dosyanıza bir grup ekleyin. Bir bota izin vermek için User-agent: OAI-SearchBot ve ardından Allow: / yazın. Engellemek için User-agent: GPTBot ve ardından Disallow: / yazın. Adı belirtilen bota ait kurallar, genel User-agent: * grubunu geçersiz kılar.

robots.txt bir istektir, kilit değil. Kurallara uyan tarayıcılar ona saygı gösterir, bazıları göstermez. Bir botu kesin olarak engellemeniz gerekiyorsa bunu güvenlik duvarınızda veya CDN’inizde de uygulayın.

Yapay zeka tarayıcıları hakkında sorular

GPTBot’un sitemi tarayıp tarayamayacağını nasıl kontrol ederim?

Alan adınızı yukarıdaki kontrol aracına girin. robots.txt dosyanızı okur ve GPTBot’un ve diğer dokuz yapay zeka tarayıcısının izinli mi engelli mi olduğunu söyler. Eksik bir robots.txt, her bota izin verildiği anlamına gelir.

GPTBot’u engellemek ChatGPT’nin markamı anmasını durdurur mu?

Tek başına hayır. GPTBot eğitim verisi toplar. ChatGPT’nin canlı yanıtları OAI-SearchBot ve ChatGPT-User’ı kullanır. Bu ikisini engellemek sizi ChatGPT arama sonuçlarından çıkarır; yalnızca GPTBot’u engellemek ise onları etkilemez.

robots.txt yapay zeka tarayıcılarını gerçekten durdurur mu?

Ona uyan tarayıcıları durdurur; OpenAI, Anthropic, Google, Perplexity ve Apple’ın büyük tarayıcıları buna dahildir. Kuralları yok sayan bir tarayıcıyı durduramaz; bu yüzden hassas içerik için bunun yerine giriş veya güvenlik duvarı kuralı gerekir.

Puan ne anlama geliyor?

Puan, test ettiğimiz yapay zeka tarayıcılarından ana sayfanızı çekmesine izin verilenlerin oranıdır. 80 ve üzeri mükemmel, 50 ile 79 arası kısmi, 50’nin altı sınırlıdır. Düşük bir puan yalnızca yapay zeka yanıtlarında görünür olmak istiyorsanız sorundur.

Ayrıca bir llms.txt de eklemeli miyim?

Düşük maliyetli bir eklemedir. llms.txt, yapay zeka araçlarını en yararlı sayfalarınıza yönlendiren düz bir dosyadır ve robots.txt’in yerini tutmaz. llms.txt oluşturucularımız bir dakikada bir tane hazırlayabilir.

Yapay zekanın önerdiği marka olun.

ChatGPT, Google AI Overviews, Gemini, Perplexity, Claude ve 11 yapay zeka motorunun daha sizden nasıl bahsettiğini takip etmeye başlayın: sonuçlar dakikalar içinde.