Bu kılavuzun yardımıyla web sitenizin OpenAI tarayıcıları tarafından kazınmasını önleyin.

Kullanıcılar, ChatGPT'yi şu anda sahip olduğu çok miktarda bilgi nedeniyle sevse de, web sitesi sahipleri için aynı şey söylenemez.

OpenAI'nin ChatGPT'si, web sitelerini kazımak için tarayıcılar kullanır, ancak bir web sitesi sahibiyseniz ve OpenAI'nin tarayıcısının web sitenize erişmesini istemiyorsanız, bunu önlemek için yapabileceğiniz birkaç şey burada.

OpenAI Taraması Nasıl Çalışır?

A web gezgini (örümcek veya arama motoru botu olarak da bilinir), bilgi için interneti tarayan otomatik bir programdır. Daha sonra bu bilgileri, arama motorunuzun kolayca erişebileceği bir şekilde derler.

Web tarayıcıları, genellikle arama sorgularınızla daha alakalı web sitelerine odaklanarak, ilgili her URL'nin her sayfasını dizine ekler. Örneğin, belirli bir Windows hatasını Google'da arattığınızı varsayalım. Arama motorunuzdaki web gezgini, Windows hataları konusunda daha yetkili olduğunu düşündüğü web sitelerindeki tüm URL'leri tarar.

instagram viewer

OpenAI'nin web gezgini GPTBot olarak adlandırılır ve OpenAI belgeleri, web sitenize GPTBot erişimi vermek, AI modelinin daha güvenli ve daha doğru olması için eğitilmesine yardımcı olabilir ve hatta AI modelinin yeteneklerini genişletmeye yardımcı olabilir.

OpenAI'nin Web Sitenizi Taramasını Nasıl Engellersiniz?

Diğer çoğu web gezgini gibi, GPTBot'un web sitenize erişmesi, web sitesinin özellikleri değiştirilerek engellenebilir. robots.txt protokolü (robot dışlama protokolü olarak da bilinir). Bu .txt dosyası, web sitesinin sunucusunda barındırılır ve web tarayıcılarının ve diğer otomatik programların web sitenizde nasıl davranacağını kontrol eder.

İşte nelerin kısa bir listesi robot.txt dosya şunları yapabilir:

  • GPTBot'un web sitesine erişmesini tamamen engelleyebilir.
  • Bir URL'den yalnızca belirli sayfalara GPTBot tarafından erişilmesini engelleyebilir.
  • GPTBot'a hangi bağlantıları takip edip hangilerini takip edemeyeceğini söyleyebilir.

GPTBot'un web sitenizde yapabileceklerini şu şekilde kontrol edebilirsiniz:

GPTBot'un Web Sitenize Erişmesini Tamamen Engelleyin

  1. robot.txt dosyasını ayarlayınve ardından herhangi bir metin düzenleme aracıyla düzenleyin.
  2. GPTBot'u sitenize ekleyin robots.txt aşağıdaki gibi: 
User-agent: GPTBot
Disallow: /

Yalnızca Belirli Sayfaların GPTBot Tarafından Erişilmesini Engelleyin

  1. kurmak robot.txt dosyasını açın ve ardından tercih ettiğiniz metin düzenleme aracıyla düzenleyin.
  2. GPTBot'u sitenize ekleyin robots.txt aşağıdaki gibi: 
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Ancak, değiştirmenin robot.txt dosyası geriye dönük bir çözüm değildir ve GPTBot'un web sitenizden önceden toplamış olabileceği herhangi bir bilgi kurtarılamaz.

OpenAI, Web Sitesi Sahiplerinin Taramayı Devre Dışı Bırakmasına İzin Veriyor

Tarayıcılar yapay zeka modellerini eğitmek için kullanıldığından beri, web sitesi sahipleri verilerini gizli tutmanın yollarını arıyorlar.

Bazıları, AI modellerinin temel olarak işlerini çaldığından korkuyor, hatta daha az web sitesi ziyaretini, artık kullanıcıların web sitelerini ziyaret etmek zorunda kalmadan bilgilerini almalarına bağlıyor.

Sonuç olarak, AI sohbet robotlarının web sitelerinizi taramasını tamamen engellemek isteyip istemediğiniz tamamen sizin seçiminizdir.