Siteniz için Robots.txt Nasıl Doğru Kurulur

Reklamcılık

Eğer sen bir web sitesi işlet Aşırıya Kaçmadan Küçük ve Basit Bir Web Sitesi Oluşturmanın 10 YoluWordPress aşırıya kaçabilir. Bu diğer mükemmel hizmetlerin kanıtladığı gibi, WordPress web sitesi oluşturmanın tamamı ve sonu değildir. Daha basit çözümler istiyorsanız, aralarından seçim yapabileceğiniz çeşitli seçenekler var. Devamını oku , muhtemelen bir robots.txt dosyası (veya "robot hariç tutma standardı") hakkında bir şeyler duymuşsunuzdur. Sahip olsanız da olmasanız da, bunu öğrenmenin zamanı geldi çünkü bu basit metin dosyası sitenizin çok önemli bir parçası. Önemsiz görünebilir, ancak ne kadar önemli olduğuna şaşırabilirsiniz.

Bir robots.txt dosyasının ne olduğuna, ne işe yaradığına ve siteniz için nasıl doğru bir şekilde kurulacağına bir göz atalım.

robots.txt Dosyası Nedir?

Bir robots.txt dosyasının nasıl çalıştığını anlamak için bilmeniz gerekenler arama motorları hakkında biraz Arama Motorları Nasıl Çalışır?Birçok insan için Google, internettir. İnternetin kendisinden bu yana tartışmasız en önemli buluş. Arama motorları o zamandan beri çok değişmiş olsa da, temel ilkeler hala aynı.

Devamını oku . Kısa versiyon, bilgi için interneti tarayan programlar olan “tarayıcılar” göndermeleridir. Daha sonra bu bilgilerin bir kısmını depolarlar, böylece insanları daha sonra ona yönlendirebilirler.

"Botlar" veya "örümcekler" olarak da bilinen bu tarayıcılar, milyarlarca web sitesindeki sayfaları bulur. Arama motorları onlara nereye gidecekleri konusunda talimatlar verir, ancak bireysel web siteleri de botlarla iletişim kurabilir ve onlara hangi sayfalara bakmaları gerektiğini söyleyebilir.

Çoğu zaman, aslında tam tersini yapıyorlar ve onlara hangi sayfaları aradıklarını söylüyorlar. yapmamalı bakıyor olmak. Yönetim sayfaları, arka uç portalları, kategori ve etiket sayfaları ve site sahiplerinin arama motorlarında görüntülenmesini istemediği diğer şeyler gibi şeyler. Bu sayfalar hala kullanıcılar tarafından görülebilir ve izne sahip olan herkes (ki bu genellikle herkestir) tarafından erişilebilir durumdadır.

Ancak bu örümceklere bazı sayfaları dizine eklememelerini söyleyerek robots.txt dosyası herkese bir iyilik yapar. Bir arama motorunda "MakeUseOf" araması yaptıysanız, yönetim sayfalarımızın sıralamalarda üst sıralarda görünmesini ister miydiniz? Hayır. Bunun kimseye bir faydası olmaz, bu yüzden arama motorlarına bunları göstermemelerini söyleriz. Ayrıca, arama motorlarının sitenizi arama sonuçlarında sınıflandırmalarına yardımcı olmayabilecek sayfaları kontrol etmelerini engellemek için de kullanılabilir.

Kısacası robots.txt, web tarayıcılarına ne yapmaları gerektiğini söyler.

Tarayıcılar robots.txt dosyasını Yok sayabilir mi?

Tarayıcılar robots.txt dosyalarını hiç görmezden gelir mi? Evet. Aslında, birçok tarayıcı yapmak boşver. Ancak genel olarak, bu tarayıcılar saygın arama motorlarından değildir. Bunlar spam göndericilerden, e-posta toplayıcılardan ve diğer otomatik bot türleri Bir Web Sitesinden Bilgi Çekmek İçin Temel Bir Web Tarayıcısı Nasıl OluşturulurHiç bir web sitesinden bilgi almak istediniz mi? Bir web sitesinde gezinmek ve ihtiyacınız olanı çıkarmak için bir tarayıcıyı nasıl yazacağınız aşağıda açıklanmıştır. Devamını oku bu internette dolaşan. Bunu akılda tutmak önemlidir - robotlara dışarıda durmalarını söylemek için robot dışlama standardını kullanmak etkili bir güvenlik önlemi değildir. Aslında, bazı botlar Başlat gitmemelerini söylediğin sayfalarla.

Ancak arama motorları, doğru biçimlendirildiği sürece robots.txt dosyanızın söylediği gibi yapacaktır.

robots.txt Dosyası Nasıl Yazılır

Bir robot dışlama standart dosyasına giren birkaç farklı bölüm vardır. Burada her birini ayrı ayrı parçalayacağım.

Kullanıcı Aracısı Bildirimi

Bir bota hangi sayfalara bakmaması gerektiğini söylemeden önce, hangi botla konuştuğunuzu belirlemelisiniz. Çoğu zaman, "tüm botlar" anlamına gelen basit bir bildirim kullanırsınız. Bu şuna benziyor:

Kullanıcı aracısı: *

Yıldız işareti "tüm botlar" anlamına gelir. Ancak belirli botlar için sayfalar belirtebilirsiniz. Bunu yapmak için, yönergelerini belirlediğiniz botun adını bilmeniz gerekir. Bu şöyle görünebilir:

Kullanıcı aracısı: Googlebot. [taranmayacak sayfaların listesi] Kullanıcı aracısı: Googlebot-Image/1.0. [taranmayacak sayfaların listesi] Kullanıcı aracısı: Bingbot. [taranmayacak sayfaların listesi]

Ve bunun gibi. Sitenizi hiç taramak istemediğiniz bir bot bulursanız, bunu da belirtebilirsiniz.

Kullanıcı aracılarının adlarını bulmak için useragentstring.com [Artık Kullanılamaz]'a bakın.

Sayfalara İzin Verilmeyen

Bu, robot dışlama dosyanızın ana kısmıdır. Basit bir bildirimle, bir bot veya bot grubuna belirli sayfaları taramamasını söylersiniz. Sözdizimi kolaydır. Sitenizin "yönetici" dizinindeki her şeye erişime şu şekilde izin vermezsiniz:

İzin verme: /admin/

Bu satır, botların siteniz.com/admin, siteniz.com/admin/login, siteniz.com/admin/files/secret.html ve yönetici dizini altındaki diğer her şeyi taramasını engeller.

Tek bir sayfaya izin vermemek için izin verme satırında belirtmeniz yeterlidir:

İzin verme: /public/exception.html

Artık "istisna" sayfası çizilmeyecek, ancak "genel" klasördeki diğer her şey çizilecek.

Birden çok dizin veya sayfa eklemek için bunları sonraki satırlarda listelemeniz yeterlidir:

İzin verme: /özel/ İzin verme: /admin/ İzin verme: /cgi-bin/ İzin verme: /temp/

Bu dört satır, bölümün başında belirttiğiniz kullanıcı aracısı için geçerli olacaktır.

Botların sitenizdeki herhangi bir sayfaya bakmasını engellemek istiyorsanız şunu kullanın:

İzin verme: /

Botlar İçin Farklı Standartlar Belirleme

Yukarıda gördüğümüz gibi, farklı botlar için belirli sayfaları belirtebilirsiniz. Önceki iki öğeyi birleştirince, şöyle görünür:

Kullanıcı aracısı: googlebot. İzin verme: /admin/ İzin verme: /private/ Kullanıcı aracısı: bingbot. İzin verme: /admin/ İzin verme: /özel/ İzin verme: /gizli/

"Yönetici" ve "özel" bölümler Google ve Bing'de görünmez olacak, ancak Google "gizli" dizini görecek, Bing ise göremeyecek.

Yıldız kullanıcı aracısını kullanarak tüm botlar için genel kurallar belirleyebilir ve sonraki bölümlerde de botlara özel talimatlar verebilirsiniz.

Hepsini bir araya koy

Yukarıdaki bilgilerle eksiksiz bir robots.txt dosyası yazabilirsiniz. En sevdiğiniz metin düzenleyiciyi çalıştırmanız yeterli (biz Sublime hayranları Verimlilik ve Daha Hızlı İş Akışı için 11 Harika Metin İpuçlarıSublime Text, çok yönlü bir metin editörüdür ve birçok programcı için altın bir standarttır. İpuçlarımız verimli kodlamaya odaklanır, ancak genel kullanıcılar klavye kısayollarını beğenecektir. Devamını oku buralarda) ve botlara sitenizin belirli bölümlerinde hoş karşılanmadıklarını bildirmeye başlayın.

Bir robots.txt dosyası örneği görmek isterseniz, herhangi bir siteye gidin ve sonuna “/robots.txt” ekleyin. İşte Giant Bicycles robots.txt dosyasının bir parçası:

Gördüğünüz gibi, arama motorlarında görünmesini istemedikleri epeyce sayfa var. Ayrıca henüz bahsetmediğimiz birkaç şeyi de eklediler. Robot dışlama dosyanızda başka neler yapabileceğinize bir göz atalım.

Site Haritanızı Bulma

robots.txt dosyanız botlara nerede olduğunu söylüyorsa Olumsuz gitmek, senin site haritası tam tersini yapar 4 Kolay Adımda XML Site Haritası Nasıl Oluşturulurİki tür site haritası vardır - HTML sayfası veya bir XML dosyası. HTML site haritası, ziyaretçilere bir web sitesindeki tüm sayfaları gösteren ve genellikle bu sayfalara bağlantıları olan tek bir sayfadır. Devamını oku ve aradıklarını bulmalarına yardımcı olur. Arama motorları muhtemelen site haritanızın nerede olduğunu zaten biliyor olsa da, onlara tekrar haber vermenin zararı olmaz.

Bir site haritası konumu için bildirim basittir:

Site Haritası: [Site haritasının URL'si]

Bu kadar.

Kendi robots.txt dosyamızda şöyle görünür:

Site Haritası: //www.makeuseof.com/sitemap_index.xml

Hepsi bu kadar.

Tarama Gecikmesi Ayarlama

Tarama gecikme yönergesi, belirli arama motorlarına sitenizdeki bir sayfayı ne sıklıkla dizine ekleyebileceklerini söyler. Bazı arama motorları biraz farklı yorumlasa da saniyeler içinde ölçülür. Bazıları, bir sonrakini başlatmak için her taramadan sonra beş saniye beklemelerini söyleyen 5'lik bir tarama gecikmesi görür. Diğerleri bunu, her beş saniyede bir yalnızca bir sayfa tarama talimatı olarak yorumlar.

Neden bir tarayıcıya mümkün olduğu kadar taramamasını söylersiniz? NS bant genişliğini koru Windows 10'un İnternet Bant Genişliğinizi Boşa Harcamasının 4 YoluWindows 10 internet bant genişliğinizi boşa mı harcıyor? Nasıl kontrol edileceği ve durdurmak için neler yapabileceğiniz aşağıda açıklanmıştır. Devamını oku . Sunucunuz trafiğe ayak uydurmakta zorlanıyorsa, bir tarama gecikmesi oluşturmak isteyebilirsiniz. Genel olarak, çoğu insan bu konuda endişelenmek zorunda değildir. Bununla birlikte, yüksek trafikli büyük siteler biraz deneme yapmak isteyebilir.

Sekiz saniyelik bir tarama gecikmesini şu şekilde ayarlarsınız:

Tarama gecikmesi: 8

Bu kadar. Tüm arama motorları yönergenize uymayacaktır. Ama sormaktan zarar gelmez. İzin verilmeyen sayfalarda olduğu gibi, belirli arama motorları için farklı tarama gecikmeleri ayarlayabilirsiniz.

robots.txt Dosyanızı Yükleme

Dosya kurulumunuzdaki tüm talimatları aldıktan sonra, sitenize yükleyebilirsiniz. Düz bir metin dosyası olduğundan ve robots.txt adına sahip olduğundan emin olun. Ardından sitenize yükleyin, böylece siteniz.com/robots.txt adresinde bulunabilir.

Eğer bir içerik yönetim sistemi Çevrimiçi En Popüler 10 İçerik Yönetim SistemiElle kodlanmış HTML sayfalarının ve CSS'de ustalaşmanın günleri çoktan geride kaldı. Bir içerik yönetim sistemi (CMS) kurun ve dakikalar içinde dünyayla paylaşabileceğiniz bir web sitesine sahip olabilirsiniz. Devamını oku WordPress gibi, muhtemelen bu konuda gitmeniz gereken belirli bir yol vardır. Her içerik yönetim sisteminde farklılık gösterdiğinden, sisteminizin belgelerine bakmanız gerekir.

Bazı sistemler, dosyanızı yüklemek için de çevrimiçi arayüzlere sahip olabilir. Bunlar için önceki adımlarda oluşturduğunuz dosyayı kopyalayıp yapıştırmanız yeterlidir.

Dosyanızı Güncellemeyi Unutmayın

Vereceğim son tavsiye, ara sıra robot dışlama dosyanıza bakmaktır. Siteniz değişir ve bazı ayarlamalar yapmanız gerekebilir. Arama motoru trafiğinizde garip bir değişiklik fark ederseniz, dosyayı da kontrol etmek iyi bir fikirdir. Standart gösterimin gelecekte değişmesi de mümkündür. Sitenizdeki diğer her şey gibi, arada bir kontrol etmeye değer.

Sitenizdeki tarayıcıları hangi sayfalardan hariç tutuyorsunuz? Arama motoru trafiğinde herhangi bir fark fark ettiniz mi? Tavsiyelerinizi ve yorumlarınızı aşağıda paylaşın!