Robots.Txt Dosyası Nedir?

Robots.Txt Dosyası Nedir?

Robots.txt, sitede bulunan ve arama sistemi robotları için tasarlanmış metin dosyasıdır. Arama motoru botlarının site üzerindeki erişim yeteneklerini düzenleyen dosyalardır. Sitenin ana dizininde bulunur ve ismi değişmez.

Robots.txt, botların site üzerinde erişim sağlayabileceği veya erişimi kısıtlanabileceği alanları belirlemektedir. Siteye ait gizli bölümlerin, mesela yönetici giriş sayfalarının arama motoru sonuçlarında olması istenmediğinde robots.txt tarafından bu kısıtlama yapılabilmektedir.

Robots.txt  Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir. Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır.

 

Robots.txt dosyası her web sitesinde mutlaka olmalıdır ve doğru bir şekilde yazılmalıdır, doğru bir şekilde komutlanmaz  ise siteniz arama motoru botları tarafından indexlenmeyebilir.

Robots.txt Nasıl Oluşturulur;

Herhangi bir metin düzenleyicisi (Not Defteri , Notepad) açıp ismini robot.txt olarak kaydedin ve birazdan belirteceğim  kurallara uygun olarak doldurup bu dosyayı sitenizin kök dizinine ekleyin.

Robots.txt Dosyasında Bulunan Komutlar:

User-Agent: Hangi arama motorlarının sitenizi indexleme izni olduğu belirtilir.

Allow: Indexlenmesine izin verilecek olan dosya yada dizi için kullanılan komuttur.

Disallow: Indexlenmesine izin vermediğimiz yada istemediğimiz dosya ve klasörler için kullanılır.

Robots.txt Oluştururken Nelere Dikkat Etmeliyiz;

Dosya içerisindeki komutlarda yorum bulunmamalıdır.
Satır başlarında  boşluk olmamalı.
Komutları yanlış yazmamaya dikkat etmeliyiz.
Komutların sıralamasını değiştirmemeliyiz.
Birden fazla dizinin indexlenmemesini istiyorsanız bunu ayrı iki satırda belirtmek yerine tek satırda belirtebilirsiniz.
Dosya ve klasör isimlerini belirtirken küçük harf kullanmaya özen gösterin.

Robots.txt dosyanızın düzgün çalışıp çalışmadığını test etmek için Google Search Console Robots.txt test aracını kullanabilirsiniz. https://www.google.com/webmasters/tools/robots-testing-tool?hl=tr

Umarım faydalı olmuştur, bir sonraki yazımda görüşmek dileğiyle.

Yazar: Nilüfer Çelikbağ

Düzce Üniversitesi  / Yönetim Bilişim Sistemleri

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir