Robotstxt, arama motorlarına bir sitenin nasıl taranacağı hakkında açıklama yapan, botlara bir yol haritası çizen metin dosyalarıdır Aynı zamanda REP yani robot dışlama protokolünün de bir parçası olan robotstxt dosyası genellikle site sahipleri tarafından göz ardı edilen ya da nasıl oluşturulduğuna dair bilgilerin eksik olduğu bir durumdur
Robotstxt dosyası SEO açısından da oldukça önemlidir SEO çalışmalarınızdan daha yüksek bir verim almak için bu sağladığı birçok avantaj vardır Bu yazımızda robotstxt dosyasının ne olduğunu, nasıl oluşturulduğunu ve SEO açısından enden önemli olduğunu sizlerle paylaşacağız
6Robotstxt Nedir?
Robotstxt, arama motorları örümceklerinin bir web sitesini nasıl tarayacağını gösteren metin dosyasıdır Örümceklerin siteyi nasıl taraması gerektiğini, içeriklere nasıl ulaşacağını ve içerikleri nasıl dizine ekleyeceğini gösterir Aynı zamanda bağlantılar karşısında örümceklerin ne yapması gerektiğini konusunda ilgili sayfalar, alt dizinler ve sitenin geneliyle ilgili talimatlar verir Örneğin bu talimatlar; bir bağlantı karşısında örümceklere “bu bağlantıyı takip et ya da “bu bağlantıyı takip etme şeklinde olabilir
Daha basit ve genel anlamda bu dosyanın ne olduğunu anlatmak gerekirse arama motorlarına ait botlara adeta bir yol haritası görevi görür Botların nereden nasıl ilerleyeceğini gösterir Eğer doğru bir şekilde bu talimatlar yani komutlar dosya içerisinde oluşturulursa arama motorlarına ait botlar sizin belirleyeceğiniz talimatlara göre sitenizi tarayacaktır Bu işleme verilen genel ad ise robot engelleme standardı ya da protokolüdür
Bir web sitesinin bazı yapı taşları vardır Robotstxt dosyaları da bu yapı taşlarından biridir Dosya içerisinde yer aşan her şeyin doğru bir şekilde ayarlanması gerekir Aksi takdirde yanlış hazırlanan bir talimat sonucunda taranmasını istemediğiniz şeyler taranarak dizine eklenir Bundan dolayı da dosyada yer alan komutların doğru ve dikkatli bir şekilde oluşturulması ilk şarttır
6Robotstxt Nasıl Oluşturulur?
*Dosyayı oluştururken ilk adımda masaüstünde boş bir txt dosyası oluşturmanız ve adını robottxt yapmanız gerekir
*Oluşturduğunuz dosyayı açıp ilk satıra Useragent:* tanımlamasını ekleyin Bu tanımla ile birlikte yapacağınız sınırlamalar ve komutların tüm arama motorları için geçerli olduğunu gösterir
*İlk tanımlamanın ardından “Disallow: yazmalısınız Bunu ekledikten sonra sınırlama getirmek istediğiniz kısımları ekleyin Eğer bir tanımlama sınırı olmazsa arama motorlarına ait örümcekler tüm web sitenizi tarayarak dizine ekleyecektir
*Bir sonraki adımda dosyaya sitemap eklemelisiniz Bu sayede botlar sitenize daha kolay bir şekilde ulaşacaktır Örneğin; :wwwsiteadısitemapindexxml şeklinde ekleyebilirsiniz
*Site haritanızı ekledikten sonra indekslenmesini istemediğiniz sayfalar için tanımlama yapabilirsiniz Bunun için Disallow: page şeklinde bir tanımlama sapmanız gerekir
Yukarıda genel anlamda bir robotstxt dosyasının nasıl oluşturulacağını anlattık Ancak robotstxt dosyasında yukarıdakilere ek olarak karşılaşabileceğiniz bazı terimler vardır
*Allow: Googlebot için geçerli bir durumdur Dosyaya eklediğiniz zaman izin vereceğiniz sayfa ya da alt kalsör dışında Googlebot’a tarama izni verilmez
*Crawldelay: Örümceklere tarama işleminden önce kaç milisaniye beklemesi gerektiğini gösteren komuttur Ancak Googlebot crawldelay komutunu onaylamaz Bunun yerine tarama hızını ayarlayabilmek için Search Console’u kullanmanız gerekir
6Robotstxt Dosyası Sitenin Hangi Kısmında Yer Almalı?
Arama motorları örümcekleri bu dosyasının nerede olduğunu bilir Dosyayı bulurken de ana dizin, kök domain ya da ana sayfaya bakarlar Fakat botlar http:wwwsiteadıcomrobotstxtwwwsiteadıcomrobotstxt adresinde dosyayı bulamazsa sitede dosyanın olmadığını ve sitenin tamamının taranacağını kabul ederek tarama yapar Bu adres yerine dosya http:wwwsiteadıcomindexrobotstxtwwwsiteadıcomindexrobotstxt veya http:wwwsiteadıcomhomepagerobotstxtwwwsiteadıcomhomepagerobotstxt adreslerinde yer alsa dahi robotlar dosyaya ulaşamayacaktır Bu durumda da robotlar dosyanın olmadığını düşünerek sitede tarama yapar Bu yüzdende dosyayı ana dizine ya da kök domaine eklemeniz gerekir
6SEO Açısından Robotstxt Dosyasının Önemi
Robotstxt dosyası sitelerin bazı kısımlarına olan erişimi düzenlemenizi sağlar Bu anlamda da bu dosyaların bazı faydaları vardır Bunlar aşağıdaki gibi sıralanabilir:
1
*Sitede yer alan görünmesini istemediğiniz kısımların gizli kalmasını sağlayabilirsiniz Örneğin sitede yer alan kopya içeriklerin arama sonuçlarında görünmesini engelleyebilirsiniz
*Site haritasındaki konumları belirtmenizi sağlar
*Botların aynı anda yapacağı işlemlerde aşırı yükleme sonucu sunucuda sorunlar ortaya çıkabilir Tarama gecikmesi ile bu sorunun önüne geçebilirsiniz
*İstediğiniz sayfaların ve bağlantıları dosyada engelleyerek taranmasını da engellersiniz Bu sayede istemediğiniz bağlantılar ve kaynaklar dizine eklenmeyecektir
*Hassas verilerin arama sonuçlarında gösterilmesini engelleyebilirsiniz
*Arama motorları tarama işlemi sırasında dosya içeriğini önbellekler Önbelleğe alınan içerik de günlük en az 1 defa güncellenir Fakat dosyada değişim yaparsanız ve güncelleme hızını artırmak isterseniz bunu Google’a göndererek hızı artırabilirsiniz
Kısacası sitenizin hangi kısımlarının taranıp taranmayacağını belirleyerek indekslenen içeriklerin, dosyaların yada sayfaların kontrolünü elinizde bulundurabilirsiniz Ancak bütün bunları yaparken çok dikkatli olmalısınız Çünkü yapacağınız yanlışlar tüm indekslerinizin silinmesini de yol açabilir
Robotstxt dosyası SEO açısından da oldukça önemlidir SEO çalışmalarınızdan daha yüksek bir verim almak için bu sağladığı birçok avantaj vardır Bu yazımızda robotstxt dosyasının ne olduğunu, nasıl oluşturulduğunu ve SEO açısından enden önemli olduğunu sizlerle paylaşacağız
6Robotstxt Nedir?
Robotstxt, arama motorları örümceklerinin bir web sitesini nasıl tarayacağını gösteren metin dosyasıdır Örümceklerin siteyi nasıl taraması gerektiğini, içeriklere nasıl ulaşacağını ve içerikleri nasıl dizine ekleyeceğini gösterir Aynı zamanda bağlantılar karşısında örümceklerin ne yapması gerektiğini konusunda ilgili sayfalar, alt dizinler ve sitenin geneliyle ilgili talimatlar verir Örneğin bu talimatlar; bir bağlantı karşısında örümceklere “bu bağlantıyı takip et ya da “bu bağlantıyı takip etme şeklinde olabilir
Daha basit ve genel anlamda bu dosyanın ne olduğunu anlatmak gerekirse arama motorlarına ait botlara adeta bir yol haritası görevi görür Botların nereden nasıl ilerleyeceğini gösterir Eğer doğru bir şekilde bu talimatlar yani komutlar dosya içerisinde oluşturulursa arama motorlarına ait botlar sizin belirleyeceğiniz talimatlara göre sitenizi tarayacaktır Bu işleme verilen genel ad ise robot engelleme standardı ya da protokolüdür
Bir web sitesinin bazı yapı taşları vardır Robotstxt dosyaları da bu yapı taşlarından biridir Dosya içerisinde yer aşan her şeyin doğru bir şekilde ayarlanması gerekir Aksi takdirde yanlış hazırlanan bir talimat sonucunda taranmasını istemediğiniz şeyler taranarak dizine eklenir Bundan dolayı da dosyada yer alan komutların doğru ve dikkatli bir şekilde oluşturulması ilk şarttır
6Robotstxt Nasıl Oluşturulur?
*Dosyayı oluştururken ilk adımda masaüstünde boş bir txt dosyası oluşturmanız ve adını robottxt yapmanız gerekir
*Oluşturduğunuz dosyayı açıp ilk satıra Useragent:* tanımlamasını ekleyin Bu tanımla ile birlikte yapacağınız sınırlamalar ve komutların tüm arama motorları için geçerli olduğunu gösterir
*İlk tanımlamanın ardından “Disallow: yazmalısınız Bunu ekledikten sonra sınırlama getirmek istediğiniz kısımları ekleyin Eğer bir tanımlama sınırı olmazsa arama motorlarına ait örümcekler tüm web sitenizi tarayarak dizine ekleyecektir
*Bir sonraki adımda dosyaya sitemap eklemelisiniz Bu sayede botlar sitenize daha kolay bir şekilde ulaşacaktır Örneğin; :wwwsiteadısitemapindexxml şeklinde ekleyebilirsiniz
*Site haritanızı ekledikten sonra indekslenmesini istemediğiniz sayfalar için tanımlama yapabilirsiniz Bunun için Disallow: page şeklinde bir tanımlama sapmanız gerekir
Yukarıda genel anlamda bir robotstxt dosyasının nasıl oluşturulacağını anlattık Ancak robotstxt dosyasında yukarıdakilere ek olarak karşılaşabileceğiniz bazı terimler vardır
*Allow: Googlebot için geçerli bir durumdur Dosyaya eklediğiniz zaman izin vereceğiniz sayfa ya da alt kalsör dışında Googlebot’a tarama izni verilmez
*Crawldelay: Örümceklere tarama işleminden önce kaç milisaniye beklemesi gerektiğini gösteren komuttur Ancak Googlebot crawldelay komutunu onaylamaz Bunun yerine tarama hızını ayarlayabilmek için Search Console’u kullanmanız gerekir
6Robotstxt Dosyası Sitenin Hangi Kısmında Yer Almalı?
Arama motorları örümcekleri bu dosyasının nerede olduğunu bilir Dosyayı bulurken de ana dizin, kök domain ya da ana sayfaya bakarlar Fakat botlar http:wwwsiteadıcomrobotstxtwwwsiteadıcomrobotstxt adresinde dosyayı bulamazsa sitede dosyanın olmadığını ve sitenin tamamının taranacağını kabul ederek tarama yapar Bu adres yerine dosya http:wwwsiteadıcomindexrobotstxtwwwsiteadıcomindexrobotstxt veya http:wwwsiteadıcomhomepagerobotstxtwwwsiteadıcomhomepagerobotstxt adreslerinde yer alsa dahi robotlar dosyaya ulaşamayacaktır Bu durumda da robotlar dosyanın olmadığını düşünerek sitede tarama yapar Bu yüzdende dosyayı ana dizine ya da kök domaine eklemeniz gerekir
6SEO Açısından Robotstxt Dosyasının Önemi
Robotstxt dosyası sitelerin bazı kısımlarına olan erişimi düzenlemenizi sağlar Bu anlamda da bu dosyaların bazı faydaları vardır Bunlar aşağıdaki gibi sıralanabilir:
1
*Sitede yer alan görünmesini istemediğiniz kısımların gizli kalmasını sağlayabilirsiniz Örneğin sitede yer alan kopya içeriklerin arama sonuçlarında görünmesini engelleyebilirsiniz
*Site haritasındaki konumları belirtmenizi sağlar
*Botların aynı anda yapacağı işlemlerde aşırı yükleme sonucu sunucuda sorunlar ortaya çıkabilir Tarama gecikmesi ile bu sorunun önüne geçebilirsiniz
*İstediğiniz sayfaların ve bağlantıları dosyada engelleyerek taranmasını da engellersiniz Bu sayede istemediğiniz bağlantılar ve kaynaklar dizine eklenmeyecektir
*Hassas verilerin arama sonuçlarında gösterilmesini engelleyebilirsiniz
*Arama motorları tarama işlemi sırasında dosya içeriğini önbellekler Önbelleğe alınan içerik de günlük en az 1 defa güncellenir Fakat dosyada değişim yaparsanız ve güncelleme hızını artırmak isterseniz bunu Google’a göndererek hızı artırabilirsiniz
Kısacası sitenizin hangi kısımlarının taranıp taranmayacağını belirleyerek indekslenen içeriklerin, dosyaların yada sayfaların kontrolünü elinizde bulundurabilirsiniz Ancak bütün bunları yaparken çok dikkatli olmalısınız Çünkü yapacağınız yanlışlar tüm indekslerinizin silinmesini de yol açabilir
