Son konular

Robots.txt Nedir? Ne İşe Yarar ve Robots.txt Oluşturma

Konuyu Yükselt

SoruCevap

Yeni Üye
Katılım
17 Ocak 2024
Mesajlar
1
Çözümler
1
Tepkime
43
Puanları
318
Yaş
36
Coin
256,938
Robots.txt nedir?
Arama motorları botlarının görevleri web sitelerinizi tarayıp arşivlerini oluşturarak arama sonuçlarında kullanıcılara sunmaktır. Bu botlar sitenize giriş yaptıktan sonra bütün dosyaları tek tek gezerek bütün sitenizin en ince içeriklerine kadar taramaktadır. Bu tarama esnasında sitenize ait olan yönetici giriş bölümlerini de taramaktadır ve bunun sonucunda da sitenizin yönetim panel vb. arama sonuçlarına indexlenebilir. Dolayısı ile böyle bir gelişme siteniz üzerinden açıklar verebilirsiniz anlamına gelmektedir. Robots.txt amacı da bundan dolayı işinize yarayan bot yönlendirme metin dosyasıdır.
Robots.txt ne işe yarar?
Robots.txt oluşturma yaparak sitenizin indexlenmesi gereken bölümlerini yönlendirebilirsiniz. Wordpress kullanıcı iseniz sadece yazılar ve sayfaları indexletebileceğiniz gibi bu komutlar tüm web sayfa oluşturma platformlarında da geçerlidir. Kişisel yapmış olduğunuz basit bir HTML, CSS ile tasarlanmış sitenizin dahi robots.txt bulundurması faydanıza olacaktır. Robots.txt dosyası sitenizin açıklarını koruma amacı ile kullanabileceğiniz gibi ek olarak site indexlemesi yaparken istediğiniz bölümlerin arama motorlarına eklenmesini isteyebilirsiniz.
Robots.txt nasıl olmalıdır?
Yanlış oluşturulmuş bir robots.txt dosyası sitenizin hiç index alamamasına sebep olabileceği gibi açık verilerek robots.txt oluşturma da sitenizin yönetim panelleri açısından güvenlik açıklarına neden olabilir. Bu konuda en sağlıklı robots.txt düzenleme yapabilmek için Google ait olan Ziyaretçiler için gizlenmiş link,görmek için Giriş yap veya üye ol. sayfasından yararlanabilirsiniz. İstekleriniz ve ihtiyaçlarınız doğrultusunda kısaca robots.txt dosyası nasıl olmalı cevabı verecek olur isek;

Wordpress kullanıcıları için;
User-agent: *
Allow: /
Disallow: /wp-admin/*
Disallow: /wp-login/*
Disallow: /cgi-bin/

Sitemap: Ziyaretçiler için gizlenmiş link,görmek için Giriş yap veya üye ol.

Blogger kullanıcıları için;
User-agent: *
Disallow: /search
Disallow: /search?q=
Allow: /

Sitemap: Ziyaretçiler için gizlenmiş link,görmek için Giriş yap veya üye ol.

yeterli olmaktadır. Sitenizin eğer ki Ahrefs, Alexibot, Moz’a ait olan dotbot gibi botlar tarafından taranmamasını istiyorsanız;
User-agent: Alexibot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /

kodlarından faydalanabilirsiniz. Böyle kötü botları engellemeniz siteniz açısından oldukça faydalı olacaktır. Bu botlar sitenizi gezerek sayfalarınız hakkında bilgiler toplayarak kendi kullanıcılarına hizmet olarak ücret karşılığı sunmaktadır. Sitenizin içerikleri hakkında bilgi toplamaya çalışan bu botlar ayrıca hemen çıkma oranı gibi etmenleri etkilemektedir. Robots.txt düzenleme hakkında bilmemiz gereken temel bilgiler bu kadar iken daha detaylı bilgiler kullanıcıların ihtiyaçlarına göre değişiklik gösterebilmektedir.
 

Similar threads

  • Soru
Arama motorlarına ait botlar herhangi bir web sitesini tararken, ilk önce robots.txt dosyasını ararlar. Bu nedenle web sitesi sahipleri “robots txt nedir” sorusunun cevabını ve dosya içerisine yazılması gereken komut kalıplarını net şekilde bilmelidir. Aksi halde arama motoru botları web...
Cevaplar
0
Görüntüleme
48
  • Soru
Robotstxt, arama motorlarına bir sitenin nasıl taranacağı hakkında açıklama yapan, botlara bir yol haritası çizen metin dosyalarıdır Aynı zamanda REP yani robot dışlama protokolünün de bir parçası olan robotstxt dosyası genellikle site sahipleri tarafından göz ardı edilen ya da nasıl...
Cevaplar
0
Görüntüleme
31
  • Soru
Google Robots Txt dosyasını sayfa tarama işlemlerinde kullanır. Google, Robots Txt dosyasında belirtilen kısıtlamaları dikkate alır. Robots Txt dosyası, arama motorlarına hangi sayfaların taranabileceğini veya taranamayacağını bildirir. Google, Robots Txt dosyasını sayfaların indekslenmesinde...
Cevaplar
0
Görüntüleme
40
  • Soru
Robot txt dosyası nerede? Robot txt dosyası bulma işlemi oldukça basittir. Web sitesi oluştururken birçok dosya oluşturulur ve robot txt dosyası da bunlardan biridir. Genellikle ana dizinde yer alır ve arama motorlarına site hakkında bilgi vermek için kullanılır. Robots.txt dosyası, arama...
Cevaplar
0
Görüntüleme
30
  • Soru
Google News yani Türkiye’de bilinen adıyla Google Haberler, Google arama motoru tarafından sunulan listeleme sistemidir. Google News’e kayıt olan haber siteleri, Google tarafından incelendikten sonra sisteme kabul edilmektedir. Günümüzdeki akıllı mobil cihazlarda rahatlıkla ulaşabildiğimiz...
Cevaplar
0
Görüntüleme
34
Üst Alt