Robots.txt Nedir, Robots.txt Nasıl Oluşturulur?

103 0
robots-txt-nedir-robots-txt-nasil-olusturulur

Robots.txt, arama motorlarına ait örümcek botların internet sitesindeki hangi dizinlere erişip erişemeyeceğini belirleyen komut dosyasıdır. Robots.txt dosyası sitenin kök dizininde oluşturulur ve ismi değişmez.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası, WordPress gibi hazır sistemlerde çeşitli eklentilerle basit bir şekilde oluşturulur. Hazır sistem kullanmayan internet sitelerinde ise elle oluşturulur.

Yeni bir metin belgesi açarak adı robots.txt koyulur. Robots.txt dosyasında arama motoru botlarının anlayabileceği bazı özel komutlar bulunmaktadır. Bunlar;

  • User-agent: Sitenizin hangi Google botunu görmesini istiyorsanız, Google botunun adı yazılmalıdır. Fakat en sağlıklısı tüm Google botlarına izin vermektir. Tüm Google botlarına izin vermek için ” User-agent: * ” olarak yazılır.
  • Disallow: Sitenize gelen örümcek botların hangi dizinleri görmemesini istiyorsanız bu bölüme o dizinleri yazabilirsiniz. Örnek verecek olursak ” Disallow: /wp-content/ ” şeklinde dizine eklenmesini istemeyen dizini yazabilirsiniz.
  • Allow: Yasakladığınız bir dizin içinde bulunan dosyayı Google botlarına erişime açmanıza yarar. Örneğin; ” Allow: /dosya /site.html ” şeklinde bir komut kullandığınızda, “/dosya” dizini yasaklı olsa da o dizinde bulunan “site.html” dosyası dizine eklenir.
  • Sitemap: Site haritanızı robots.txt dosyanıza yazabilir ve Google botlarına yardımcı olabilirsiniz. Bunun için yapmanız gereken robots.txt dosyanıza ” Sitemap: http://www.site.com/sitemap.xml “

WordPress İçin En İdeal Robots.txt Dosyası

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*

Disallow: *?replytocom

Sitemap: http://www.seokutuphanesi.com/sitemap.xml

Değerlendirme
Tarih
Yazı
Robots.txt Nedir, Robots.txt Nasıl Oluşturulur?
Puan
51star1star1star1star1star

Benzer Haberler

anchor-text-nedir-800x500

Anchor Text Nedir?

Yayınlayan: - 30 Ocak 2017 0
Anchor text, tıklanabilir kelimelerde görülen, Türkçe karşılığı olarak “çapa metin” denilen ve SEO’da genelde kırmızı ve mavi renklerde kullanılan kelimelerdir.…
kullanici-deneyimi-ux-nedir

Kullanıcı Deneyimi (UX) Nedir?

Yayınlayan: - 3 Ocak 2017 0
Kullanıcı Deneyimi (UX), bir kullanıcının herhangi bir ürünü veya sistemi kullanırken oluşan memnuniyet durumunu belirten etkileşim kavramıdır. Kullanıcı Deneyimi kavramının birçok…

Yorum Yaz

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir