robots-txt-nedir-robots-txt-nasil-olusturulur

Robots.txt Nedir, Robots.txt Nasıl Oluşturulur?

Robots.txt Nedir?

Robots.txt, arama motorlarına ait örümcek botların internet sitesindeki hangi dizinlere erişip erişemeyeceğini belirleyen komut dosyasıdır. Robots.txt dosyası sitenin kök dizininde oluşturulur ve ismi değişmez.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası, WordPress gibi hazır sistemlerde çeşitli eklentilerle basit bir şekilde oluşturulur. Hazır sistem kullanmayan internet sitelerinde ise elle oluşturulur.

Yeni bir metin belgesi açarak adı robots.txt koyulur. Robots.txt dosyasında arama motoru botlarının anlayabileceği bazı özel komutlar bulunmaktadır. Bunlar;

  • User-agent: Sitenizin hangi Google botunu görmesini istiyorsanız, Google botunun adı yazılmalıdır. Fakat en sağlıklısı tüm Google botlarına izin vermektir. Tüm Google botlarına izin vermek için ” User-agent: * ” olarak yazılır.
  • Disallow: Sitenize gelen örümcek botların hangi dizinleri görmemesini istiyorsanız bu bölüme o dizinleri yazabilirsiniz. Örnek verecek olursak ” Disallow: /wp-content/ ” şeklinde dizine eklenmesini istemeyen dizini yazabilirsiniz.
  • Allow: Yasakladığınız bir dizin içinde bulunan dosyayı Google botlarına erişime açmanıza yarar. Örneğin; ” Allow: /dosya /site.html ” şeklinde bir komut kullandığınızda, “/dosya” dizini yasaklı olsa da o dizinde bulunan “site.html” dosyası dizine eklenir.
  • Sitemap: Site haritanızı robots.txt dosyanıza yazabilir ve Google botlarına yardımcı olabilirsiniz. Bunun için yapmanız gereken robots.txt dosyanıza ” Sitemap: http://www.site.com/sitemap.xml “

WordPress İçin En İdeal Robots.txt Dosyası

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*

Disallow: *?replytocom

Sitemap: http://www.seokutuphanesi.com/sitemap.xml

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir