Robots txt, google aramasında sitenizde hangi dizinin botlar tarafından googleye eklenmesini hangi dizinlerin googleye eklenmemesini sağlayan bir komut dosyasıdır.Bazı tarayıcı motorlarının geliştirdiği botlar sitenize girerek içerikler denetleyerek komut dosyasında izin verdiğiniz içerikleri arama motorlarına eklerler . Robots txt komut dosyası her sitenin olmazsa olmazlarından biridir.Özelikle SEO Açısından.Doğru olarak yazılmış olduğundan emin olunması gerekir.İstemediğiniz dizinler bir anda herkese acık hale gelebilir.Buraya dikkat edilmesi gerekir.
Ücretsiz Robots.txt nasıl oluşturulur ?
Ücretsiz Robots.txt oluşturmak sizin işinizi dahada kolaylaştıracaktır.İlk olarak https://urlshort.in/SEOptimizer-robottxt adlı sitemize giriyoruz.
ROBOT.TXT |
Burda izin vereceğimiz tarayıcı botları bulunmaktadır.Sitenizin içeriklerinin yayınlanmasını istediğiniz tarayıcı motor bot larını ‘allowed’ diyebilirsiniz.En alt kısımda sitenizin sitemapını girmenizi istediği bir bölüm var oradan sitemap’ınızı giriniz.
Restricted Directories isimli kısımda sitenizin arama motorlarında gözükmesini istemediğiniz dizinleri belirleyebilirsiniz
Son olarak oluşturduğunuz komut dosyasını sitenizin dizinine robots.txt dosyası oluşturarak uygulayabilirsiniz.
Kaynak:https://inciblog.com/robots-txt-nedir-ne-icin-gereklidir-151/
Resim:https://inciblog.com/robots-txt-nedir-ne-icin-gereklidir-151/
Kaynak:https://inciblog.com/robots-txt-nedir-ne-icin-gereklidir-151/
Resim:https://inciblog.com/robots-txt-nedir-ne-icin-gereklidir-151/
Yorumlar
Yorum Gönder