Robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, Robotları Engelleme Standardı'nı kullanır.Google Botları sitenizi ziyaret ettiğinde ilk Robots.txt dosyasına girecektir Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.
Web sitenizin önemli bilgiler içeren bazı bölümlerini arama motoru botlarının erişimine kapatmak için Robots.txt dosyası kullanabilirsiniz.Bu dosyayı oluştururken dikkat etmeliyiz çünkü yanlış oluşturulan bir Robots.txt dosyası sitenizin önemli bölümlerinin arama motorlarının erişimine kapanması anlamına gelebilir.
Aşağıdaki Robots.txt örneğini inceleyebilirsiniz ;
User-agent: * ( Sitenizin tüm Google Botları’nca istisnasız indexlenmesine izin verilmiş demektir. )
Allow: / ( Allow komutu bot'ların sayfanızın hangi kısımlarının indexlenmesi gerektiğini belirler. Genellikle; Allow : / olarak kullanılır ki bu; tüm sayfalarınızın indexleneceği anlamına gelir.
)
