Robots.txt dosyası

Robots.txt dosyası web sitenizin bir web robotu tarafından taranıp, taranmıyacağını veya taranıyorsa, sayfa çekme anında sayfanın indirilme hızını belirleyen bir protocol dosyasıdır.
robots.txt dosyasındaki en önemli alanlar User-Agent, Crawl-Delay ve Disallow alanlarıdır.

User-Agent: Robot’un ismini,
Crawl-Delay: Arda arda gelen sayfa çekilmesi arasındaki zamanı,
Disallow: Robot tarafından taranmaması gereken klasörleri belirtir.

Örnek-1: robots.txt dosyasının içeriği aşağıdaki gibi olursa:

User-agent: TezBot
Disallow:
Crawl-delay: 1

ilgili sitenin her dokümanının TezBot tarafından 1 saniye aralıklarla taranabileceği söylenmiş olur.

Örnek-2: robots.txt dosyasının içeriği aşağıdaki gibi olursa:

User-agent: TezBot
Disallow:
Crawl-delay: 20

ilgili sitenin her dokümanının TezBot tarafından 20 saniye aralıklarla taranabileceği söylenmiş olur.

Örnek-3: robots.txt dosyasının içeriği aşağıdaki gibi olursa:

User-agent: TezBot
Disallow: /

ilgili sitenin dokümanlarının TezBot tarafından taranamayacağı söylenmiş olur.

Örnek-4: robots.txt dosyasının içeriği aşağıdaki gibi olursa:

User-agent: TezBot
Disallow: /ozel/
Crawl-delay: 5

ilgili sitenin /ozel/ klasörü altındaki dokümanları hariç diğer dokümanların TezBot tarafından 5 saniye aralıklarla taranabileceği söylenmiş olur.