About Robots.txt

Robots.txt, merupakan file untuk mengatur hak akses dari para web spider atau web robots yang akan meng-index sebuah situs. File robots.txt biasa ditemukan pada root sebuah situs, misalnya situs yang saya miliki, file robots.txt bisa ditemukan di http://site.com/robots.txt. Walaupun kecil, file ini mempunyai fungsi yang tidak sebandingan dengan ukurannya, file ini bisa mempengaruhi bagaimana situs kita akan di-index. Saya akan memberikan 8 contoh mudah dalam penulisan file robots.txt dan saya yakin Anda pasti bisa!

Contoh 1:
User-agent: *
Disallow:
#contoh di atas akan memperbolehkan semua robots untuk meng-index semua file dari sebuah situs

Contoh 2:
User-agent: *
Disallow: /
#contoh di atas akan melarang semua robots untuk meng-index semua file dari sebuah situs

Contoh 3:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
#contoh di atas akan melarang semua robots untuk masuk ke dalam folder cgi-bin, images, tmp, dan private

Contoh 4:
User-agent: GoogleBot # replace the ‘BadBot’ with the actual user-agent of the bot
Disallow: /private/
#contoh di atas akan melarang robots BadBot untuk ke dalam folder private

Contoh 5:
User-agent: *
Disallow: /directory/file.html
#contoh di atas akan melarang semua robots untuk mengakses file.html

Contoh 6:
User-agent: *
Allow: /folder1/myfile.html
Disallow: /folder1/
#contoh di atas akan melarang semua robots untuk mengakses semua file dalam folder1, kecuali file myfile.html

Contoh 7:
User-agent: *
Crawl-delay: 10
#contoh di atas memperbolehkan robots untuk meng-index situs dengan delay 10 detik atau setiap 10 detik

Contoh 8:
User-agent: *
Request-rate: 1/5
Visit-time: 0600-0845
#contoh di atas memperbolehkan robots untuk meng-index situs hanya satu halaman setiap 5 detik dan hanya boleh berkunjung antara pukul 06:00 sampai 08:45 UTC (GMT)

Setiap baris yang diawali dengan simbol pagar (#), hanya dianggap sebagai komentar dan tidak akan bepengaruh terhadap Robots. Pada artikel berikutnya saya akan memberikan beberapa tools online yang berhubungan dengan file robot.txt.