Robots.txt: Sejarah, Fungsi dan Penerapannya

Bantu kami membuat situs ini menjadi lebih baik.

Dengan menonaktifkan AdBlock atau aplikasi-aplikasi sejenis yang mampu memblokir iklan, kamu sudah membantu kami untuk tetap membuat konten-konten di website ini terus update.

Untuk selengkapnya, baca artikel kami berikut ini: Suka Artikel Kami? Tolong Matikan AdBlock Anda Untuk Makintau

Anda mungkin pernah mendengar tentang istilah Robots.txt, namun apakah Anda paham apa yang dimaksud dengan robots.txt tersebut? Baiklah, kita akan membahas tentang robots.txt pada kesempatan kali ini.

Apa itu Robots.txt dan Sejarahnya


Untuk sedikit menambah wawasan dan pengetahuan, robots.txt awalnya ditemukan oleh seseorang bernama Martijn Koster pada tahun 1994 pada saat bekerja di WebCrawler.

Robots.txt: Sejarah, Fungsi dan Penerapannya

Robots.txt juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt atau dalam istilah bahasa Inggris disebut dengan The robots exclusion standard atau robots exclusion protocol.

Fungsi Robots.txt


Robots.txt berfungsi untuk mencegah robot perayap dari mesin telusur untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penerapan


Kita bisa menerapkan kode robots.txt pada blog kita dengan cara masuk Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.makintau.com/sitemap.xml

Arti dari setiap kode diatas:

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://domain.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.

Bagaimana? Sudah mengerti tentang robots.txt? Sedikit saran, sebaiknya Anda biarkan saja robots.txt ini secara default seperti yang sudah ada. Karena jika Anda salah dalam melakukan setting robots.txt maka bisa-bisa website Anda tidak akan muncul di Search Engine karena perayap dicekal oleh robots.txt.