fbpx

Robots.txt: Sejarah, Fungsi dan Penerapannya

1 min


2 comments
robots-txt-blocks-link-juic.gif

Anda mungkin pernah mendengar tentang istilah Robots.txt, namun apakah Anda paham apa yang dimaksud dengan robots.txt tersebut? Baiklah, kita akan membahas tentang robots.txt pada kesempatan kali ini.

Apa itu Robots.txt dan Sejarahnya

Untuk sedikit menambah wawasan dan pengetahuan, robots.txt awalnya ditemukan oleh seseorang bernama Martijn Koster pada tahun 1994 pada saat bekerja di WebCrawler.

Robots.txt: Sejarah, Fungsi dan Penerapannya

Robots.txt juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt atau dalam istilah bahasa Inggris disebut dengan The robots exclusion standard atau robots exclusion protocol.

Fungsi Robots.txt

Robots.txt berfungsi untuk mencegah robot perayap dari mesin telusur untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penerapan

Kita bisa menerapkan kode robots.txt pada blog kita dengan cara masuk Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.makintau.com/sitemap.xml

Arti dari setiap kode diatas:

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti …./search/label dan … search/search?updated…

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://domain.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.

Bagaimana? Sudah mengerti tentang robots.txt? Sedikit saran, sebaiknya Anda biarkan saja robots.txt ini secara default seperti yang sudah ada. Karena jika Anda salah dalam melakukan setting robots.txt maka bisa-bisa website Anda tidak akan muncul di Search Engine karena perayap dicekal oleh robots.txt.


Like it? Share with your friends!

2 comments

What's Your Reaction?

Bangga Bangga
0
Bangga
Keren Keren
0
Keren
Lucu Lucu
0
Lucu
Sedih Sedih
0
Sedih
Wow Wow
0
Wow
Marah Marah
0
Marah
Takut Takut
0
Takut

Comments

comments

Send this to a friend