robots-txt-blocks-link-juic.gif

Robots.txt: Sejarah, Fungsi dan Penerapannya


0

Anda mungkin pernah mendengar tentang istilah Robots.txt, namun apakah Anda paham apa yang dimaksud dengan robots.txt tersebut? Baiklah, kita akan membahas tentang robots.txt pada kesempatan kali ini.

Apa itu Robots.txt dan Sejarahnya

Untuk sedikit menambah wawasan dan pengetahuan, robots.txt awalnya ditemukan oleh seseorang bernama Martijn Koster pada tahun 1994 pada saat bekerja di WebCrawler.

Robots.txt: Sejarah, Fungsi dan Penerapannya

Robots.txt juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt atau dalam istilah bahasa Inggris disebut dengan The robots exclusion standard atau robots exclusion protocol.

Fungsi Robots.txt

Robots.txt berfungsi untuk mencegah robot perayap dari mesin telusur untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penerapan

Kita bisa menerapkan kode robots.txt pada blog kita dengan cara masuk Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.makintau.com/sitemap.xml

Arti dari setiap kode diatas:

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti …./search/label dan … search/search?updated…

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://domain.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.

Bagaimana? Sudah mengerti tentang robots.txt? Sedikit saran, sebaiknya Anda biarkan saja robots.txt ini secara default seperti yang sudah ada. Karena jika Anda salah dalam melakukan setting robots.txt maka bisa-bisa website Anda tidak akan muncul di Search Engine karena perayap dicekal oleh robots.txt.


Like it? Share with your friends!

0

What's Your Reaction?

Bangga Bangga
0
Bangga
Keren Keren
0
Keren
Lucu Lucu
0
Lucu
Sedih Sedih
0
Sedih
Wow Wow
0
Wow
Marah Marah
0
Marah
Takut Takut
0
Takut

Legend

Pecinta ayam goreng, tempe penyet dan klepon.

Comments

comments

2 Comments

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

  1. Gan kalo kita mau custom domain blogger pake freenom gimana cara nya ya, ane udeh bikin domain free di freenom tp kok ggal terus mau costom bloggee?
    Trma kasih gan

Choose A Format
Personality quiz
Series of questions that intends to reveal something about the personality
Trivia quiz
Series of questions with right and wrong answers that intends to check knowledge
Poll
Voting to make decisions or determine opinions
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Meme
Upload your own images to make custom memes
Video
Youtube, Vimeo or Vine Embeds
Audio
Soundcloud or Mixcloud Embeds
Image
Photo or GIF
Gif
GIF format