Cara Setting Robots.txt Manual Di Blogger Agar Blog SEO Friendly

Cara Setting Robots.txt Manual Di Blogger Agar Blog SEO Friendly - Robots.txt merupakan sebuah file berekstensi .txt dimana file tersebut berisi sebuah perintah kepada sebuah robot crawler milik mesin pencari seperti Google, Bing, Yahoo, dan lain - lain. Setiap website atau blog di anjurkan memiliki settingan robots.txt ini karena, dengan adanya file robots.txt ini kita dapat mengontrol halaman mana saja yang boleh kita tampilkan. Contohnya, kita tidak menginginkan halaman admin pada website kita tampil di mesin pencari. Nah, maka dari itu kita dapat menggunakan perintah melalui robots.txt agar robot crawler tidak melakukan indexing ke halaman tersebut. Itulah tujuan dari robots.txt.

Begitupun di blog, terutama platform Blogger yang saya gunakan. Terdapat fitur setting perintah robots.txt baik secara manual ataupun generate otomatis. Hal ini dapat kita manfaatkan untuk menghindari beberapa halaman yang tidak ingin kita tampilkan, seperti kontak, about, privacy policy, dan lain - lain. Caranya cukup mudah, kalian tinggal mengikuti langkah - langkah di bawah. Oh iya, admin juga akan memberikan arti dari perintah yang akan di submit robots.txt.

Bagaimana Cara Setting Robots.txt Di Blogger?

Langkah pertama yang harus kalian lakukan adalah login ke dashboard blogger. Tentunya kalian harus memiliki blog dari platform blogger. Setelah itu, kalian pilih menu setelan / setting dan pilih sub menu preferensi penelusuran. Di sub menu preferensi penelusuran kita cari tulisan robots.txt khusus dan kita pilih aktifkan konten robots.txt khusus? dengan memilih radiobutton Ya.

Seperti gambar di atas, kita dapat melihat sebuah kotak komentar dimana perintah - perintah kepada robot crawler nanti masukkan di dalam kotak komentar tersebut. Nah, lalu kita isi apa? Lalu, apa saja perintah robots.txt? Di bawah ini adalah beberapa perintah - perintah robots.txt.

Perintah - Perintah Dasar Untuk Robots.txt

• User-Agent adalah perintah untuk nama robot crawler dari mesin pencari.
• Disallow adalah sebuah perintah untuk robot perayap dari mesin pencari (user-agent) agar tidak merayapi halaman yang ditentukan.
• Allow adalah perintah untuk robot perayap agar robot perayap merayapi halaman yang di tentukan melalui perintah.
• Sitemap adalah bagian dari perintah untuk robot perayap agar merayapi sitemap dari sebuah website atau blog.

Keempati perintah di atas merupakan perintah dasar untuk robot perayap. Lalu, bagaimana cara menulis perintah untuk robots.txt? Di bawah ini admin akan memberikan contoh penulisan untuk file robots.txt.

Tata Cara Penulisan Untuk Robots.txt

User-agent: * 

Allow: /

Disallow: /p/disclaimer.html

Disallow: /p/about.html

Sitemap: http://www.sarjanapedia.com/sitemap.xml

Nah, perintah di atas adalah contoh tata cara penulisan untuk robots txt. Dimana robot di perbolehkan merayapi seluruh halaman kecuali halaman disclaimer.html dan halaman about.html. 

Manfaat Menggunakan Robots.txt Dengan Benar

Oh iya, manfaat untuk website atau blog kita ini cukup berpengaruh untuk rating website atau blog kita di mata pencari. Salah satunya menghindari duplikat konten, adanya duplikat konten yang terdapat pada blog atau website kita ini akan menjadi nilai negatif dimata mesin pencari. Sehingga potensi untuk meraih page one akan sulit karena adanya duplikat konten dan yang lebih parah lagi bisa jadi blog atau website kita akan mendapat pinalti dari Google. Dimana seluruh halaman di website atau blog kita akan mengalami deindex oleh mesin pencari. Tentunya sangat merugikan untuk kita dan blog yang kita bangun.