Definisi dan Manfaat Robots.txt untuk Blog

Coretan Bang Dadan on

Thursday, January 31, 2013

Definisi dan Manfaat Robots.txt untuk Blog - Sahabat blogger, sebelum kita memasang robots.txt pada blog, kita perlu tahu pengertian/definisi serta manfaat robot.txt terlebih dahulu, jangan semata - mata menemukan artikel tentang cara pemasangan robot.txt yang baik misalnya di blog orang, kita langusng saja menerapkan nya pada blog kita sendiri tanpa tahu dampak yang akan terjadi nantinya, maka hati - hatilah karena pemasangan robot.txt ini berhubungan dengan google webmaster tools. pengalaman pribadi selama menggeluti dunia blogger saya mendapatkan informasi dari para sahabat-sahabat blogger sebagian ada yang suruh memasang dan sebagian sahabat lagi ada yang suruh jangan memasang robot.txt itu. nah agar kita tidak agu lagi maka terlebih dahulu pelajarilah manfaat dan fungsi robots.txt itu.

Untuk penggunaan fitur ini google sendiri memberi peringatan agar berhati - hati dalam menggunakan fitur robot.txt / Peryapan dan pengindeksan ini. sebagaimana peringatan yang ada dalam menu robot.txt ini adalah :

"Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur".

Klik gambar untuk memperbesar

Jadi google sendiri menjelaskan bahwa ada pengaruh terhadap mesin telusur, search engine google.

Nah, untuk dalam postingan ini bang dadan akan coba menjelaskan terlebih dahulu Definisi dan Manfaat Robot.txt untuk Blog, sebelum nanti kita menggunakan robot.txt yang benar. Berikut penjelasan tentang :

Definisi dan Manfaat Robots.txt untuk Blog

A. Definisi Robots.txt untuk Blog

---

Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak , dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.

Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman di search engine (Google,yahoo,Bing) yang tidak kita inginkan , karena mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt . [Afeef go Blogs]

B. Manfaat Robots.txt untuk Blog

---

Dalam hal optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.

Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.

Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC. [Nurulcall].

Nah setelah membaca artikel diatas, mudah - mudahan sobat sudah tau sedikitnya tentang Definisi dan Manfaat Robot TXT untuk Blog, jadi silahkan sobat gunakan baik - baik pitur Perayapan dan Pengindeksan google itu melalui robot.txt.

Semoga artikel ini bermanfaat buat para blogger semua, bang dadan ucapkan terimakasih kepada sahabat blogger yang sudah share baik definisi atau manfaat dari robots.txt tersebut. dan apabila diantara sobat ada yang mau memasang Kode Robot.txt ini silahkan kunjungi artikel tentang Cara Memasang Kode Robots.txt yang baik. Terimakasih dan sampai jumpa..!!!

Labels: blogger tutorial, seo, webmastertools

Thanks for reading Definisi dan Manfaat Robots.txt untuk Blog. Please share...!