Cara Untuk Setting Robot.txt Blogger Terbaru

Pada kesempatan kali ini TukangShare akan berbagai tutorial mengenai “Cara Untuk Setting Robot.txt Blogger Terbaru“, tetapi sebelum kita lanjut ke tutorial, terlebih dahulu saya akan memberikan pengertian menegnai apa itu robots.txt yang ada di blogger. Pengertian dibawah ini saya akan menjelaskan apa itu Robot.txt sesuai pengetahuan yg saya miliki!

Apa Itu Robots.txt ?

Robots.txt merupakan sebuah file yang berformatkan (.txt) atau text, yang harus dimiliki oleh setiap situs web/blog yang ada di internet, dan juga situs yang telah didaftarkan pada search engne seperti yahoo, bing serta google.

Karena hal ini berhubungan dengan mesin pencari maka robots.txt saling berkait erat hubungannya dengan (search engine optimization) SEO.

Kegunaan dari Robot.txt sendiri berfungsi untuk mengontrol serta mengatur halaman atau page dan direktori mana yang boleh diindex oleh mesin pencari.

Robot.txt juga merupakan sebuah mesin penyaring atau mesin pem filter setiap blog dari mesin pencarian google, robot mesin pencari inilah yang nantinya diperintahkan untuk menelusuri maupun tidak untuk meng crawl halaman blog kita.

Kenapa sih... kita harus menyaringnya?

Bukankah akan lebih bagus lagi jika semua page halaman blog kita bisa leluasa untuk ditelusuri spider dari search engine? Tentu saja bukan tanpa alasan, kita berupaya agar blog dapat di telusuri search ingin karena terdapat alasanya sendiri yaitu:

Karena di setiap situs biasanya memiliki batasan jumlah page/halaman yang ingin ditelusuri.

Sebenarnya sih.. Anda juga tanpa untuk mengaktifkan robot.txt di blog anda secara manual, dan walaupun secara manual blog kita pun nantinya akan tetap terindex oleh mesin pencari sepeti google dan tentu tidak akan ada masalah jika anda memang tidak meng custom settingan robot.txt di blog yang anda rawat tersebut.

Dikarena pada blogspot atau blog bawaan blogger ini memang sudah tersedia yang namanya robot.txt maka kenapa kita tidak mencoba untuk memanfaatkanya?.

Tapi untuk kamu yang ingin benar-benar lebih mengoptimalkan robot.txt agar web/blog anda lebih seo Friendly istilahnya, maka anda bisa menggunakan custom setting robot.txt yang nanti akan saya share.

Untuk lebih jelasnya mengenai cara seting Robot.txt silahkan anda baca tutorial saya di bawah ini!

Contoh kode robot.txt :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated

Arti dari kode di atas adalah :

“User-agent: Mediapartners-Google” : Kode ini memiliki makna yaitu:

Kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense, jadi jangan takut kalao bot ini akan menjadi seperti auto visitor.

B. “Disallow: ” : Kode ini memiliki makna yaitu:

Kode Ini berarti bermakna bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs/blog.

C. “User-agent: *”: Kode ini memiliki makna yaitu:

Ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku untuk semua robot crawler (diwakili dengan kode ‘*’).

D. “disallow: /search” : Kode ini memiliki makna yaitu:

Untuk melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.

E. “allow: /”: Kode ini memiliki makna yaitu:

Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.

F. “Sitemap: ” : Kode ini memiliki makna yaitu:

Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.

Langsung saja tanpa pikir panjang berikut tutorialnya. Langkah pertama masuk ke dasbor blogger :

1. Login terlebih dahulu ke blog anda masing-masing.
2. Pilih menu Setelan > Preferensi penelusuran. > robots.txt khusus > Edit.

Isi form yang muncul dengan kode di bawah, kamu bisa meng Copy paste kode di bawah ini lalu masukkanlah ke dalam form robot.txt .

Cara seting robottxt di blogspot blogger

Gambar di atas hanya sebagai contoh!

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated

Selain kode yang saya share di atas, ada juga yang menggunakan kode Robot.txt seperti yang bisa kamu lihat di bawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated&max-results=999

Jika sudah klik Simpan perubahan.

perlu di ingat ganti url nya dengan url blog anda!

Sampai disini kita sudah berhasil membuat setting robots.txt sendiri dengan mudah.

Semoga saja dengan anda membaca artikel, permasalahan anda dapat teratasi dan semoga postingan ini dapat membuat anda memahami mengeanai apa itu robots.txt, manfaatnya, serta cara yang di tempuh untuk membuatnya.

Sekian dari saya mengenai posting “cara setting robots.txt” semoga dengan anda mengikuti tips ini blog anda menjadi lebih seo, mudah-mudahan tutorial di atas bisa anda pahami dengan baik, selamat mencoba dan tersulah berkarya.