Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly

by - Anonymous on - July 13, 2016
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly - Hallo sahabat BLACK HAT SEO, Pada sharing Artikel kali ini yang berjudul Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly, saya telah menyediakan artikel lengkap dari awal sampai akhir. mudah-mudahan isi postingan yang saya tulis ini dapat anda pahami.

Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly


lihat juga


Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly

Artikel Blog-seo,
Cara setting robot txt di blogspot - Saya dulu sering mendengar tapi tidak memahami istilah apa itu robot txt? apa fungsi dari robot txt itu? dan perlukah kita setting robot txt?. Dari istilah di atas, saya berusaha mencoba membeljari dan memahami tentang robot txt, kini sekarang saya sudah paham betapa pentingnya setting robot txt. Apakah Anda sama sepertiku?
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Setelah kemarin saya posting tentang cara setting header tag untuk blogger, kali ini saya kembali untuk posting cara setting robot.txt khusus blogger. Mungkin Anda terbiasa menggunakan robot.txt bawaan blogger atau memang Anda tidak pernah merubah robot.txt yang lebih SEO friendly?. Dengan mengganti robot.txt bawaan blogger, Anda bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Anda perbolehkan.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Didalam blogger robot.txt di kenal dengan custom robot.txt, nah pada kesempatan kali ini saya akan membahas kegunaan apa itu robot.txt dan apa manfaat dari robot.txt tersebut. Yang perlu Anda tahu, saya bukanlah Ahli dalam bidang ini, tetapi saya belajar dari sini, dan apa bila Anda ingin tahu tentang kegunaan menyeluruhnya robot.txt, Anda bisa membacanya di Moz.com.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Hal yang perlu Anda perhatikan tentang robot.txt adalah "Gunakan dengan hati hati. Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog Anda di abaikan oleh mesin pencari". Nah apa bila Anda takut atau kurang tahu, Anda bisa mengikuti tutorial cara setting robot.txt khusus blogger di bawah ini. Silahkan dilanjutkan membacanya.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly

Apa Itu Robot.txt?

Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Robot.txt adalah sebuah ketentuan pengguna blog untuk mencegah dari mesin pencari, yang tidak di izinkan untuk di index. Robot.txt ini juga berguna sebagai mengontrol dari halaman yang tidak boleh di index dari mesin pencari dan situs media sosial seperti: Facebook, Twitter dan lain-lain. Atau Anda ingin lebih jelas dan detailnya Anda bisa membaca dari situs Wikipedia dalam bahasa Indonesia.

Cara Setting Robot.txt di Blogger

Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot seperti dibawah ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED

Mari kita bahas satu persatu dari kode di atas.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
1.User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
2.Disallow: Yang tidak di perbolehkan tidak ada.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
3. User-agent: Semua robot search engine/mesin pencari.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/seo tidak akan di index.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
6.Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED: Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang baru di terbitkan dan jika Anda ingin mengoptimalkan agar lebih dari itu, Anda bisa merubahnya menjadi sitemap sebagai berikut:
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Sitemap di atas untuk memberi tahu bahwa artikel Anda di kisaran 500, jika Anda memiliki lebih dari 500 artikel Anda bisa menggunakan sitemap di bawah ini:
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Nah di atas adalah penjelasan tentang kode robot.txt. Jika Anda ingin memodifikasi robot txt, saya tekankan untuk hati hati. Pada saat ini sitemap yang saya gunakan di situs ini adalah sebagai berikut: Jika Anda ingin mencoba seperti yag saya gunakan silahkan gunakan kode ini.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.buatblog.net/feeds/posts/default?orderby=updated
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Saya menggunakan kode robot.txt di atas karena menjaga agar tidak terjadi kesalahan pada situs saya, Jadi saya memilih yang simpel saja. Nah untuk sitemap saya menggunakan itu karena artikel di situs ini masih kurang dari 40 artikel, maka saya belum menggunakan yang lebih dari 500.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Nah kode di bawah ini adalah untuk mencegah duplikat konten yang terdapat di blog Anda, itu bisa disebabkan karena di akses dari mobile phone. Anda bisa mencegahnnya dengan setting robot.txt di blogger Anda dengan kode berikut:
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly

Menambahkan Custom Robot.txt di Blogspot/Blogger Anda

Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan custom robot.txt di blogger. Berikut adalah langkah-langkah untuk melakukan setting robot.txt di blogspot Anda.
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
  • Masuk ke blog blogger Anda.
  • Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes
  • Sekarang pastekan kode file robots.txt Anda dalam kotak. Anda bisa mengambil salah satu contoh robot.txt di atas.
  • Klik tombol Save Changes.
  • Dan selesai!
Anda bisa cek setingan robot,txt Anda dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester. Lihat gambar di bawah ini:
Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly
robot.txt tester


Akhir dari saya: Saya berusaha menjelaskan tentang cara setting robot.txt di blogger dengan sangat hati-hati agar tidak terjadi kesalahan yang berakibat fatal untuk pembaca dan apabila ada yang paham benar dengan robot.txt, Anda bisa memberi tahu kesalahan saya dengan cara komntar di bawah ini. Terima kasih.

Baca Penting :


Demikianlah Artikel Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly

Sekian BLACK HAT SEO Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly, mudah-mudahan bisa memberi manfaat untuk anda semua. baiklah, sekian postingan BLACK HAT SEO kali ini.

Anda sedang membaca artikel Panduan Cara Tepat Setting Robot.txt Untuk Blogger SEO Friendly dan artikel ini url permalinknya adalah https://black-hat-seo-blogger.blogspot.com/2016/07/panduan-cara-tepat-setting-robottxt.html Semoga artikel ini bisa bermanfaat.

Tag : ,
Tags
Reactions