Cara Setting Robot.txt Blogger Yang SEO frendly

Seocips.com-Cara setting robot.txt di blogger yang SEO frendly. Robot.txt dan  Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO.

Berikut adalah Cara Setting Robot.txt yang pertama.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman About saya) Anda cukup menulis seperti berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Settingan robot.txt berikut ini adalah untuk mencegah duplikat konten atau judul di blog :

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Settingan Tag Header Robot Khusus

Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Sesuaikan seperti gambar dibawah ini

Settingan seperti di atas  bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

Sekian mengenai Cara setting robot.txt di blogger agar lebih SEO frendly.