maaf nyubi mw berbagi ilmu yang sudah di share oleh para master blogger di search engine.iseng-iseng cari tau tentang robot.txt eh ketemu juga..malah buanyaak banget.tapi buat agan yang belum tau termasuk saya sedikit mencoba untuk menshare ulang. Begini pertama masuk akun blogger->setelan->preferensi penelusuran->aktifkan robot.txt khusus trus di kolom kosong isikan seperti ini Spoiler User-agent: Mediapartners- Google Disallow: User-agent: Googlebot Allow: / Disallow: /search Disallow: /?m=0 Disallow: /view/* User-agent:* Allow: / Disallow: /search Disallow: /?m=0 Disallow: /view/* Sitemap: http://url-blog- anda.blogspot.com/feeds/posts/ default?orderby=updated&max- results=999 Selain kode di atas, ada juga yang menggunakan kode seperti di bawah ini : User-agent: Mediapartners- Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://url-blog- anda.blogspot.com/feeds/posts/ default?orderby=updated untuk tag headernya isi seperti gambar sumber artikel:hxxp:// lost-sector.net/2012/11/setting-robot-txt-dan-costum-robots-headertags.html
yg bener robots.txt pake s boss. itu robots.txt nya pemborosan. User-agent:* artinya aturan berlaku untuk semua bot. jadi yg user agent Googlebot di atasnya itu gak perlu, kan itu aturan allow disallownya sama persis. user agent ditulis berulang hanya untuk aturan yg berbeda untuk bot tertentu. seperti yg mediapartner itu. @Rionster itu hanya aturan buat bot, bagian mana blogmu yg boleh dirayapi & yg gak boleh dirayapi. gak ada yg bagus atau tidak, tergantung kebutuhan bagian blogmu yg mana yg boleh dirayapi oleh bot & mana yg gak boleh
Ane ikut njawab ya. Setau ane robots.txt itu fungsingnya untuk membatasi mana yang boleh keindex oleh robot search engine dan mana yang tidak boleh ke index. Dalam SEO cukup bagus karena menghindari duplikat dari beberapa laman. Itu sih setau ane
