file untuk robot.txt ya intinya cuman ini: Code: User-agent: * Disallow: / kalau mau belajar lebih banyak dan contoh implementasinya coba kunjungi aja ini. http://www.robotstxt.org/wc/faq.html
kalo mau buat robot.txt google atau yahoo maka harus buat account dulu nanti di control panel buat file text dengan nama yg sudah di tentukan google/yahoo misal jihfuisf4kuj3drfsd3fd.txt dan tidak perlu di edit di dalamnya.
Biasanya dikenal ada 2 cara membuat robot text sbb: <meta name=”robots” content=”noindex”> Meletakan meta tag diatas diantara <head> and </head> tags didalam HTML akan mencegah robot mengindex halaman yang bersangkutan. <meta name=”robots” content=”nofollow”> Meletakan meta tag diatas diantara <head> and </head> tags didalam HTML akan membolehkan robot mengindex halaman yang bersangkutan, akan tetapi jika ada hyperlinks didalam halaman tersebut tidak ikut diindex atau diikuti. <meta name=”robots” content=”noindex,nofollow”> Halaman yang bersangkutan tidak diindex, dan link-link lainnya tidak diikuti. Tag diatas juga akan mencegah web-stripper (mirroring) mendownload misalnya software program dari halaman tersebut. Dengan beberapa contoh tag diatas saya harapkan anda sudah bisa menterjemahkan sendiri beberapa sintax robot text dibawah ini. <meta name=”robots” content=”index,follow“> <meta name=”robots” content=”noindex,follow“> <meta name=”robots” content=”index,nofollow“> <meta name=”robots” content=”noindex,nofollow“> <meta name=”revisit-after” content=”7 days“> Jika blog atau website anda hosting sendiri alias punya rumah sendiri anda bisa membuat robot text dengan menggunakan Notepad punya nenek Windows. Dengan mengetikkan beberapa perintah yang diperlukan kita bisa mengarahkan para Googlebot, lalu menyimpannya dengan nama file robots.txt, dan selanjutnya kita upload ke root folder di server dengan menggunakan aplikasi FTP. Sintax dasar sebuah robots.txt adalah sbb: User-agent: (keterangan: spiders name here) Disallow:/ (keterangan: filename here) Berikut saya berikan beberapa contoh sintax robot text yang disimpan di dalam robots.txt User-agent: * Disallow: (Perhatikan sintax diatas User-agent: *, (tanda bintang atau wildcard) artinya semua jenis robot, dan Disallow: maksudnya yang tidak diperbolehkan. Pada contoh sintax diatas dimana Disallow: tidak disertai dengan tanda garis miring ( / ), itu artinya semua file boleh diindex. Bahasa Jawanya kira-kira begini : “Monggo… semua robot, diindex semuanya” User-agent: * Disallow: / (Perhatikan sintax diatas User-agent: *, (tanda bintang atau wildcard) artinya semua jenis robot, dan Disallow: maksudnya tidak diperbolehkan, / (tanda garis miring) itu artinya folder. Pada contoh sintax diatas dimana sesudah tanda miring ( / ) tidak disertai dengan apa-apa, itu artinya semua file tidak boleh diindex. User-agent: * Disallow: /images/ (sintax diatas membolehkan semua jenis robot mengindex semua file yang ada, kecuali file images, Disallow: maksudnya dilarang mengindex file images) User-agent: * Disallow: /images/ Disallow: /stats/ (sintax diatas membolehkan semua jenis robot mengindex semua file yang ada, kecuali file images dan file stats, Disallow: maksudnya dilarang mengindex file images dan file stats)
kalo pake WP paling maknyus intip dan contek robots dari situs orang lalu pake dah plugin robots meta biar makin maknyuz.
Keren gan tutorial nya ada yang lebih lengkap tidak tutorial nya? untuk membuat robot.txt.... terimakasih
