nah itu boy aku juga lagi tanya tanya cari artikelnya juga yang efective gemana soalnya kalo ada robot.txt minimal ngga sembarang bot crawl di web kita dan bandwithnya ngga kebuang sia sia. ada ngga rekan rekan yang bisa banget masalah robot.txt ini....?
tinggal ditulis aja... bot crawl (User Agent) yang diinginkan terus dibagian paling akhir ditulis User-agent: * Disallow: / tanda "/" aja menunjukkan semuanya setelah nama domain kita tidak diijinkan untuk di crawl aleh crawl bot yang lain. contoh: Ini menunjukkan bahwa kita hanya mengijinkan di-crawl oleh : - Googlebot - Googlebot-Image - MSNBot - yahoo-mmcrawler sedangkan yang lain tidak diijinkan... Semoga membantu...
Tambahan lagi... untuk mengurangi bandwith dari crawl bot ini, dapat juga dilakukan dengan menyaring bagian yang akan di-crawl dan yang tidak... dapat dilakukan dengan: 1. Mengumpulkan file-file berukuran besar dalam folder tersendiri, misal file zip, file exe, file pdf dll.. misal nama foldernya : filezip, fileexe, filepdf 2. menambahkan Disallow yang diikuti nama foldernya. contoh
kalo di joomla kan isi robot.txt : Code: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /images/ Disallow: /includes/ Disallow: /language/ Disallow: /mambots/ Disallow: /media/ Disallow: /modules/ Disallow: /templates/ Disallow: /installation/ udah bener belum ya itu ?
Re: robots.txt < Tambahan baris wajib baru Sitemap: http://www.example.com/sitemap.xml Disarankan untuk menambahkan baris tersebut pada file robots.txt situs kamu, sejak google, yahoo dan msn menyetujui untuk mendukung hanya satu format sitemap yang dijelalajah para robot. Baca selengkapnya ...
