Yang boleh dindeks halaman apa saja ?

Kalau blog WP sebaiknya yang boleh di indeks sama SE halaman apa saja ? Untuk menghindari duplicated content.

 

semuanya bisa di index. nda usah di pilih2 gitu

 

meunurut say sebaiknya ada yang ga boleh diindex misalnya archive untuk menghindari duplicate content..dan juga untuk menghemat BW waktu google boot mengcrwal.untuk itu anda bisa membuat robots.txt seperti dibawah ini

# This rule means it applies to all user-agents
User-agent: *

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /stats/
#Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/

# The Googlebot is the main search bot for google
User-agent: Googlebot

# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# Disallow Google from parsing indididual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/
Allow: /feed/

# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?

# The Googlebot-Image is the image bot for google
User-agent: Googlebot-Image

# Allow Everything
Allow: /*

# This is the ad bot for google
User-agent: Mediapartners-Google*

# Allow Everything
Allow: /*

# This is the ad bot for google
User-agent: Mediapartners-Google*

# Allow Everything
Allow: /*# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.namadomain.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

semoga membantu