Robots.txt buat wordpress

btw, untuk google, robot txt sudah tidak berguna lagi, karena halaman tsb tetap akan di crawl oleh google.
ini menjelaskan kenapa agc dan autoblog mudah terdeteksi...

source: hxxp://www.youtube.com/watch?v=uQ-0-3UhxH4

 

Masa sih sob, coba cek TKP dulu deh, makasih infonya ya...

 

kata siapa om?

 

Wow..masa sih..??
Ikutan nyimak deh...

 

Ya nih om saya juga masih pensaran nih, apa bener itu.. Lah ko Om Teguh ganti Avatar lagi, lebih seksi

 

itu video dari google webmaster, hostnya si matt, banyak info lho, cek juga blognya si matt,

tapi saiya masi newbie, kalo menurut saia si ini udah perbuatan yg melanggar hak asasi, Wkwkwk

kalo ada info yg lebih jelas share ya...

Info tambahan:
di chanel youtube itu ada banyak tips dan sesi tanya jawab, contoh:
1. Apakah agc selalu dianggap buruk?
jawab: tidak.
2. Apakah tag bisa jadi spam?
jawab: iya
3. Mana yg lebih penting, sitemap di page (kaya kalo pake dagon design) atau xml sitemap?
Jawab: yg di page
4. Apakah kita perlu bikin meta keyword di halaman web kita?
jawab:tidak
5. Kenapa agc tanpa trafik dan plugin stt2 belum nangkep apa2 halaman search bisa keindex?
Jawab:google yang bikin (aneh tenan)

dan masih banyak lagi..

 

ini punya saya mohon para master2 dicek untuk kesalahanya

Spoiler

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /i/
Disallow: /f/
Disallow: /t/
Disallow: /c/
Disallow: /j/

User-agent: Mediapartners-Google
Disallow: /

User-agent: Adsbot-Google
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot-Mobile
Disallow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

Sitemap: http://www.tidakada.info/sitemap.xml

terimakasih //

 

kenapa pada diblok ga maen adsense yah?
- bisa menyebabkan tidak tampilnya adsense
User-agent: Mediapartners-Google
Disallow: /

- trafik dari image jg kadang lumayan dan tidak merugikan klo d alllow
User-agent: Googlebot-Image
Disallow: /

 

Punya saya seperti ini... anehnya setelah setiap blog saya pasangi robot.txt seperti dibawah ini kok malah kena de-index google.. sedangkan yang tidak pake robot.txt tersebut masih lancar jaya??

Robot.txt

HTML:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /author/
Disallow: /category/

Sitemap: http://www.domainku.info/sitemap.xml
Sitemap: http://www.domainku.info/sitemap.xml.gz

Adakah yang salah dengan robot.txt saya... mohon penjelasannya dumz

 

niche share ..

coba coba buat trus di upload ah..

 

siap praktek tips ni,matatih

 

ya udh ditread aja!mungkin entar dipakai gan!

 

ane praktek lansung nie...moga tambah ok blog ane

 

Ternyata, Om Ewwink dan Om Scarface turun tangan. Thanks atas kedatangannnya...

Saya dah edit punya saya, (for AGC version). Adakah koreksi?

Satu lagi, bagaimana menghapus page yang sudah sempat terindeks, padahal page itu adalah hasil search, bukan posting?

---------- Post added at 01:29 PM ---------- Previous post was at 01:25 PM ----------

Gan, kenapa diblok semua?

---------- Post added at 01:31 PM ---------- Previous post was at 01:29 PM ----------

Masa sih gan? Menurut ane, halaman itu memang dicrawl google, tetapi tidak akan muncul di hasil pencarian google. Gimana menurut para mastah?

 

Robot.txt itu berguna bwt apa yah? Maaf newbie

 

Ini vERsi saya

PHP:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /blog/feed/$
Disallow: /blog/*/feed/rss/$
Disallow: /blog/*/trackback/$
Disallow: /blog/feed/
Disallow: /blog/trackback/
Disallow: /blog/rss/
Disallow: /blog/comments/
Disallow: /blog/cgi-bin/
Disallow: /blog/*/comment-page
Disallow: /blog/*/?s=
Disallow: /blog/?s=
Disallow: /blog/*/+
Disallow: /blog/%3Fs%3Dsebum
Disallow: /blog/info/page
Disallow: /blog/sitemap
Disallow: /blog/info
Disallow: /blog/search/
Disallow: /blog/pdfs/
Disallow: /blog/*/search?
Disallow: /blog/*%2520
Disallow: /blog/*%252520
Disallow: /blog/topics/*-
Disallow: /blog/*/$
Disallow: /blog/*++
Disallow: /blog/*+++
Disallow: /blog/*++++
Disallow: /blog/*+$
Disallow: /blog/*-$
Disallow: /blog/*/$
Disallow: /blog/*.htm$
Disallow: /blog/*-.html$
Disallow: /blog/*+.html$
Disallow: /blog/*porn
Disallow: /blog/*gambling
Disallow: /blog/*xxx
Disallow: /blog/*bugil
Disallow: /blog/*bokep
Disallow: /blog/*telanjang
Disallow: /blog/*dewasa
Disallow: /blog/search?
Disallow: /blog/*sitealhamsyah
Disallow: /blog/*sitewwwalhamsyah
Disallow: /blog/olumbi
Disallow: /blog/*****
Disallow: /blog/+
Disallow: /blog/-
Disallow: /blog/*+-+
Disallow: /blog/*%
Disallow: /blog/*4u
Disallow: /blog/*adderall
Disallow: /blog/*adipex
Disallow: /blog/*advicer
Disallow: /blog/*ambien
Disallow: /blog/*baccarat
Disallow: /blog/*baccarrat
Disallow: /blog/*blackjack
Disallow: /blog/*bllogspot
Disallow: /blog/*booker
Disallow: /blog/*byob
Disallow: /blog/*car-rental-e-site
Disallow: /blog/*car-rentals-e-site
Disallow: /blog/*carisoprodol
Disallow: /blog/*casino
Disallow: /blog/*casinos
Disallow: /blog/*chatroom
Disallow: /blog/*cialis
Disallow: /blog/*citalopram
Disallow: /blog/*clomid
Disallow: /blog/*acai
Disallow: /blog/*coolcoolhu
Disallow: /blog/*coolhu
Disallow: /blog/*credit-card-debt
Disallow: /blog/*credit-report-4u
Disallow: /blog/*cwas
Disallow: /blog/*cyclen
Disallow: /blog/*cyclobenzaprine
Disallow: /blog/*cymbalta
Disallow: /blog/*dating-e-site
Disallow: /blog/*day-trading
Disallow: /blog/*debt-consolidation
Disallow: /blog/*debt-consolidation-consultant
Disallow: /blog/*discreetordering
Disallow: /blog/*doxycycline
Disallow: /blog/*duty-free
Disallow: /blog/*dutyfree
Disallow: /blog/*ephedra
Disallow: /blog/*equityloans
Disallow: /blog/*facial
Disallow: /blog/*femdom
Disallow: /blog/*fetish
Disallow: /blog/*fioricet
Disallow: /blog/*flowers-leading-site
Disallow: /blog/*freenet
Disallow: /blog/*freenet-shopping
Disallow: /blog/*****ing
Disallow: /blog/*gambling
Disallow: /blog/*gambling-
Disallow: /blog/*hair-loss
Disallow: /blog/*health-insurancedeals-4u
Disallow: /blog/*holdem
Disallow: /blog/*holdempoker
Disallow: /blog/*holdemsoftware
Disallow: /blog/*holdemtexasturbowilson
Disallow: /blog/*homeequityloans
Disallow: /blog/*homefinance
Disallow: /blog/*hotel-dealse-site
Disallow: /blog/*hotele-site
Disallow: /blog/*hotelse-site
Disallow: /blog/*hydrocodone
Disallow: /blog/*incest
Disallow: /blog/*insurance-quotesdeals-4u
Disallow: /blog/*insurancedeals-4u
Disallow: /blog/*jrcreations
Disallow: /blog/*levitra
Disallow: /blog/*lexapro
Disallow: /blog/*lipitor
Disallow: /blog/*lorazepam
Disallow: /blog/*macinstruct
Disallow: /blog/*mortgage-4-u
Disallow: /blog/*mortgagequotes
Disallow: /blog/*online-gambling
Disallow: /blog/*onlinegambling-4u
Disallow: /blog/*ottawavalleyag
Disallow: /blog/*ownsthis
Disallow: /blog/*oxycodone
Disallow: /blog/*oxycontin
Disallow: /blog/*palm-texas-holdem-game
Disallow: /blog/*paxil
Disallow: /blog/******
Disallow: /blog/*percocet
Disallow: /blog/*pharmacy
Disallow: /blog/*phentermine
Disallow: /blog/*poker
Disallow: /blog/*poker-chip
Disallow: /blog/*porn
Disallow: /blog/*poze
Disallow: /blog/*propecia
Disallow: /blog/*pussy
Disallow: /blog/*rental-car-e-site
Disallow: /blog/*ringtone
Disallow: /blog/*ringtones
Disallow: /blog/*roulette
Disallow: /blog/*sex
Disallow: /blog/*seks
Allow: /blog/*sexy
Allow: /blog/*seksi
Allow: /blog/*physicosexology
Allow: /blog/*hormon-sex
Disallow: /blog/*shemale
Disallow: /blog/*shoes
Disallow: /blog/*slot-machine
Disallow: /blog/*texas holdem
Disallow: /blog/*texas-holdem
Disallow: /blog/*thorcarlson
Disallow: /blog/*top-e-site
Disallow: /blog/*top-site
Disallow: /blog/*tramadol
Disallow: /blog/*trim-spa
Disallow: /blog/*ultram
Disallow: /blog/*valeofglamorganconservatives
Disallow: /blog/*valium
Disallow: /blog/*valtrex
Disallow: /blog/*viagra
Disallow: /blog/*vioxx
Disallow: /blog/*xanax
Disallow: /blog/*zolus
Disallow: /blog/www
Disallow: /blog/*crack
Disallow: /blog/*rape-charges
Disallow: /blog/*leslie-mcgettigan
Disallow: /blog/*arrest-rape

User-agent: ia_archiver
Disallow: 

User-agent: Slurp
Disallow: /blog/feed/$
Disallow: /blog/*/feed/rss/$
Disallow: /blog/*/trackback/$
Disallow: /blog/feed/
Disallow: /blog/trackback/
Disallow: /blog/rss/
Disallow: /blog/comments/
Disallow: /blog/cgi-bin/

User-Agent: MediaPartners-Google
Allow: /

sitemap : http://www.idmbob.com/blog/sitemap.xml

 

ijin copas om

 

ijin pake kang

 

sip nih diaya ya ane cari2 alhamdulillah udah ketemu, thanks ya masbro

 

wah masih belum ngerti nih..