1. Halo Guest, pastikan Anda selalu menaati peraturan forum sebelum mengirimkan post atau thread baru.

{ask} Cara Mengatasi URL Dicekal Oleh Robot.txt

Discussion in 'SEO' started by angger07, Apr 15, 2012.

Tags:
  1. angger07

    angger07 Hero

    Joined:
    Jun 26, 2011
    Messages:
    652
    Likes Received:
    45
    Location:
    sumatra selatan
    permisi agan semua,maaf neh kalau thread ini menggangu,saya ingin bertanya masalah gimana cara mengatasi pencekalan url oleh robot txt pada Google web master tool,berikut screenshotnya....
    View attachment 18562
    "saya sudah ubek-ubek forum ini tapi belum nemu juga..."mohon petunjuknya/:)
     
    angger07, Apr 15, 2012
    #1
  2. angger07

    angger07 Hero

    Joined:
    Jun 26, 2011
    Messages:
    652
    Likes Received:
    45
    Location:
    sumatra selatan
    sepiiii
     
    angger07, Apr 17, 2012
    #2
  3. darmadi

    darmadi Ads.id Pro

    Joined:
    Apr 21, 2010
    Messages:
    298
    Likes Received:
    5
    Location:
    Bali
    aduh saya juga punya masalah kayak ini. tunggu master aja...
     
    darmadi, Apr 18, 2012
    #3
  4. roulette

    roulette Super Hero

    Joined:
    Jan 14, 2011
    Messages:
    1,309
    Likes Received:
    468
    Location:
    Kota Angin
    urlnya kok banyak banget om yg di block :hmm2: ente habis ganti settingan privaci di wp kah? kalo ia :) coba masuk cpanel, periksa robots.txt ente uda bener ap belom n pastikan allow search engine :) klo uda yakin bener :senyum: tunggu ajj beberapa jam, ntar juga uda bisa ngakses lagi tuh crawlernnya gugel
     
    roulette, Apr 18, 2012
    #4
  5. i t o

    i t o Newbie

    Joined:
    Jun 5, 2012
    Messages:
    9
    Likes Received:
    0
    aku juga punya masalah yg sama nih.
    cpanel tuh apa?
    trs yg bnr sprt apa?
     
    i t o, Aug 6, 2012
    #5
  6. danrob

    danrob Super Hero

    Joined:
    Oct 26, 2010
    Messages:
    1,634
    Likes Received:
    234
    Location:
    Paris Van Java
    blogspot ane sekarang ngalamin kayak gini...
    tolong solusinya master....
     
    danrob, Sep 23, 2012
    #6
  7. Suduang Itam

    Suduang Itam Newbie

    Joined:
    Nov 1, 2012
    Messages:
    22
    Likes Received:
    0
    Location:
    Pyongyang, North Korea
    coba jawab nih sob...
    hal yang pertama anda lakukan adalah cek file robot.txtta
    pi sebelumnya anda harus tau sitemap yang di kasi ke google seperti apa..?

    nah contoh kasus ya.. seperti ini

    sitemap yag dikasi ke gugle adalah
    xxxxx.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=100
    maka untuk penulisan di robot.txtnya
    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap:blogspot.com/atom.xml?redirect=false&start-index=1&max-results=100

    silahkan dicoba, kemudian cek masih diblok apa nga...
    tapi saya rasa nga bakal di blok lagi, cos kita udah ALLOW semua feed sampai 100
    semoga membantu
     
    Last edited by a moderator: Nov 5, 2012
    Suduang Itam, Nov 5, 2012
    #7
  8. bringmelive

    bringmelive Ads.id Fan

    Joined:
    May 11, 2009
    Messages:
    162
    Likes Received:
    6
    coba cek robot.txtnya sob.. dan cari kata kata awalan ini Disallow:

    robot.txt ini biasanya untuk mengatur apa yang boleh di crawl sama search engine atau tidak ya settingannya harus hati2 juga..

    untuk pengguna wp ada plugin namanya kbrobot atau apa saya juga lupa :)
     
    bringmelive, Nov 6, 2012
    #8
  9. zanabid

    zanabid Super Hero

    Joined:
    Dec 21, 2012
    Messages:
    818
    Likes Received:
    81
    Location:
    Kendal, Indonesia
    Punya masalah yang sama dengan TS. Mohon pencerahannya mastah untuk website berbasis wordpress.
     
    zanabid, Jul 11, 2013
    #9
  10. gathotps1

    gathotps1 Newbie

    Joined:
    May 14, 2013
    Messages:
    2
    Likes Received:
    0
    Location:
    jl. h kana Rt.01/12 no. 63 Paninggilan Utara, Cile
    mohon petunjuknya kepada agan agan semua.....saya mengalami URL dicekal robot hingga 67 dan ga berkurang malh bertambah pada 2 bulan lalu hanya 7..... dan dalam webmasternya peta situsnya mendapat tanda peringatan berwarna segitiga kuning. jadi apa yang harus saya lalukan di bawah ini setting robots.txt saya:

    User-agent: Googlebot-Image
    Disallow:


    User-agent: Mediapartners-Google
    Disallow:


    User-agent: duggmirror
    Disallow: /


    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: /category
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: /?


    Sitemap: http://www.indonesiabeautyful.com/sitemap.xml
    Sitemap: http://www.indonesiabeautyful.com/sitemap.xml.gz
     
    gathotps1, Sep 17, 2013
    #10

Share This Page