1. Halo Guest, pastikan Anda selalu menaati peraturan forum sebelum mengirimkan post atau thread baru.

[SHARE] Cara Blokir BOT dari SEO Tools (Ahref, Semrush, Majestic, dll)

Discussion in 'SEO' started by NSA, Apr 1, 2021.

Tags:
  1. NSA

    NSA Super Hero

    Joined:
    Jan 28, 2017
    Messages:
    826
    Likes Received:
    269
    Location:
    garut gitu loh
    Mumpung lagi nyantai agar website/ blog tidak di crawl Tools SEO, kasih tau kalau salah kamar

    Terinspirasi dari komentar thread ini:
    https://ads.id/forums/index.php?thr...i-negara-target-keywords.392677/#post-3886372


    Dulu pernah saya gunakan dan sekarang udah lama gak gunain cara ini. Jadi sekalian saya share aja disini siapa tahu ada yang belum tahu atau ingin menggunakannya.

    Seperti yang kita tahu bahwa sekarang banyak SEO Tools untuk mengintip data off page website seperti Backlink Checker.

    Pasti semua para praktisi SEO pernah menggunakan tool semacam ini.

    Data yang ada di SEO tools ini biasanya dirayapi oleh dengan yang namanya BOT.

    Ada salah satu cara untuk memblokir BOT mereka agar tidak merayapi situs web kita.
    Caranya bisa blokir menggunakan robots.txt atau melalui htaccess.
    Karena BOT mereka tetap patuh terhadap robots.txt dan bisa

    Tapi pasti semua ada kekurangan dan kelebihannya.

    Bagaimana BOT ini bekerja?

    Bot ini bekerja dengan merayapi setiap url dari situs kita dan tidak hanya sekali, bisa berulang untuk mengetahui update dari halaman-halaman situs (perubahan konten, halaman baru, dan tautan mati).
    Biasanya ini disebut dengan "crawl frontier".

    Untuk mengecek apakah robots.txt situs berhasil memblokir BOT ahref bisa dicek disini
    Code:
    https://ahrefs.com/robot
    Masukkan nama domain/ Subdomain

    [​IMG]

    [​IMG]

    Kelebihan
    Kompetitor tidak akan menemukan data sebuah situs seperti backlink, traffic analytics, nilai suatu domain, keywords tracking, position keywords, dll.

    Kekurangan:
    Namun cara ini tidak diperkenankan bagi yang suka meng-audit web/ blog nya dengan tool tersebut, nanti malah null gak bisa diaudit.

    Blokir BOT dari SEO Tools
    Menggunakan robots.txt merupakan yang paling rekomended, karena kode nya tidak terlalu rumit dan mudah dipahami jika ada kesalahan mengatur robots.txt.

    Tapi pastinya bisa dilihat oleh orang lain.

    Ini daftar robots.txt untuk memblokir BOT SEO Tools:

    SEO Tools yang paling banyak digunakan
    Code:
    Majestic SEO -> User-agent: MJ12bot
    MOZ OpenSiteExplorer -> User-agent: rogerbot
    Ahrefs -> User-agent: AhrefsBot
    Semrush -> User-agent: SemrushBot
    
    BOT Tools SEO lainnya

    Code:
    User-agent: Rogerbot
    User-agent: Exabot
    User-agent: MJ12bot
    User-agent: SemrushBot
    User-agent: Dotbot
    User-agent: Gigabot
    User-agent: AhrefsBot
    User-agent: BlackWidow
    User-agent: ChinaClaw
    User-agent: Custo
    User-agent: DISCo
    User-agent: Download\ Demon
    User-agent: eCatch
    User-agent: EirGrabber
    User-agent: EmailSiphon
    User-agent: EmailWolf
    User-agent: Express\ WebPictures
    User-agent: ExtractorPro
    User-agent: EyeNetIE
    User-agent: FlashGet
    User-agent: GetRight
    User-agent: GetWeb!
    User-agent: Go!Zilla
    User-agent: Go-Ahead-Got-It
    User-agent: GrabNet
    User-agent: Grafula
    User-agent: HMView
    User-agent: HTTrack
    User-agent: Image\ Stripper
    User-agent: Image\ Sucker
    User-agent: Indy\ Library
    User-agent: InterGET
    User-agent: Internet\ Ninja
    User-agent: JetCar
    User-agent: JOC\ Web\ Spider
    User-agent: larbin
    User-agent: LeechFTP
    User-agent: Mass\ Downloader
    User-agent: MIDown\ tool
    User-agent: Mister\ PiX
    User-agent: Navroad
    User-agent: NearSite
    User-agent: NetAnts
    User-agent: NetSpider
    User-agent: Net\ Vampire
    User-agent: NetZIP
    User-agent: Octopus
    User-agent: Offline\ Explorer
    User-agent: Offline\ Navigator
    User-agent: PageGrabber
    User-agent: Papa\ Foto
    User-agent: pavuk
    User-agent: pcBrowser
    User-agent: RealDownload
    User-agent: ReGet
    User-agent: SiteSnagger
    User-agent: SmartDownload
    User-agent: SuperBot
    User-agent: SuperHTTP
    User-agent: Surfbot
    User-agent: tAkeOut
    User-agent: Teleport\ Pro
    User-agent: VoidEYE
    User-agent: Web\ Image\ Collector
    User-agent: Web\ Sucker
    User-agent: WebAuto
    User-agent: WebCopier
    User-agent: WebFetch
    User-agent: WebGo\ IS
    User-agent: WebLeacher
    User-agent: WebReaper
    User-agent: WebSauger
    User-agent: Website\ eXtractor
    User-agent: Website\ Quester
    User-agent: WebStripper
    User-agent: WebWhacker
    User-agent: WebZIP
    User-agent: Wget
    User-agent: Widow
    User-agent: WWWOFFLE
    User-agent: Xaldon\ WebSpider
    User-agent: Zeus
    Disallow: /
    
    Menggunakan htaccess. misalnnya:

    Code:
    SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
    SetEnvIfNoCase User-Agent .*exabot.* bad_bot
    SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
    SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
    SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
    SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
    SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
    
    *Untuk Ubersuggest saya belum nemu nama BOT nya
    *Cek lagi satu persatu nama BOT nya, terkadang ada berubah


    Saya disini hanya share saja, tentu ada pro dan kontranya. Dulu ada sebagian situs besar yang menyembunyikan demi privasi seperti amazon, tapi sekarang tidak tahu.

    Ingat SEO itu bukan hanya menjadi peringkat teratas di SE.
    Bagaimanapun, SEO adalah tentang menantang kompetitor dan mengungguli mereka.

    Referensi:
    Code:
    https://ahrefs.com/robot
    https://www.semrush.com/bot/
    https://www.mj12bot.com/
    
     
    newbiefans, Rootnesia and Ethan Hunt like this.
  2. newbiefans

    newbiefans Super Hero

    Joined:
    Sep 5, 2009
    Messages:
    2,087
    Likes Received:
    365
    Location:
    DKI JAKARTA
    ini sebaiknya di taruh untuk situs PBN atau untuk moneysite?
     
  3. NSA

    NSA Super Hero

    Joined:
    Jan 28, 2017
    Messages:
    826
    Likes Received:
    269
    Location:
    garut gitu loh
    Di moneysite mas
     
    jentrongs likes this.
  4. belajarmenulis

    belajarmenulis Hero

    Joined:
    Jan 5, 2020
    Messages:
    669
    Likes Received:
    157
    Location:
    Google
    Menantang .. bookmark bang
     
    jentrongs likes this.
  5. Ethan Hunt

    Ethan Hunt Ads.id Fan

    Joined:
    Aug 3, 2019
    Messages:
    152
    Likes Received:
    60
    Location:
    Internet
    Sip terimakasih, tadinya mau nanya di trit sebelah, ternyata langsung share trit berbeda.
     
  6. denot

    denot Ads.id Pro

    Joined:
    Jul 9, 2013
    Messages:
    264
    Likes Received:
    20
    Klo untuk blogspot, pasangnya gimana hu
     
    jentrongs likes this.
  7. Rootnesia

    Rootnesia Super Hero

    Joined:
    Sep 30, 2016
    Messages:
    3,433
    Likes Received:
    1,117
    Location:
    Wonogiri
    Mantapppp... utk saat ini, saya masih setia di tim non blok sih :D
    Nggak tau nanti

    Request jadi featured thread dong min @Tyan biar nggak tenggelem :D
     
    newbiefans likes this.
  8. dedisuparman

    dedisuparman Super Hero

    Joined:
    Mar 27, 2011
    Messages:
    2,350
    Likes Received:
    280
    Location:
    Indramayu
    Kalau untuk yg jualan backlink/placement content jangan di blokir nanti client engga bisa cek backlinknya or etc...
     
  9. CakramKram

    CakramKram Ads.id Starter

    Joined:
    Aug 30, 2019
    Messages:
    52
    Likes Received:
    0
    Location:
    Jabodetabek
    Semakin hari emang semakin banyak bot yg kelayapan di jagat internet :D
     
  10. fastcloud

    fastcloud Newbie

    Joined:
    Apr 1, 2021
    Messages:
    20
    Likes Received:
    4
    mantap, ini yang lagi di cari
     
  11. becaknetwork

    becaknetwork Hero

    Joined:
    Dec 18, 2012
    Messages:
    683
    Likes Received:
    23
    Location:
    Tangerang
    Ijin praktek .... kudu di save biar ga ketinggalan jejak
     
  12. Grendpikiw

    Grendpikiw Newbie

    Joined:
    Nov 24, 2020
    Messages:
    24
    Likes Received:
    5
    Kalo agan mau monitor backlink masuk di moneysite, bagusnya pasang di pbn aja gan
     
  13. rinirina

    rinirina Aged Domains Seller

    Joined:
    Nov 17, 2014
    Messages:
    1,380
    Likes Received:
    142
    Location:
    Rivendale
    mantep koleksi useragent nya banyak banget :D
     
  14. newbiefans

    newbiefans Super Hero

    Joined:
    Sep 5, 2009
    Messages:
    2,087
    Likes Received:
    365
    Location:
    DKI JAKARTA
    Ini soalnya ada beberapa client SEO saya yg bayar perbulan ke saya lebih dari 10-30 jutaan perbulan, dan sudah sering banget di kerjain kompetitor dan setiap harinsaya hrs disavow krn dapet bl situs porn*, jud*, dll dari kompetitor ke situs client dan moneysite pribadi dll, client saya gak perduli dengan laporan metrik websitenya tapi dia lebih ke result keyword nya naik hehehehe jadi tips di atas cespleng juga kl saya terapkan ke situs client dan beberapa situs moneysite saya hehehe thanks for share TS :congrats::congrats:
     
    Last edited: Apr 6, 2021
  15. Ahmad Ansori

    Ahmad Ansori Banned

    Joined:
    Jul 12, 2019
    Messages:
    22
    Likes Received:
    6
    Location:
    Jatim
    nice info mas, cocok untuk blog ane nih=D>=D>=D>
     
  16. bloggersemarang

    bloggersemarang Ads.id Pro

    Joined:
    Feb 17, 2013
    Messages:
    291
    Likes Received:
    20
    Saya coba kok, masih bisa kelihatan di ahrefs ya?? carnya gimana gan??
     
  17. radex78

    radex78 Hero

    Joined:
    Jun 21, 2013
    Messages:
    705
    Likes Received:
    72
    Obrolan para suhu memang mantul mantab betul
    kalau sudah ahli duit datang sendiri, sebulan bisa puluhan juta dapatnya
     
  18. JakaMedia

    JakaMedia Ads.id Fan

    Joined:
    Feb 26, 2021
    Messages:
    144
    Likes Received:
    50
    Location:
    Pinggiran Kota
    tinggal jejak
     
  19. grage95

    grage95 Ads.id Fan

    Joined:
    Mar 11, 2017
    Messages:
    153
    Likes Received:
    13
    Klo pake CF. Blok aja di cf nya lebih ringan. Ngeblok refrerer based word misal judi porn jg bisa
     
  20. bungbroto

    bungbroto Ads.id Starter

    Joined:
    Jul 18, 2020
    Messages:
    78
    Likes Received:
    39
    Kalo gak salah bisa set robots.txt nya. Kemaren nyoba utak-atik, gak tau suskes apa gak. Cuman barusan test di ahrefs robot, keterangannya this site can't be crawled. Jadi kayaknya utk blok ahrefs berhasil.

    Yg ini caranya gimana, hu?
    Ada link tutorial kah?
     

Share This Page