[SHARE] Remove Duplikat URL dan Domain - Untuk Jutaan URL List Backlink - Gratis

Assalamualaikum, Wr Wb.

Buat agan yang senang bermain2 dengan backlink, tips berikut ini mungkin bermanfaat, khususnya yang nggak punya Scrapebox seperti saya..
Langsung saja ya ..

Salah satu upaya agar kampanye backlink kita aman dan sukses adalah banyaknya unique domain (selain tentu saja variasi IP).
Bagaimana cara agar kita tahu persis berapa sebenarnya jumlah unique domain dari sebuah seo list?
Mudah sebenarnya kita lakukan secara manual apabila…. list hanya berisi beberapa puluh URL saja.

Tapi bagaimana jika list ini berisi ribuan, ratusan ribu atau bahkan jutaan URL?

Untuk yang punya Scrapebox, hal ini bukan masalah karena ada fitur remove dupes. Bagaimana dengan mereka yang nggak punya SB?

Jangan khawatir.. masih bisa kok, gratis pula

1. Sebelum mulai menyortir, pastikan bahwa seluruh list jadi satu dalam sebuah file txt. Apabila banyak file txt, gabung dulu seluruh file txt (di merge) dengan bantuan tool Text Collector . ektp://www.snapfiles.com/get/txtcollector.html
2. Selanjutnya gunakan gVim. Silakan donlot dan install di : ektp://www.vim.org/download.php#pc
3. Klik kanan file txt yang berisi list gabungan tadi, pilih Edit with Vim. Scroll ke baris paling bawah, letakkan kursor dan lihat berapa jumlah URL sebelum di sortir. (catat sebagai pembanding )

untuk remove duplikat url
pada konsol vim pastikan kursor berada pada baris pertama (paling atas), lalu ketikkan “:sort u” (tanpa kutip) lalu enter.

untuk remove duplikat domain
Ketik “:let g:gotDomains={}” (tanpa kutip) lalu enter,
ketik lagi “:” (tanpa kutip) lalu paste code berikut ini, kemudian enter.

Code:

%g/^/let curDomain=matchstr(getline('.'), '\v^http://%(www\.)?\zs[^/]+') | if !has_key(g:gotDomains, curDomain) | let g:gotDomains[curDomain]=1 | else | delete _ | endif

jika error , gapapa, tekan enter lagi aja.
Scroll hingga baris paling bawah, taruh kursor disana, dan lihat berapa selisihnya.

Selesai, list kita sudah bersih dari duplikat URL dan duplikat Domain.

Mohon maaf kalo ripost, monggo di delete aja mod.

 

semoga bermanfaat bagi yang membutuhkan masteh

 

bs jg pakai notepad++ sm plugin testfx..
skligus sortir tiap baris sesuai huruf, baris yg duplikat otomatis jd 1..