[SHARE] aplikasi scrape data untuk Tokopedia dan Bukalapak

Sebelumnya saya melakukan scrape data dengan iMacros. Tetapi karena menggunakan browser, sehingga harus selalu menampilkan (loading) webnya. Dan ini membutuhkan waktu yang lama.
Kemudian saya googling tool-tool lain yang berguna untuk web scraping. Saya melihat bot-bot yang ditawarkan begitu mumpuni, tanpa perlu ditampilkan lewat browser dan berjalan dengan cepat. Salah satu bahasa pemrograman yang bagus untuk web scraping adalah python. Cuma sayangnya saya belum bisa :'-(

Setelah ngoprek sekian lama, dengan berganti-ganti tool, akhirnya bisa juga saya membuat aplikasi web scraping. Meskipun masih banyak kekurangan, saya mencoba untuk meminimalisirnya. Di forum ini saya ingin share aplikasi scrape data tokopedia dan bukalapak, cuma sayangnya filenya cukup besar, sekitar 15 MB. Jadi tidak bisa diupload di sini.

Update :
Data Scrape - Tokopedia v1.1
1 penambahan feature list url
2 penambahan feature scrape per produk
3 penambahan feature scrape per kategori
4 penambahan feature scrape per keyword
5 penambahan feature scrape semua halaman
6 penambahan feature scrape download image

Update 2016-09-14
aplikasi Rasti - Tokopedia sebagai pengganti Data Scrape - Tokopedia v1.1
feature =
- scrape data produk tokopedia
- posting data produk tokopedia
sudah ada di forum ini (thread terpisah), silakan dinikmati ;-)

 

ini data apa gan?

 

data produk di tokopedia dan bukalapak, meliputi Url Produk,Nama Produk,Berat,Kondisi,Deskripsi,Harga Produk,Gambar ke-1,Gambar ke-n
cuma sayangnya masih per toko, belum bisa per kategori, per produk, per search, etc :-(
maybe next time

 

Untuk scrapenya gmn gan

 

Isi url toko, ganti nama_toko dengan toko yang mau discrape produknya.
Isi halaman yang mau discrape.
Isi file excel hasil scrape.
Terakhir, tekan tombol Go.

 

semoga sukses gan dengan bot nya bisa kembangin lagi. kalo boel tau data ini buat apa? kalo untuk monetize reseller kita tinggal search manual untuk sortir produk yang laku, dan sort price termurah, untuk dijadikan supplier

 

Ditunnggu ...

Btw. toolnya mantabs

 

ini sebenernya cuma iseng saja kok
cuma penasaran saja, cara grab yang cepet ga ribet
ini juga ga tau bisa dijalanin di windows apa saja, requirement/spec nya apa saja, speednya gimana...
ane masih pake win XP :-(
aplikasi ini baru ditest di XP dan 7,
untuk yang XP ada yang berhasil, ada yang error di java-nya

jelas bisa dikembangin lagi gan, cuma ga tau nih arahnya mau ke mana, mungkin agan-agan tau sebaiknya dikembangkan ke mana ;-)
mohon saran-sarannya

 

Nuhun gan...

Iya ...ini lagi bikin toped supaya bisa per kategori/sub kategori, per keyword, per produk
doa'in saja biar cepet kelar (masih terkendala waktu)

 

mantap nih scrapnya, ijin comot gan..

 

bro...ini web based apa ngk?soalnya setau saya untuk per toko dan per kategori itu toped sudah pakek javascript...jadi ngk bisa klo ngk buka pakek browser...jadi ya ujungnya sama kek imacros..atau ente ada teknik laen?

 

agan belum coba aplikasinya ya ;-)
aplikasi ini desktop based
url javascriptnya yang ane pakai
kalau sudah dapat, jsonnya baru ane parse
maaf kalau ada yang salah, soalnya ane awam di java :-(

 

Mantap, cuma bingung kalo udh scrape trus upload massal marketplace seperti Shopee dll nya lagi pake apa ya? Gak sekalian bikin bot upload nya mas hehehehe

Sent from my 2014817 using Tapatalk

 

saya punya bot yg PHP, bisa kok. langsung aja tembak ajax-nya, jangan halaman produknya huehehe..

 

boleh juga idenya, patut dipertimbangkan

 

mantab nih ilmunya bro...izin coba ya ilmunya...

 

mantap bro di window 10 lancar jaya gak ada eror apapun.... kalau bisa sama download gambarnya langsung saya mau jadi orang pertama yang beli aplikasi keren ini

 

Joss nih aplikasi scrapenya, berjalan lancar, ditunggu next versinya yg lebih komplit

Download gambarnya tinggal di copy paste linknya ke IDM beres kak

 

wani piro
nanti ujung-ujungnya ane jualan...hehehe
di luaran kan banyak gan, bot yg bagus-bagus (sudah termasuk download image-nya), agan tinggal pilih saja

 

penginnya next version ... adek
tapi kayaknya susah, secara ilmu abang terbatas
ini aplikasi cuma buatan manusia, jadi pasti banyak bug-nya (mohon SELALU BANDINGKAN antara hasil scrape via aplikasi dengan hasil tampilan browser, minimal halaman pertama)

ane masih ngerjain yg toped, terbentur pada parameter2nya
javascript ane disable (maka bisa lebih cepat scrape-nya), tapi jadinya ane susah nangkap parameter2nya

betul...pake IDM saja,
tapi harus copy dulu satu sampe lima/lebih kolom (kolom gambar) ke file text, kemudian hapus-hapus baris yang kosong (karena kolom ke-2 ke atas kadang ada isinya, kadang kosong), jadi ga praktis memang

kalaupun aplikasi bisa download image, berarti mengorbankan waktu scrape (lebih lama scrapenya)
karena ane pikir lebih cepat download dari idm

Update:
kenapa yang punya ane ga bisa download via IDM ya ?
error :
Cannot download this file.
Details:
An error occured while creating security connection to ecs7.tokopedia.net