[ASK] Kenapa Bingbot nge-Crawl nya kaya ke-SETAN-an y?

Permisi Mastah Ads-id semua ..
Assalaamu 'alaikum ... (moga para warga ads-id pada tebel dompetnya )

Satu hal yg menggelitik pinggang ane eh.. salah pikiran ane, akhir2 ini bingbot (msnbot) sering ngerambah web ane, padahal ane gak pernah submit ke webmaster bing.

Tuh "bangbot" coming from this IP:
NetRange: 157.54.0.0 - 157.60.255.255
CIDR: 157.56.0.0/14, 157.54.0.0/15, 157.60.0.0/16​

Lucunya lagi kalo nge-crawl gak konstan, kadang dateng kadang pergi, (datengnya tak diundang - pulangnya jalan kaki ) dlm tempo yg sesingkat-singkatnya. Nyang Aye tanyain dimari :

1. Gmn cara ngebatasin ritme blusukan bingbot atau bot lainnya ? GANAS... bingbot perdetik 30 url lebih di-blusukin.
2. bingbot sebenarnya ngerti wildcard ( * ) gak ya? secara ane kasih rules di robots.txt " Disallow: /?* " tetap dicuekin

Makasih sebelumnya mastah!

Note:
Dongkol juga kalo liat CPU & Memory Usage full merah di cpanel, hosting keroyokan pula, error_log langsung membengkak lantaran blusukan bingbot yg kaya SETAAAN

 

mas boleh tau setingan robots.txt nya mas?

 

contoh buat gugelbot punya saya ..

 

huahahh namanya juga gratisan sob

 

udah dicek itu bener2 botnya BING apa bot yang lain ?

atau malah2 bot spammer... ?