Website Crawler Problem

Beberapa minggu yang lalu, salah satu klien website saya mengalami problem selalu over quota bandwidth. Meskipun sudah di tambah kapasitas bandwidth, selalu habis dalam waktu 1 hari saja. Tadinya saya curiga dengan fitur download di halaman klien saya tersebut, setelah di matikan fitur download pun ternyata masih bermasalah.
Akhirnya saya mencoba melihat dari data statistik cpanel, service apa yang menyebabkan permasalahan tersebut.  Selidik punya selidik ternyata yang membuat bandwidth selalu habis adalah Google Bot. Apa itu Google Bot? langsung baca disini saja ya hehe :D
Entah kenapa Google Bot mengindex halaman website klien saya tersebut dengan jumlah yang sangat besar. Akhirnya untuk mengatasi problem tersebut saya menggunakan Google Webmaster Tools. Untuk menggunakan tools ini Anda harus mempunyai akun di Google/Gmail terlebih dahulu.  Setelah login saya menambahkan website klien tersebut dan memverifikasinya melalui edit dns.
Setelah terverifikasi saya menggunakan fitur Site Configuration -> Settings. Pada menu pilihan crawl rate kita pilih Set custom crawl rate.
set-crawler
Nah kemudian saya pilih Slower atau bisa di sesuaikan dengan kebutuhan. Setelah klik save, kita tinggal menunggu saja sekitar kurang lebih 1-2 minggu. Alhamdulillah setelah saya coba cara ini problem over bandwidth klien saya sudah teratasi.

Url : http://ghost-share.blogspot.com/2011/04/website-crawler-problem.html
Respond : 0
Share :

0 komentar:

Posting Komentar

Copyright © · Invisible Ghosts ~ Template by Admin