Web Crawler

Web Crawler

Web Crawler atau biasa juga disebut web spider memiliki tugas untuk meng-crawl (merayapi) seluruh informasi dari suatu website. Spider akan menggali seluruh data dari suatu website termasuk didalamnya komponen website seperti : meta data, keywords dan lain sebagainya. Kemudian web spider akan mengumpulkan atau mengindeks seluruh website ke dalam data base search engine. Sampai pada akhirnya halaman website akan di tampilkan pada Search Engine Result Page (SERP).

Sederhananya seperti ini : Ketika Anda mengetikkan query atau kata kunci pada search engine, mesin akan mencari database index dan memberikan daftar halaman web yang sesuai dengan kriteria yang Anda cari.

Proses web crawler dalam mengunjungi setiap dokumen web disebut web crawling atau spidering.

Nah, jadi kalo blog Anda telah dipasang Meta Tag SEO Friendly, judul artikel yang mengandung sebagian dari keywords (kata kunci) dan memiliki konten yang berkualitas, maka tidak tertutup kemungkinan, artikel Anda akan mejeng di halaman pertama Search Engine Result Page (SERP).

Fungsi Web Crawler / Web Spider

1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.

2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.

3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.

Sunber:http://www.blogmashendra.com/2014/05/pengertian-dan-fungsi-web-crawler.html