Mesin pencari tidak menemukan hasil secara ajaib. Mereka menggunakan bot. Secara khusus, mereka menggunakan apa yang biasa disebut laba-laba mesin pencari atau perayap web. Program otomatis ini menjelajahi internet untuk membangun database setiap situs dan halaman yang dapat mereka temukan. Tanpa mereka, tidak ada indeks. Dan tanpa indeks, mesin pencari tidak akan menampilkan apa pun saat Anda mengetikkan kueri.
Prosesnya mekanis. Laba-laba membuat antrean URL untuk dikunjungi. Ketika seseorang membuka situs tertentu, ia tidak hanya melihat halaman utamanya. Itu membaca teksnya. Itu mem-parsing kode. Ini memeriksa tag meta—kata kunci spesifik dan berformat yang dirancang untuk dibaca oleh mesin, bukan manusia. Ini memetakan hyperlink. Semua data ini membentuk profil yang dikirim kembali ke mesin pencari.
Inilah realitas mekanisnya: seekor laba-laba mengikuti tautan dari halaman ke halaman. Inilah sebabnya mengapa backlink penting. Jika situs Anda ditautkan dari tempat lain, laba-laba akan menemukan Anda lebih cepat. Jika Anda tidak memiliki tautan, Anda tidak akan terlihat dalam antrean.
Empat Mode Perayapan
Laba-laba tidak berkeliaran sembarangan. Mereka beroperasi dalam mode berbeda untuk mengelola web dalam skala besar.
-
Mode Pemilihan
Salah satu jenis laba-laba menangani sapuan awal. Ini memprioritaskan halaman mana yang akan dikunjungi dan memeriksa apakah versi halaman sebelumnya telah diunduh. Itu membangun peta awal. -
Mode Kunjungan Ulang
Halaman tidak tetap statis. Mode ini menargetkan halaman yang telah dirayapi. Ia memeriksa pembaruan. Jika kontennya telah berubah, indeks harus mencerminkan hal tersebut. -
Mode Kesopanan
Server memiliki batasan. Jika laba-laba membobol situs web terlalu keras, ia dapat membuat situs tersebut crash atau memperlambatnya bagi pengguna sebenarnya. Untuk mencegah hal ini, beberapa mesin menggunakan “kesopanan”. Ini membatasi seberapa sering laba-laba kembali ke halaman yang sama, memastikan server tidak kewalahan. -
Mode Paralelisasi
Web terlalu besar untuk satu bot. Paralelisasi memungkinkan laba-laba untuk berkoordinasi. Jika beberapa laba-laba merayapi laman yang sama, mode ini membantu mereka berbagi data dan menghindari duplikasi pekerjaan yang tidak perlu.
Laba-laba vs. Pengindeks: Proses Dua Langkah
Kebingungan sering muncul antara crawler dan pengindeks. Itu adalah alat yang berbeda.
Spider adalah program komputer yang secara otomatis mengumpulkan, atau “merangkak” informasi dari internet. Pengindeks mesin pencari adalah program yang membaca informasi laba-laba dan membuat indeks berdasarkan informasi tersebut.
Laba-laba itu padam. Itu mengambil bahan mentah. Pengindeks duduk kembali. Ini memproses materi itu. Itu membangun perpustakaan. Indeks inilah yang memungkinkan mesin pencari memberikan hasil yang relevan ketika pengguna mengetikkan kueri. Tidak ada laba-laba, tidak ada data. Tidak ada pengindeks, tidak ada pengambilan.
Mengapa perayap web disebut laba-laba?
Namanya literal. Laba-laba merangkak. Mereka mengikuti benang. Perayap web mengikuti hyperlink seperti laba-laba mengikuti untaian di web. Ini adalah analogi lama, tetapi masih berlaku. Mereka berpindah dari satu node ke node lain, mengumpulkan data seiring berjalannya waktu.
Internet adalah sebuah labirin. Laba-laba adalah tikus. Dan mesin pencari adalah penjaga labirin tersebut. Anda hanya ingin mencari jalan keluar.
