I motori di ricerca non trovano risultati per magia. Usano i bot. Nello specifico, utilizzano quelli che vengono comunemente chiamati spider dei motori di ricerca o web crawler. Questi programmi automatizzati esplorano Internet per creare un database di ogni sito e pagina che riescono a trovare. Senza di essi non esiste indice. E senza un indice, un motore di ricerca non ha nulla da mostrare quando si digita una query.
Il processo è meccanico. Gli spider creano code di URL da visitare. Quando si arriva su un sito specifico, non si guarda solo la pagina principale. Si legge il testo. Analizza il codice. Esamina i meta tag, quelle parole chiave specifiche e formattate progettate per essere lette dalle macchine, non dagli esseri umani. Mappa i collegamenti ipertestuali. Tutti questi dati formano un profilo rinviato al motore di ricerca.
Ecco la realtà meccanica: uno spider segue i collegamenti da una pagina all’altra. Questo è il motivo per cui i backlink contano. Se il tuo sito è collegato da altri luoghi, gli spider ti troveranno più velocemente. Se non hai collegamenti, sei effettivamente invisibile alla coda.
Le quattro modalità di scansione
I ragni non vagano in modo casuale. Operano in modalità distinte per gestire l’enorme scala del web.
-
Modalità di selezione
Un tipo di ragno gestisce la scansione iniziale. Dà la priorità a quali pagine visitare e controlla se è già stata scaricata una versione precedente di una pagina. Costruisce la mappa iniziale. -
Modalità rivisitazione
Le pagine non rimangono statiche. Questa modalità prende di mira le pagine che sono già state sottoposte a scansione. Controlla gli aggiornamenti. Se il contenuto è cambiato, l’indice deve rifletterlo. -
Modalità cortesia
I server hanno dei limiti. Se uno spider martella troppo forte un sito web, può bloccarlo o rallentarlo per gli utenti reali. Per evitare ciò, alcuni motori usano la “cortesia”. Limita la frequenza con cui uno spider ritorna sulla stessa pagina, garantendo che i server non siano sovraccarichi. -
Modalità di parallelizzazione
Il Web è troppo grande per un bot. La parallelizzazione consente agli spider di coordinarsi. Se più spider eseguono la scansione della stessa pagina, questa modalità li aiuta a condividere i dati ed evitare di duplicare inutilmente il lavoro.
Spider contro indicizzatori: il processo in due fasi
Spesso si crea confusione tra il crawler e l’indicizzatore. Sono strumenti diversi.
Uno spider è un programma per computer che raccoglie o “striscia” automaticamente informazioni da Internet. L’indicizzatore di un motore di ricerca è un programma che legge le informazioni dello spider e crea un indice basato su di esse.
Il ragno esce. Prende la materia prima. L’indicizzatore si siede. Elabora quel materiale. Costruisce la biblioteca. L’indice è ciò che consente al motore di ricerca di fornire risultati pertinenti quando un utente digita una query. Nessun ragno, nessun dato. Nessun indicizzatore, nessun recupero.
Perché i web crawler vengono chiamati spider?
Il nome è letterale. I ragni strisciano. Seguono i thread. I web crawler seguono i collegamenti ipertestuali come un ragno segue i fili di una rete. È una vecchia analogia, ma regge. Si spostano da un nodo all’altro, raccogliendo dati mentre procedono.
Internet è un labirinto. I ragni sono i ratti. E il motore di ricerca è il custode del labirinto. Vuoi solo trovare l’uscita.
