Los motores de búsqueda no encuentran resultados por arte de magia. Usan robots. En concreto, utilizan lo que comúnmente se denomina arañas de motores de búsqueda o rastreadores web. Estos programas automatizados rastrean Internet para crear una base de datos de cada sitio y página que pueden encontrar. Sin ellos no hay índice. Y sin un índice, un motor de búsqueda no tiene nada que mostrar cuando escribes una consulta.
El proceso es mecánico. Las arañas crean colas de URL para visitar. Cuando uno llega a un sitio específico, no solo mira la página principal. Lee el texto. Analiza el código. Inspecciona las metaetiquetas, aquellas palabras clave específicas y formateadas diseñadas para que las lean las máquinas, no los humanos. Traza hipervínculos. Todos estos datos forman un perfil enviado de vuelta al motor de búsqueda.
Esta es la realidad mecánica: una araña sigue enlaces de una página a otra. Por eso los vínculos de retroceso son importantes. Si su sitio está vinculado desde otros lugares, las arañas lo encontrarán más rápido. Si no tiene enlaces, es efectivamente invisible para la cola.
Los cuatro modos de gatear
Las arañas no deambulan al azar. Operan en distintos modos para gestionar la escala masiva de la web.
-
Modo de selección
Un tipo de araña se encarga del barrido inicial. Prioriza qué páginas visitar y comprueba si ya se ha descargado una versión anterior de una página. Construye el mapa inicial. -
Modo de revisita
Las páginas no permanecen estáticas. Este modo se dirige a páginas que ya han sido rastreadas. Busca actualizaciones. Si el contenido ha cambiado, el índice debe reflejarlo. -
Modo de cortesía
Los servidores tienen límites. Si una araña ataca demasiado fuerte un sitio web, puede bloquearlo o ralentizarlo para los usuarios reales. Para evitar esto, algunos motores utilizan la “cortesía”. Limita la frecuencia con la que una araña regresa a la misma página, lo que garantiza que los servidores no se vean abrumados. -
Modo de paralelización
La web es demasiado grande para un solo robot. La paralelización permite que las arañas se coordinen. Si varias arañas rastrean la misma página, este modo les ayuda a compartir datos y evitar duplicar el trabajo innecesariamente.
Arañas versus indexadores: el proceso de dos pasos
A menudo surge confusión entre el rastreador y el indexador. Son herramientas diferentes.
Una araña es un programa informático que recopila o “rastrea” automáticamente información de Internet. El indexador de un motor de búsqueda es un programa que lee la información de la araña y crea un índice basado en ella.
La araña se apaga. Agarra la materia prima. El indexador se recuesta. Procesa ese material. Construye la biblioteca. El índice es lo que permite al motor de búsqueda proporcionar resultados relevantes cuando un usuario escribe una consulta. Sin araña, sin datos. Sin indexador, sin recuperación.
¿Por qué los rastreadores web se llaman arañas?
El nombre es literal. Las arañas se arrastran. Siguen hilos. Los rastreadores web siguen los hipervínculos como una araña sigue los hilos de una red. Es una vieja analogía, pero se mantiene. Se mueven de un nodo a otro, recopilando datos a medida que avanzan.
Internet es un laberinto. Las arañas son las ratas. Y el motor de búsqueda es el guardián del laberinto. Sólo quieres encontrar la salida.
