Les moteurs de recherche ne trouvent pas de résultats par magie. Ils utilisent des robots. Plus précisément, ils utilisent ce que l’on appelle communément des araignées des moteurs de recherche ou des crawpers Web. Ces programmes automatisés parcourent Internet pour créer une base de données de chaque site et page qu’ils peuvent trouver. Sans eux, il n’y a pas d’index. Et sans index, un moteur de recherche n’a rien à afficher lorsque vous tapez une requête.
Le processus est mécanique. Les araignées créent des files d’attente d’URL à visiter. Lorsqu’on arrive sur un site spécifique, on ne regarde pas seulement la page principale. Il lit le texte. Il analyse le code. Il inspecte les balises méta, ces mots-clés spécifiques et formatés conçus pour être lus par les machines, et non par les humains. Il cartographie les hyperliens. Toutes ces données forment un profil renvoyé au moteur de recherche.
Voici la réalité mécanique : une araignée suit les liens de page en page. C’est pourquoi les backlinks sont importants. Si votre site est lié depuis d’autres endroits, les araignées vous trouvent plus rapidement. Si vous n’avez aucun lien, vous êtes effectivement invisible dans la file d’attente.
Les quatre modes d’exploration
Les araignées ne se promènent pas au hasard. Ils fonctionnent selon des modes distincts pour gérer l’échelle massive du Web.
-
Mode de sélection
Un type d’araignée gère le balayage initial. Il priorise les pages à visiter et vérifie si une version précédente d’une page a déjà été téléchargée. Il construit la carte initiale. -
Mode de nouvelle visite
Les pages ne restent pas statiques. Ce mode cible les pages déjà explorées. Il vérifie les mises à jour. Si le contenu a changé, l’index doit le refléter. -
Mode politesse
Les serveurs ont des limites. Si une araignée martèle trop fort un site Web, elle peut le faire planter ou le ralentir pour les vrais utilisateurs. Pour éviter cela, certains moteurs utilisent la « politesse ». Cela limite la fréquence à laquelle un robot revient sur la même page, garantissant ainsi que les serveurs ne sont pas submergés. -
Mode de parallélisation
Le Web est trop grand pour un seul robot. La parallélisation permet aux araignées de se coordonner. Si plusieurs robots explorent la même page, ce mode les aide à partager des données et à éviter de dupliquer inutilement le travail.
Spiders vs Indexers : le processus en deux étapes
Une confusion survient souvent entre le robot d’exploration et l’indexeur. Ce sont des outils différents.
Une araignée est un programme informatique qui rassemble automatiquement, ou « explore », des informations provenant d’Internet. L’indexeur d’un moteur de recherche est un programme qui lit les informations de l’araignée et crée un index basé sur celles-ci.
L’araignée sort. Il récupère la matière première. L’indexeur reste en retrait. Il traite ce matériau. Il construit la bibliothèque. L’index est ce qui permet au moteur de recherche de fournir des résultats pertinents lorsqu’un utilisateur saisit une requête. Pas d’araignée, pas de données. Pas d’indexeur, pas de récupération.
Pourquoi les robots d’exploration du Web sont-ils appelés araignées ?
Le nom est littéral. Les araignées rampent. Ils suivent les fils de discussion. Les robots d’exploration Web suivent les hyperliens comme une araignée suit les brins d’une toile. C’est une vieille analogie, mais elle tient la route. Ils se déplacent de nœud en nœud, collectant des données au fur et à mesure.
Internet est un labyrinthe. Les araignées sont les rats. Et le moteur de recherche est le gardien du labyrinthe. Vous voulez juste trouver la sortie.
