Suchmaschinen finden Ergebnisse nicht durch Zauberei. Sie verwenden Bots. Insbesondere nutzen sie sogenannte „Suchmaschinen-Spider“ oder „Webcrawler“. Diese automatisierten Programme durchsuchen das Internet, um eine Datenbank aller Websites und Seiten zu erstellen, die sie finden können. Ohne sie gibt es keinen Index. Und ohne einen Index kann eine Suchmaschine nichts anzeigen, wenn Sie eine Suchanfrage eingeben.
Der Prozess ist mechanisch. Spinnen bilden Warteschlangen mit URLs, die besucht werden sollen. Wenn man auf einer bestimmten Website landet, sieht man sich nicht nur die Hauptseite an. Es liest den Text. Es analysiert den Code. Es untersucht Meta-Tags – diese spezifischen, formatierten Schlüsselwörter, die für Maschinen und nicht für Menschen zum Lesen bestimmt sind. Es ordnet Hyperlinks zu. Alle diese Daten bilden ein Profil, das an die Suchmaschine zurückgesendet wird.
Hier ist die mechanische Realität: Ein Spider folgt Links von Seite zu Seite. Deshalb sind Backlinks wichtig. Wenn Ihre Website von anderen Stellen aus verlinkt ist, werden Sie von den Spidern schneller gefunden. Wenn Sie keine Links haben, sind Sie für die Warteschlange praktisch unsichtbar.
Die vier Arten des Kriechens
Spinnen wandern nicht einfach zufällig umher. Sie arbeiten in unterschiedlichen Modi, um die enorme Größe des Webs zu verwalten.
-
Auswahlmodus
Ein Spinnentyp übernimmt den ersten Sweep. Es priorisiert die zu besuchenden Seiten und prüft, ob bereits eine frühere Version einer Seite heruntergeladen wurde. Es erstellt die anfängliche Karte. -
Wiederbesuchsmodus
Seiten bleiben nicht statisch. Dieser Modus zielt auf Seiten ab, die bereits gecrawlt wurden. Es sucht nach Updates. Wenn sich der Inhalt verschoben hat, muss der Index dies widerspiegeln. -
Höflichkeitsmodus
Server haben Grenzen. Wenn ein Spider zu stark auf eine Website eindringt, kann er sie zum Absturz bringen oder sie für echte Benutzer verlangsamen. Um dies zu verhindern, verwenden einige Suchmaschinen „Höflichkeit“. Dadurch wird begrenzt, wie oft ein Spider zur gleichen Seite zurückkehrt, um sicherzustellen, dass die Server nicht überlastet werden. -
Parallelisierungsmodus
Das Web ist zu groß für einen Bot. Durch die Parallelisierung können sich Spinnen koordinieren. Wenn mehrere Spider dieselbe Seite crawlen, hilft ihnen dieser Modus dabei, Daten auszutauschen und unnötige Doppelarbeit zu vermeiden.
Spiders vs. Indexer: Der zweistufige Prozess
Es kommt häufig zu Verwirrung zwischen dem Crawler und dem Indexer. Es sind unterschiedliche Werkzeuge.
Ein Spider ist ein Computerprogramm, das automatisch Informationen aus dem Internet sammelt oder „crawlt“. Der Indexer einer Suchmaschine ist ein Programm, das die Informationen des Spiders liest und darauf basierend einen Index erstellt.
Die Spinne geht aus. Es greift nach dem Rohmaterial. Der Indexierer lehnt sich zurück. Es verarbeitet dieses Material. Es baut die Bibliothek auf. Der Index ermöglicht es der Suchmaschine, relevante Ergebnisse bereitzustellen, wenn ein Benutzer eine Suchanfrage eingibt. Keine Spinne, keine Daten. Kein Indexer, kein Abruf.
Warum werden Webcrawler Spider genannt?
Der Name ist wörtlich. Spinnen kriechen. Sie folgen Threads. Webcrawler folgen Hyperlinks wie eine Spinne den Strängen eines Webs folgt. Es ist eine alte Analogie, aber sie hat Bestand. Sie bewegen sich von Knoten zu Knoten und sammeln dabei Daten.
Das Internet ist ein Labyrinth. Die Spinnen sind die Ratten. Und die Suchmaschine ist der Hüter des Labyrinths. Du willst nur den Ausgang finden.
