Пошукові системи не знаходять результатів чарівним чином. Вони використовують ботів. Конкретніше, вони використовують так звані пошукові роботи (spiders) або веб-краулери. Ці автоматизовані програми сканують інтернет, щоб створити базу даних всіх сайтів та сторінок, які вони можуть знайти. Без них немає індексу. Без індексу пошукова система не може показати нічого, коли ви вводите запит.
Цей процес є механічним. Роботи формують черги URL-адрес для відвідування. Коли робот потрапляє на конкретний сайт, він дивиться не лише головну сторінку. Він читає текст. Він аналізує код. Він перевіряє мета-теги – специфічні, відформатовані ключові слова, призначені для читання машинами, а не людьми. Він вибудовує карту гіперпосилань. Всі ці дані формують профіль, який відправляється назад у пошукову систему.
Ось механічна реальність: робот слідує за посиланнями зі сторінки на сторінку. Саме тому зворотні посилання (backlinks) мають значення. Якщо на ваш сайт є посилання з інших місць, робота знаходить вас швидше. Якщо у вас немає посилань, ви практично невидимі для черги.
Чотири режими обходу
Роботи не просто блукають випадково. Вони працюють у різних режимах, щоб керувати величезним масштабом інтернету.
-
Режим вибору (Selection Mode)
Один тип робота відповідає за початковий обхід. Він визначає пріоритетність сторінок для відвідування та перевіряє, чи не було завантажено попередню версію сторінки. Він будує карту. -
Режим повторного відвідування (Re-visitation Mode)
Сторінки не залишаються статичними. Цей режим орієнтований на сторінки, які вже були проіндексовані. Він перевіряє наявність оновлень. Якщо контент змінився, індекс має це відобразити. -
Режим ввічливості (Politeness Mode)
Сервери мають обмеження. Якщо робот надто сильно “навантажує” сайт, він може його “впустити” або сповільнити роботу для реальних користувачів. Щоб запобігти цьому, деякі пошукові системи використовують «ввічливість». Вона обмежує частоту повернення робота на ту саму сторінку, забезпечуючи, щоб сервери не були перевантажені. -
Режим паралелізації (Parallelization Mode)
Інтернет надто великий для одного бота. Паралелізація дозволяє роботам координувати свої дії. Якщо кілька роботів обходять ту саму сторінку, цей режим допомагає їм обмінюватися даними та уникати непотрібного дублювання роботи.
Роботи проти індексаторів: двоетапний процес
Часто виникає плутанина між краулером (обхідником) та індексатором. Це різні інструменти.
Робот — це комп’ютерна програма, яка автоматично збирає або обходить інформацію в інтернеті. Індексатор пошукової системи – це програма, яка читає інформацію, зібрану роботом, і створює на її основі індекс.
Робот виходить у мережу. Він збирає сирий матеріал. Індексатор залишається дома. Він опрацьовує цей матеріал. Він творить бібліотеку. Саме індекс дозволяє пошуковій системі видавати релевантні результати, коли користувач запитує. Немає робота – немає даних. Немає індексатора – немає пошуку.
Чому веб-краулерів називають павуками?
Назва буквальна. Павуки повзають. Вони прямують нитками. Веб-краулери слідують за гіперпосиланнями, подібно до того, як павук слідує по нитках павутини. Це стара аналогія, але вона залишається актуальною. Вони переміщаються від вузла до вузла, збираючи дані у справі.
Інтернет – це лабіринт. Павуки – це щури. А пошукова система – зберігач лабіринту. Ви просто хочете знайти вихід.
