Термин простыми словами

Поисковый робот

Программа поисковой системы, которая открывает доступные URL и передаёт найденные данные на обработку.

Что это значит

Это автоматический посетитель: он переходит по ссылкам и смотрит, какие страницы сайт разрешает прочитать.

Если робот не может открыть важную страницу, она не попадёт в поиск независимо от качества текста.

Робот находит новую услугу по ссылке из меню и добавляет URL в очередь обхода.

Связанные понятия

Проверка сайта, которая связывает проблему с URL, приоритетом и способом повторной проверки.

Добавление обработанной страницы в поисковую базу, из которой формируются результаты поиска.

Автоматический обход доступных URL и ссылок поисковым роботом.