Что это значит
Робот открывает страницу, читает ответ сервера и разметку, затем переходит по найденным ссылкам к следующим URL.
Термин простыми словами
Сканирование
Автоматический обход доступных URL и ссылок поисковым роботом.
Почему это важно
Без стабильного обхода поиск не увидит новые страницы и не узнает об изменениях на уже известных адресах.
Пример
Ссылка из раздела блога приводит робота к новой статье, после чего её содержимое отправляется на обработку.
Связанный разделСвязанные понятия
Продолжить разбор
Поисковый робот
Программа поисковой системы, которая открывает доступные URL и передаёт найденные данные на обработку.
robots.txt
Текстовый файл в корне сайта с правилами обхода отдельных путей для поисковых роботов.
sitemap
XML-карта с выбранными каноническими URL, которые владелец сайта предлагает поиску для обнаружения.