Что это значит
Робот открывает страницу, читает ответ сервера и разметку, затем переходит по найденным ссылкам к следующим URL.
Термин простыми словами
Сканирование
Автоматический обход доступных URL и ссылок поисковым роботом.
Почему это важно
Без стабильного обхода поиск не увидит новые страницы и не узнает об изменениях на уже известных адресах.
Пример
Ссылка из раздела блога приводит робота к новой статье, после чего её содержимое отправляется на обработку.
Связанный разделСвязанные понятия
Продолжить разбор
SEO-аудит
Проверка сайта, которая связывает проблему с URL, приоритетом и способом повторной проверки.
Индексация
Добавление обработанной страницы в поисковую базу, из которой формируются результаты поиска.
Поисковый робот
Программа поисковой системы, которая открывает доступные URL и передаёт найденные данные на обработку.