Термин простыми словами

robots.txt

Текстовый файл в корне сайта с правилами обхода отдельных путей для поисковых роботов.

Что это значит

Файл сообщает роботам, какие разделы можно запрашивать, а какие служебные адреса не стоит обходить.

Ошибочное широкое правило может закрыть важный раздел, а отсутствие запрета — расходовать обход на фильтры и технические URL.

Раздел администрирования закрывают от обхода, но CSS, изображения и публичные страницы оставляют доступными.

Связанные понятия

Проверка сайта, которая связывает проблему с URL, приоритетом и способом повторной проверки.

Добавление обработанной страницы в поисковую базу, из которой формируются результаты поиска.

Автоматический обход доступных URL и ссылок поисковым роботом.