Термин простыми словами

robots.txt

Текстовый файл в корне сайта с правилами обхода отдельных путей для поисковых роботов.

Что это значит

Файл сообщает роботам, какие разделы можно запрашивать, а какие служебные адреса не стоит обходить.

Ошибочное широкое правило может закрыть важный раздел, а отсутствие запрета — расходовать обход на фильтры и технические URL.

Раздел администрирования закрывают от обхода, но CSS, изображения и публичные страницы оставляют доступными.

Связанные понятия

Автоматический обход доступных URL и ссылок поисковым роботом.

Программа поисковой системы, которая открывает доступные URL и передаёт найденные данные на обработку.

Добавление обработанной страницы в поисковую базу, из которой формируются результаты поиска.