Что измеряется
Аудит запрашивает /robots.txt, проверяет HTTP-ответ и разбирает базовые директивы, включая ссылку на sitemap.
Техническая доступность и индексация
Файл robots.txt
Проверка подтверждает наличие и читаемость файла с правилами обхода для поисковых роботов.
Критерий успешной проверки
Файл доступен по стандартному адресу, не содержит случайного глобального запрета и ссылается на актуальную карту сайта.
Что исправлять
Опубликуйте простой robots.txt в корне домена и избегайте правил, которые невозможно сопоставить с реальной структурой маршрутов.
Граница автоматического вывода
Сложный robots.txt не улучшает позиции сам по себе. Его задача — не мешать обходу полезных страниц и экономно закрывать служебные URL.
Основание проверки