Что измеряется
Аудит применяет правила robots.txt к стартовому URL и фиксирует, не закрыт ли весь публичный сайт директивой Disallow: /.
Техническая доступность и индексация
Доступ робота к сайту
Проверка определяет, разрешён ли универсальному поисковому роботу обход корня сайта.
Критерий успешной проверки
После запуска публичные страницы доступны для обхода, а запреты ограничены служебными разделами.
Что исправлять
Уберите глобальный запрет из production robots.txt и оставьте точечные правила для admin, API и других непоисковых маршрутов.
Граница автоматического вывода
robots.txt управляет обходом, но не является надёжным способом удалить уже известный URL из индекса; для этого применяют noindex при доступном обходе.
Основание проверки