Начинайте не с редактирования всего файла, а с одного URL, который должен попадать в поиск. Получите `https://example.com/robots.txt` так, как его видит внешний клиент, и сохраните ответ. Затем отдельно проверьте страницу. Если файл разрешает обход, причина уже не в robots.txt; если запрещает, нужно найти конкретную группу и путь.

Безопасное исправление открывает только нужный раздел. Удаление общего `Disallow: /` может одновременно открыть внутренний поиск, корзину и технические параметры. Перед публикацией сравните старое и новое решение хотя бы для разрешаемой страницы, соседнего служебного URL и нескольких статических ресурсов.

Три снимка отделяют блокировку от другой ошибки

СнимокЧто зафиксироватьЧто подтверждает
robots.txtstatus, Content-Type, тело, конечный URLРобот действительно получает этот файл
Проблемная страницаstatus, canonical, robots meta/headerСтраница пригодна для индексации после обхода
Search Consoleпоследний crawl и причинаКак Google интерпретирует конкретный URL
Внутренняя ссылкаhref и источник ссылкиURL можно обнаружить без ручной отправки
Sitemapточное абсолютное значение locВ sitemap нет другого варианта адреса

Проверяйте конечный ответ после редиректов. Частая ловушка: CDN отдаёт один robots.txt на основном домене, а origin или поддомен — другой. Файл действует только на тот протокол, host и port, где размещён; правило соседнего хоста не переносится автоматически.

Решение проверяется на конкретных путях

User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /catalog/

Sitemap: https://example.com/sitemap.xml

Это условный пример. В Robots Exclusion Protocol группы начинаются с `User-agent`, после чего идут правила. Для Google при совпадениях учитывается наиболее конкретный путь. Не рассчитывайте на порядок строк как на универсальный механизм приоритета для всех роботов; сначала проверьте интерпретацию нужного поисковика.

Открываем узкий префикс, а не весь сайт

  • Замените широкое правило только после списка URL, которые оно затрагивает.
  • Не закрывайте CSS и JavaScript, необходимые для отрисовки индексируемой страницы.
  • Оставьте запрет на реальные служебные разделы, если им не нужен обход.
  • Проверьте отдельные группы Googlebot, AdsBot и других агентов, если они есть.
  • Не публикуйте путь с секретом: robots.txt доступен всем и не является контролем доступа.
  • Для приватного содержимого используйте авторизацию, а не надежду на Disallow.

RFC 9309 прямо рассматривает robots.txt как правила для crawler, а не как авторизацию. Если URL нельзя показывать посторонним, сервер должен отклонять запрос без полномочий. Скрытый путь, перечисленный в публичном robots.txt, напротив, становится заметнее.

Crawl и index — разные решения

Запрещённый URL всё равно может появиться в результатах без описания, если Google узнал адрес из ссылок. И обратная ситуация: после снятия Disallow страница не обязана сразу войти в индекс. Робот должен заново получить URL, увидеть нормальный status, содержимое, canonical и отсутствие `noindex`.

ЦельПодходПочему
Разрешить обходИсправить Allow/DisallowCrawler сможет запросить URL
Убрать HTML из поискаРазрешить crawl + noindexРобот должен прочитать директиву
Закрыть приватные данныеАутентификация/403robots.txt не защищает ресурс
Удалить отсутствующий URL404 или 410Сервер сообщает об отсутствии
Объединить дублиcanonical/redirect по ситуацииЭто не задача robots.txt

Контрольный прогон делают до ожидания переобхода

  1. Получить robots.txt по HTTPS без авторизации и проверить status 200.
  2. Применить правила к трём контрольным URL: нужному, служебному и статическому.
  3. Открыть нужную страницу внешним запросом и проверить конечный status.
  4. Убедиться, что в HTML и X-Robots-Tag нет конфликтующего noindex.
  5. Проверить canonical, внутреннюю ссылку и запись в sitemap.
  6. Запустить URL Inspection и запросить повторный обход только после этих проверок.

Результат готов, когда нужный URL разрешён, соседние служебные пути остались закрыты, сервер не требует сессии от поискового робота, а Search Console видит актуальный файл. Для разбора подготовьте robots.txt до и после, четыре контрольных URL и снимок причины из URL Inspection.

Проверенные источники