Начните не с повторной отправки sitemap, а с ответа на один вопрос: Google уже знает этот URL или ещё нет. В URL Inspection посмотрите проверяемый адрес и выбранный canonical, а в access log найдите запросы Googlebot. Если URL не обнаружен, дайте ему путь через обычную HTML-ссылку и sitemap; если обнаружен, разбирайте доступ и содержимое.

Публикация страницы и её появление в поиске — разные события. Google отдельно обнаруживает адрес, скачивает документ, выбирает canonical и решает, включать ли его в индекс. Даже технически корректная страница не получает гарантии немедленного обхода или показа, поэтому полезен диагноз конкретного этапа, а не ожидание «магической кнопки».

Симптом указывает, на каком этапе искать

Что видноВероятный этапСледующая проверка
URL неизвестен GoogleОбнаружениеВнутренняя ссылка и наличие абсолютного URL в sitemap
Crawl blocked или fetch failedДоступ роботаrobots.txt, HTTP-код, DNS, таймаут и журнал сервера
Duplicate, Google chose different canonicalКаноникализацияrel=canonical, редиректы и одинаковые версии URL
Crawled, currently not indexedОценка документаУникальная польза, полнота ответа и похожие страницы сайта

Не смешивайте эти статусы. Запросить индексирование у URL, который отдаёт 5xx или указывает canonical на другой адрес, бессмысленно: сначала меняется страница. А отсутствие строки в поиске по фрагменту текста не заменяет URL Inspection — выдача персонализируется и не является точным отчётом об индексе.

Один запрос показывает базовые технические препятствия

curl -I https://example.ru/new-page/
curl -s https://example.ru/robots.txt
curl -s https://example.ru/new-page/ | grep -i "canonical\|noindex"

Для публичной страницы ожидайте конечный 200 без цепочки случайных редиректов, отсутствие noindex и canonical на саму страницу либо на осознанно выбранную эквивалентную версию. Затем повторите запрос с точки, где сайт доступен извне. Локальный 200 за корпоративным прокси не доказывает, что робот получает тот же ответ.

Обнаружение строится на ссылках и актуальном sitemap

  • Добавьте обычную ссылку <a href> со страницы, которую робот уже обходит; кнопка, создающая URL только после JavaScript-события, слабее как путь обнаружения.
  • Включите полный абсолютный URL в sitemap и обновляйте lastmod только после существенного изменения документа.
  • Уберите из sitemap редиректы, 404, служебные фильтры и адреса, которые canonical объявляет дублями.
  • Сравните мобильную и desktop-навигацию: Google индексирует мобильную версию, и скрытая там ветка ссылок замедляет обнаружение.

Sitemap сообщает предпочтительные URL, но остаётся подсказкой, а не приказом на обход. Google отдельно предупреждает: повторная отправка неизменённого sitemap несколько раз в день и многократный запрос одного URL не ускоряют процесс. Проверяйте дату последнего чтения sitemap и его ошибки в Search Console.

URL Inspection используют после исправления

Для нескольких важных страниц запросите индексирование через URL Inspection после того, как live test видит правильный ответ. Для массового выпуска поддерживайте sitemap и связность сайта. В журнале релиза сохраните URL, дату публикации, canonical и страницу-источник ссылки — тогда через несколько дней можно сравнить фактический обход с ожидаемым.

Контрольный прогон заканчивается наблюдаемым результатом

  1. Открыть URL без авторизации и получить конечный HTTP 200.
  2. Проверить robots, meta robots, X-Robots-Tag и canonical.
  3. Найти хотя бы одну доступную роботу внутреннюю ссылку на новый адрес.
  4. Убедиться, что sitemap содержит именно canonical URL и успешно прочитан.
  5. Запустить live test, запросить индексирование один раз и записать статус для повторной проверки.

Если статус не меняется, для разбора нужны точный URL, выгрузка URL Inspection без закрытых данных, фрагмент access log по Googlebot, robots.txt, HTTP-заголовки и адрес sitemap. Этот набор отделяет проблему сервера от каноникализации и качества документа без догадок по результатам поиска.

Проверенные источники