Начните не с повторной отправки sitemap, а с ответа на один вопрос: Google уже знает этот URL или ещё нет. В URL Inspection посмотрите проверяемый адрес и выбранный canonical, а в access log найдите запросы Googlebot. Если URL не обнаружен, дайте ему путь через обычную HTML-ссылку и sitemap; если обнаружен, разбирайте доступ и содержимое.
Публикация страницы и её появление в поиске — разные события. Google отдельно обнаруживает адрес, скачивает документ, выбирает canonical и решает, включать ли его в индекс. Даже технически корректная страница не получает гарантии немедленного обхода или показа, поэтому полезен диагноз конкретного этапа, а не ожидание «магической кнопки».
Симптом указывает, на каком этапе искать
| Что видно | Вероятный этап | Следующая проверка |
|---|---|---|
| URL неизвестен Google | Обнаружение | Внутренняя ссылка и наличие абсолютного URL в sitemap |
| Crawl blocked или fetch failed | Доступ робота | robots.txt, HTTP-код, DNS, таймаут и журнал сервера |
| Duplicate, Google chose different canonical | Каноникализация | rel=canonical, редиректы и одинаковые версии URL |
| Crawled, currently not indexed | Оценка документа | Уникальная польза, полнота ответа и похожие страницы сайта |
Не смешивайте эти статусы. Запросить индексирование у URL, который отдаёт 5xx или указывает canonical на другой адрес, бессмысленно: сначала меняется страница. А отсутствие строки в поиске по фрагменту текста не заменяет URL Inspection — выдача персонализируется и не является точным отчётом об индексе.
Один запрос показывает базовые технические препятствия
curl -I https://example.ru/new-page/
curl -s https://example.ru/robots.txt
curl -s https://example.ru/new-page/ | grep -i "canonical\|noindex"Для публичной страницы ожидайте конечный 200 без цепочки случайных редиректов, отсутствие noindex и canonical на саму страницу либо на осознанно выбранную эквивалентную версию. Затем повторите запрос с точки, где сайт доступен извне. Локальный 200 за корпоративным прокси не доказывает, что робот получает тот же ответ.
Обнаружение строится на ссылках и актуальном sitemap
- Добавьте обычную ссылку <a href> со страницы, которую робот уже обходит; кнопка, создающая URL только после JavaScript-события, слабее как путь обнаружения.
- Включите полный абсолютный URL в sitemap и обновляйте lastmod только после существенного изменения документа.
- Уберите из sitemap редиректы, 404, служебные фильтры и адреса, которые canonical объявляет дублями.
- Сравните мобильную и desktop-навигацию: Google индексирует мобильную версию, и скрытая там ветка ссылок замедляет обнаружение.
Sitemap сообщает предпочтительные URL, но остаётся подсказкой, а не приказом на обход. Google отдельно предупреждает: повторная отправка неизменённого sitemap несколько раз в день и многократный запрос одного URL не ускоряют процесс. Проверяйте дату последнего чтения sitemap и его ошибки в Search Console.
URL Inspection используют после исправления
Для нескольких важных страниц запросите индексирование через URL Inspection после того, как live test видит правильный ответ. Для массового выпуска поддерживайте sitemap и связность сайта. В журнале релиза сохраните URL, дату публикации, canonical и страницу-источник ссылки — тогда через несколько дней можно сравнить фактический обход с ожидаемым.
Контрольный прогон заканчивается наблюдаемым результатом
- Открыть URL без авторизации и получить конечный HTTP 200.
- Проверить robots, meta robots, X-Robots-Tag и canonical.
- Найти хотя бы одну доступную роботу внутреннюю ссылку на новый адрес.
- Убедиться, что sitemap содержит именно canonical URL и успешно прочитан.
- Запустить live test, запросить индексирование один раз и записать статус для повторной проверки.
Если статус не меняется, для разбора нужны точный URL, выгрузка URL Inspection без закрытых данных, фрагмент access log по Googlebot, robots.txt, HTTP-заголовки и адрес sitemap. Этот набор отделяет проблему сервера от каноникализации и качества документа без догадок по результатам поиска.