Если Яндекс показывает старые страницы сайта, пользователь может попадать на неактуальные цены, удаленные товары или прежние адреса разделов. Простая отправка нового sitemap не всегда решает проблему: поисковик учитывает HTTP-ответ, canonical, внутренние ссылки, редиректы и историю URL.

Сначала нужно разделить страницы на обновленные, перенесенные и окончательно удаленные. Для каждой группы требуется свой сигнал. Массовое закрытие в robots.txt или удаление всех URL через панель вебмастера может замедлить нормальное обновление индекса.

Определите, какие страницы устарели

Соберите несколько реальных примеров из выдачи и сравните их с текущей структурой сайта.

  • Старый URL открывается и показывает прежний контент со статусом 200.
  • Адрес перенесен, но не настроен постоянный редирект на актуальный аналог.
  • Страница удалена, однако остается во внутренних ссылках и sitemap.
  • В сниппете отображается старый title или описание при актуальном содержимом.

Почему возникает проблема

Поисковик сохраняет старую версию, когда сайт продолжает подавать противоречивые сигналы или робот редко видит обновление.

  • Удаленный URL возвращает 200, soft 404 или общий шаблон каталога.
  • Canonical указывает на прежний адрес либо формируется неправильно.
  • Старые URL присутствуют в меню, фильтрах, хлебных крошках или XML-карте.
  • Цепочка временных редиректов мешает закрепить новый адрес.
  • Кеш сервера или CDN продолжает отдавать старые метатеги поисковому роботу.

Пошаговая диагностика

Диагностику удобнее проводить на выборке URL разных типов, не делая вывод по одной странице.

  1. Выгрузите устаревшие адреса из поиска, Вебмастера и логов обхода.
  2. Проверьте финальный HTTP-статус, redirect chain и тело ответа без браузерного кеша.
  3. Сравните canonical, robots meta, title и дату изменения с актуальной страницей.
  4. Найдите внутренние ссылки на старый URL и запись в sitemap.xml.
  5. Проверьте, что робот получает тот же ответ, что и обычный пользователь.

Выберите правильный сигнал для каждого URL

Обновленная, перенесенная и удаленная страница не должны обрабатываться одинаково.

  • Обновленный URL оставляют доступным с 200 и актуальным контентом.
  • Перенесенную страницу направляют одним 301-редиректом на близкий новый адрес.
  • Окончательно удаленный URL возвращает 404 или 410 без маскировки главной страницей.
  • Временно недоступную страницу не удаляют из индекса необратимыми сигналами.

Как исправить проблему

Исправляйте технические сигналы до запроса переобхода, иначе робот повторно увидит старую конфигурацию.

  1. Обновите содержимое, метатеги и дату изменения для действующих страниц.
  2. Настройте прямые постоянные редиректы без цепочек и циклов.
  3. Удалите старые адреса из внутренних ссылок и XML-карты.
  4. Исправьте canonical и очистите кеш приложения, сервера и CDN.
  5. После проверки отправьте важные URL на переобход и наблюдайте за логами робота.

Как проверить результат

  • Каждый старый URL возвращает ожидаемый статус и не создает redirect chain.
  • Sitemap содержит только канонические индексируемые адреса.
  • Внутренний поиск и навигация больше не ведут на старые страницы.
  • После следующего обхода сниппет и адрес в выдаче начинают обновляться.

Типичные ошибки

  • Закрыть URL в robots.txt до того, как робот увидит 301, 404 или 410.
  • Перенаправить все удаленные страницы на главную.
  • Оставить старый URL в sitemap с новой датой изменения.
  • Удалять адреса из поиска, не исправив причины на самом сайте.

Как предотвратить повторение

  • Ведите карту редиректов при каждом изменении структуры.
  • Генерируйте sitemap только из канонических страниц.
  • Проверяйте 404, canonical и внутренние ссылки после релиза.
  • Храните журнал удаленных и перенесенных URL.

Когда нужна помощь

Если Яндекс продолжает показывать старые страницы, можно прислать примеры URL и новую структуру сайта. Я проверю ответы сервера, canonical, редиректы, sitemap и внутренние ссылки, затем настрою безопасное обновление индекса без массовой потери трафика.