Не начинайте с правила `Disallow: /*?`. В параметрах могут жить и бесполезная сортировка, и самостоятельный цвет товара, который нужен пользователям из поиска. Сначала соберите реальные URL из Search Console, серверных логов и обхода сайта, затем разложите их по назначению.

Безопасный первый результат — таблица из нескольких классов URL. Она показывает, где шаблон создаёт бесконечные комбинации, где sitemap ссылается на неканоническую версию, а где параметр действительно меняет ассортимент или содержание страницы.

Одинаковый знак вопроса скрывает разные страницы

ПримерЧто меняетПредварительное решение
?sort=priceТолько порядокCanonical на базовый список
?utm_source=mailАтрибуциюНе использовать во внутренних ссылках
?session=...СессиюУбрать из публичных URL
?color=greenНабор товаровОценить поисковую ценность
?page=3Продолжение спискаПроверить пагинацию отдельно
?color=none&size=noneПустой результат404 для бессмысленной комбинации

Google предупреждает, что фасетная навигация может породить почти бесконечное пространство URL и расходовать ресурсы обхода. При этом полезные варианты допустимо делать отдельными URL. Решение принимается по содержимому и спросу, а не по самому факту наличия query string.

Источник ссылок важнее списка в индексе

  • Меню и карточки ссылаются на URL с UTM или session ID.
  • Фильтр генерирует все перестановки параметров в разном порядке.
  • Sitemap содержит sort, view или временные значения.
  • Canonical формируется из текущей адресной строки вместе с query.
  • JavaScript добавляет crawlable links на каждую комбинацию фасетов.
  • Внешние ссылки закрепили старый параметрический адрес.

Исправление только метатега оставляет генератор мусорных ссылок включённым. Сначала перестаньте публиковать нежелательные варианты: используйте чистые URL во внутренних ссылках и sitemap, нормализуйте порядок допустимых параметров и не переносите пользовательскую сессию в адрес.

Canonical применяют только к настоящим дублям

Базовая категория: https://example.com/catalog/shoes/
Сортировка:       https://example.com/catalog/shoes/?sort=price
Canonical:        https://example.com/catalog/shoes/

Полезный фасет:   https://example.com/catalog/shoes/?color=green
Canonical:        self, если страница самостоятельна и индексируема

Это условная карта. Google рассматривает canonical как сигнал предпочтительной версии, а не команду. Он должен совпадать с внутренними ссылками, sitemap и редиректами. Нельзя указывать базовую категорию как canonical для фильтра, если на странице другой самостоятельный набор и вы хотите получать по нему трафик.

Noindex, robots.txt и 404 решают разные задачи

ЦельМеханизмОграничение
Объединить дубльrel=canonicalНужны согласованные сигналы
Убрать доступную страницу из индексаrobots meta noindexCrawler должен прочитать страницу
Сократить обход фасетовrobots.txt/архитектура ссылокURL может остаться известным
Несуществующая комбинацияHTTP 404Не redirect на общую заглушку
Старый URL с заменой301/308 по ситуацииТолько при реальном эквиваленте

Если URL уже в индексе, одновременный запрет в robots.txt может помешать роботу увидеть новый noindex. Сначала дайте поисковику доступ к сигналу исключения или корректному status, дождитесь обработки, а ограничения crawl проектируйте отдельно. Не используйте robots.txt как средство защиты приватных данных.

Исправление выпускают на одном типе параметра

  1. Выбрать один класс, например sort, и получить 20 реальных URL.
  2. Исправить внутренние ссылки и убрать класс из sitemap.
  3. Проверить status, canonical и robots meta в сыром HTML.
  4. Убедиться, что полезные фильтры и товары остались доступны.
  5. Пересканировать сайт и сравнить число создаваемых комбинаций.
  6. После повторного обхода проверить группу в Search Console.

Успех — это не мгновенное исчезновение всех старых адресов, а прекращение их генерации, согласованные сигналы и снижение числа новых параметрических URL. Для следующего разбора сохраните примеры каждой категории, источник ссылки и выбранное правило; по одному URL нельзя оценить весь фасетный граф.

Проверенные источники