Cardinality перегружает Prometheus не размером одного label, а числом уникальных сочетаний metric name и label values. user_id, request_id, полный URL, container hash или session превращают каждое событие в новую time series. Сначала остановите бесконтрольное появление новых серий, но не удаляйте TSDB и не перезапускайте сервер ради временного снижения памяти.

Снимите head series и встроенную статистику TSDB до изменения. Так вы увидите, растёт ли активный набор сейчас, и сможете связать всплеск с metric family или label pair. Endpoint должен быть доступен только администраторам: его ответ раскрывает структуру наблюдаемой системы.

Два снимка показывают направление роста

curl -sS "http://127.0.0.1:9090/api/v1/status/tsdb?limit=30" > tsdb-before.json

# PromQL в expression browser:
prometheus_tsdb_head_series
rate(prometheus_tsdb_head_series_created_total[10m])
topk(20, count by (__name__) ({__name__=~".+"}))

Файл может содержать внутренние имена jobs, instances и labels, поэтому храните его как закрытый incident artifact. TSDB status возвращает число head series, лидеров по metric name, label name и label pair. Последний PromQL дорог на крупной базе: запускайте его на коротком контролируемом интервале или опирайтесь на status endpoint и штатные dashboards Prometheus.

Симптом связываем с конкретным измерением

НаблюдениеВероятная причинаСледующая проверка
seriesCreated растёт непрерывноUnbounded labelЛидеры labelValueCount
Рывок после deployНовая instrumentationСравнить release и /metrics
Одна metric family доминируетСлишком много комбинаций labelsПосчитать значения каждого label
Head стабилен, disk растётRetention или churn старых seriesПроверить churn и blocks
Queries медленные, series умеренноТяжёлый PromQL/широкий rangeQuery log и explain path

Высокая cardinality и churn — разные, но связанные проблемы. Cardinality означает много одновременно активных series; churn означает, что старые сочетания исчезают и постоянно создаются новые. Label pod_id может иметь ограниченное число активных значений, но при частых deploy быстро создавать новые series и нагружать WAL и compaction.

Label должен описывать ограниченную категорию

  • Оставлять method, route template, status class и другие ограниченные измерения.
  • Не помещать request_id, email, UUID, timestamp и полный path в metric labels.
  • Нормализовать /orders/1842 как route=/orders/{id}, а экземпляр запроса искать в traces или logs.
  • Проверять произведение значений: method × route × status × tenant может быть большим даже при умеренных списках.
  • Удалять динамический child из client library, если объект действительно перестал существовать, но не использовать clear как маскировку модели.
  • Сохранять связь с владельцем метрики через codeowners и instrumentation review.

Официальные рекомендации Prometheus предупреждают, что каждое уникальное сочетание labels создаёт отдельную series, и отдельно называют user IDs, email и другие неограниченные множества плохими кандидатами. Нужную детализацию переносите в log или trace, а в metrics оставляйте агрегируемые категории, по которым реально строятся alert и SLO.

Аварийный drop ставим после проверки потребителей

scrape_configs:
  - job_name: checkout
    static_configs:
      - targets: ["checkout:9100"]
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: "checkout_request_debug_info"
        action: drop

Пример условный: metric_relabel_configs применяется к samples перед ingestion, поэтому drop уменьшает новые series, но сразу лишает dashboards, rules и remote write этой метрики. До reload найдите все consumers по точному имени, проверьте config через promtool, сохраните предыдущую версию и ограничьте правило конкретной metric. Лучшее постоянное исправление — прекратить экспорт лишнего label в приложении.

Старые серии не исчезают мгновенно

После исправления источник перестаёт создавать samples, но уже записанные blocks живут до retention и compaction. Не обещайте мгновенное освобождение disk. Успех сначала виден как прекращение роста prometheus_tsdb_head_series и падение created rate; память меняется после того, как старые series выйдут из head, а диск — по политике хранения.

Приёмка проводится на одном полном цикле scrape

  1. Сохранить before snapshot и текущую loaded config.
  2. Исправить exporter или точечно отфильтровать metric.
  3. Провалидировать config и выполнить штатный reload.
  4. Проверить target health и отсутствие scrape errors.
  5. Снять after snapshot после нескольких scrape intervals.
  6. Сравнить head series и скорость создания, не только RSS процесса.
  7. Проверить alerts, dashboards, recording rules и remote write.

Для совместного разбора нужны версия Prometheus, retention flags, число targets, before/after TSDB stats, фрагмент scrape config и несколько строк /metrics проблемного exporter без внутренних адресов и персональных labels. Полную базу, токены и список customer IDs передавать не нужно.

Проверенные источники