Cardinality перегружает Prometheus не размером одного label, а числом уникальных сочетаний metric name и label values. user_id, request_id, полный URL, container hash или session превращают каждое событие в новую time series. Сначала остановите бесконтрольное появление новых серий, но не удаляйте TSDB и не перезапускайте сервер ради временного снижения памяти.
Снимите head series и встроенную статистику TSDB до изменения. Так вы увидите, растёт ли активный набор сейчас, и сможете связать всплеск с metric family или label pair. Endpoint должен быть доступен только администраторам: его ответ раскрывает структуру наблюдаемой системы.
Два снимка показывают направление роста
curl -sS "http://127.0.0.1:9090/api/v1/status/tsdb?limit=30" > tsdb-before.json
# PromQL в expression browser:
prometheus_tsdb_head_series
rate(prometheus_tsdb_head_series_created_total[10m])
topk(20, count by (__name__) ({__name__=~".+"}))Файл может содержать внутренние имена jobs, instances и labels, поэтому храните его как закрытый incident artifact. TSDB status возвращает число head series, лидеров по metric name, label name и label pair. Последний PromQL дорог на крупной базе: запускайте его на коротком контролируемом интервале или опирайтесь на status endpoint и штатные dashboards Prometheus.
Симптом связываем с конкретным измерением
| Наблюдение | Вероятная причина | Следующая проверка |
|---|---|---|
| seriesCreated растёт непрерывно | Unbounded label | Лидеры labelValueCount |
| Рывок после deploy | Новая instrumentation | Сравнить release и /metrics |
| Одна metric family доминирует | Слишком много комбинаций labels | Посчитать значения каждого label |
| Head стабилен, disk растёт | Retention или churn старых series | Проверить churn и blocks |
| Queries медленные, series умеренно | Тяжёлый PromQL/широкий range | Query log и explain path |
Высокая cardinality и churn — разные, но связанные проблемы. Cardinality означает много одновременно активных series; churn означает, что старые сочетания исчезают и постоянно создаются новые. Label pod_id может иметь ограниченное число активных значений, но при частых deploy быстро создавать новые series и нагружать WAL и compaction.
Label должен описывать ограниченную категорию
- Оставлять method, route template, status class и другие ограниченные измерения.
- Не помещать request_id, email, UUID, timestamp и полный path в metric labels.
- Нормализовать /orders/1842 как route=/orders/{id}, а экземпляр запроса искать в traces или logs.
- Проверять произведение значений: method × route × status × tenant может быть большим даже при умеренных списках.
- Удалять динамический child из client library, если объект действительно перестал существовать, но не использовать clear как маскировку модели.
- Сохранять связь с владельцем метрики через codeowners и instrumentation review.
Официальные рекомендации Prometheus предупреждают, что каждое уникальное сочетание labels создаёт отдельную series, и отдельно называют user IDs, email и другие неограниченные множества плохими кандидатами. Нужную детализацию переносите в log или trace, а в metrics оставляйте агрегируемые категории, по которым реально строятся alert и SLO.
Аварийный drop ставим после проверки потребителей
scrape_configs:
- job_name: checkout
static_configs:
- targets: ["checkout:9100"]
metric_relabel_configs:
- source_labels: [__name__]
regex: "checkout_request_debug_info"
action: dropПример условный: metric_relabel_configs применяется к samples перед ingestion, поэтому drop уменьшает новые series, но сразу лишает dashboards, rules и remote write этой метрики. До reload найдите все consumers по точному имени, проверьте config через promtool, сохраните предыдущую версию и ограничьте правило конкретной metric. Лучшее постоянное исправление — прекратить экспорт лишнего label в приложении.
Старые серии не исчезают мгновенно
После исправления источник перестаёт создавать samples, но уже записанные blocks живут до retention и compaction. Не обещайте мгновенное освобождение disk. Успех сначала виден как прекращение роста prometheus_tsdb_head_series и падение created rate; память меняется после того, как старые series выйдут из head, а диск — по политике хранения.
Приёмка проводится на одном полном цикле scrape
- Сохранить before snapshot и текущую loaded config.
- Исправить exporter или точечно отфильтровать metric.
- Провалидировать config и выполнить штатный reload.
- Проверить target health и отсутствие scrape errors.
- Снять after snapshot после нескольких scrape intervals.
- Сравнить head series и скорость создания, не только RSS процесса.
- Проверить alerts, dashboards, recording rules и remote write.
Для совместного разбора нужны версия Prometheus, retention flags, число targets, before/after TSDB stats, фрагмент scrape config и несколько строк /metrics проблемного exporter без внутренних адресов и персональных labels. Полную базу, токены и список customer IDs передавать не нужно.