Если warning и critical отправляются одному человеку одним способом, уровни существуют только в интерфейсе. Сначала договоритесь о реакции: warning создаёт задачу или сообщение в рабочий канал, critical будит on-call и требует немедленного подтверждения. Только затем подбирайте PromQL threshold и длительность for.

Не повышайте severity из-за одного большого числа. Critical должен описывать воздействие: недоступность ключевого пути, быстрое исчерпание error budget, риск потери данных или отсутствие безопасного обхода. Warning показывает ухудшение, при котором ещё есть время проверить причину до пользовательского инцидента.

Уровень задаёт договор реакции

СвойствоWarningCritical
КаналРабочий чат или ticketOn-call paging
СрокВ течение рабочего окнаНемедленное подтверждение
СигналУстойчивое ухудшение или запас уменьшаетсяЕсть влияние или оно неизбежно скоро
ДействиеДиагностика и план исправленияОграничение ущерба по runbook
ЗакрытиеМетрика вернулась и причина записанаСервис стабилен, incident передан в follow-up

Названия severity — локальная конвенция, Prometheus не назначает им универсальный смысл. Зафиксируйте словарь в репозитории alert rules и не добавляйте новый уровень вроде urgent без владельца, канала и срока. Иначе routing tree постепенно станет набором исключений.

Порог и for проектируем парой

- alert: CheckoutErrorRateWarning
  expr: checkout:error_ratio_5m > 0.02
  for: 20m
  labels: { severity: "warning", service: "checkout" }

- alert: CheckoutErrorRateCritical
  expr: checkout:error_ratio_5m > 0.08
  for: 5m
  labels: { severity: "critical", service: "checkout" }

Имена, выражения и числа условны. Порог берут из SLO, capacity model и истории нормального режима. Короткий for у critical уменьшает задержку, но не должен превращать единичный scrape spike в page. Warning с более длинным for ловит тренд и остаётся полезным, даже если critical так и не наступил.

Две rules проще обсуждать и тестировать, чем severity, вычисляемая шаблоном из значения. В каждой annotations укажите текущее значение, порог, окно, dashboard и первый безопасный шаг. Label severity остаётся стабильным и участвует в routing; динамическое значение метрики туда не помещают.

Routing отделяет рабочий сигнал от page

route:
  receiver: team-chat
  routes:
    - receiver: on-call
      matchers:
        - severity="critical"
    - receiver: team-chat
      matchers:
        - severity="warning"

inhibit_rules:
  - source_matchers: [severity="critical"]
    target_matchers: [severity="warning"]
    equal: [service, environment]

Конфигурация — основа для своего дерева. Inhibition сработает только когда source и target имеют одинаковые значения labels из equal. Отсутствующий label и пустое значение считаются одинаковыми, поэтому service и environment должны гарантированно присутствовать; иначе unrelated critical сможет заглушить warning.

Переходы проверяем как конечный автомат

  1. Норма: ни одна rule не active.
  2. Умеренное ухудшение короче for: warning остаётся pending и не уведомляет.
  3. Ухудшение дольше for: firing warning попадает в рабочий receiver.
  4. Резкий рост: critical становится firing после своего for.
  5. Одновременный critical подавляет только соответствующий warning.
  6. После снижения critical resolves, warning остаётся при среднем уровне.
  7. После нормы оба alerts закрываются без повторного page.

Тестируйте конкретные series и labels, а не только выражение в UI. Prometheus показывает pending и firing alerts, а Alertmanager отвечает за grouping, routing, inhibition и delivery. Ошибка может быть между слоями: rule верна, но receiver выбран по отсутствующему team label.

Метрики качества важнее числа правил

  • Сколько warning получили владельца и завершились исправлением.
  • Сколько critical оказались actionless или ложными.
  • Median и p95 времени acknowledgement для page.
  • Какие alerts закрылись сами до первого действия.
  • Сколько раз critical не имел runbook или владельца.
  • Какие предупреждения постоянно подавляются и не дают отдельной пользы.

Удаляйте или переписывайте сигнал, после которого никто не принимает решение. Для ревью подготовьте rule files, routing tree, inhibition rules, два примера временных рядов и журнал реальных действий без персональных данных. Успех — warning помогает предотвратить инцидент, а critical остаётся редким и однозначно требует page.

Проверенные источники