Зелёный healthcheck не обязательно обнуляет alert. Правило может считать ошибки за последние 15 минут, следить за другой replica или специально оставаться firing после исчезновения условия. Сначала определите, на каком слое живёт состояние: в Prometheus, Alertmanager или только в канале уведомлений.

Перезапуск компонентов стирает часть временной шкалы и редко исправляет выражение. Возьмите полный label set проблемного alert, его activeAt и текущее value, затем выполните ровно тот PromQL, который загружен сервером.

Один статус разбираем на четыре наблюдения

НаблюдениеЧто это означаетКуда смотреть
Alert есть в /api/v1/alerts и expr истинноИсточник всё ещё выполняет условиеМетрики и labels конкретной series
Expr ложно, alert firingВозможен keep_firing_forЗагруженное правило и last evaluation
В Prometheus alert исчез, в Alertmanager естьИдёт цикл доставки или не получен resolveEndsAt, peers и интеграция
Оба слоя resolved, сообщение повторяетсяПроблема receiver или очереди уведомленийID события у webhook/chat/email
Есть два похожих alert с разными labelsВосстановилась одна instance, другая нетПолный fingerprint labels

Смотрим состояние без изменения конфигурации

curl -sS http://prometheus:9090/api/v1/alerts

curl -sS -G http://prometheus:9090/api/v1/query \
  --data-urlencode 'query=up{job="checkout"}'

# Выполняйте только во внутренней сети или через утверждённый доступ.

Prometheus HTTP API возвращает активные alerts и их labels, state, activeAt и value. Если endpoint защищён, используйте штатный proxy или UI; не вставляйте bearer token в shell history и не открывайте служебный API в интернет ради диагностики.

for задерживает вход, keep_firing_for — выход

Параметр for требует, чтобы одна и та же label set оставалась активной заданное время до перехода в firing. Он не удерживает уже восстановившийся alert. Для этого существует keep_firing_for: Prometheus продолжает считать alert firing указанное время после последнего истинного результата выражения.

Сверяйте не файл в репозитории, а загруженное правило и время последней evaluation. Неудачный reload оставляет прежнюю конфигурацию, поэтому исправленный YAML на диске ещё не доказывает, что сервер его применил.

Range window помнит аварию после восстановления

Выражение вроде increase(errors_total[15m]) > 0 закономерно остаётся истинным, пока аварийные samples не выйдут из окна. Аналогично среднее latency и доля ошибок могут снижаться постепенно. Постройте исходный numerator, denominator и итоговое выражение на одном временном диапазоне, не меняя dashboard timezone по пути.

  • Проверить evaluation interval и фактическое время последнего расчёта.
  • Развернуть recording rules до исходных metrics.
  • Отделить нулевое значение от отсутствующей series.
  • Сравнить instance, pod, cluster и tenant labels.
  • Убедиться, что alert не использует старый scrape target.

Label set является идентичностью alert

Каждый элемент vector с отдельным набором labels создаёт отдельный alert instance. Если pod заменился, старый instance может исчезнуть, а новый — продолжить условие. Динамические labels в секции labels правила, например текущее значение, создают новые идентичности и мешают нормальному resolve; меняющиеся детали лучше оставлять в annotations.

Alertmanager отвечает за доставку, а не за PromQL

Когда Prometheus уже не показывает alert, сравните запись в Alertmanager: labels, startsAt, endsAt, status, silences и inhibition. Затем проследите один notification до receiver по устойчивому ID. Повторное письмо может прийти из очереди интеграции после resolve и не доказывает, что правило снова firing.

  1. Получить alert в Prometheus по точным labels.
  2. Выполнить expression в момент проверки.
  3. Дождаться окончания keep_firing_for или исправить условие.
  4. Сопоставить ту же label set в Alertmanager.
  5. Проверить событие resolve у receiver.
  6. Подтвердить новый короткий тестовый incident и его закрытие.

Данные для разбора без нового инцидента

Сохраните rule YAML, загруженный сервером, evaluation interval, label set, activeAt, график исходных metrics и записи Alertmanager с timestamps. Этого достаточно, чтобы найти удерживающий слой без повторного падения production-сервиса.

Проверенные источники