Зелёный healthcheck не обязательно обнуляет alert. Правило может считать ошибки за последние 15 минут, следить за другой replica или специально оставаться firing после исчезновения условия. Сначала определите, на каком слое живёт состояние: в Prometheus, Alertmanager или только в канале уведомлений.
Перезапуск компонентов стирает часть временной шкалы и редко исправляет выражение. Возьмите полный label set проблемного alert, его activeAt и текущее value, затем выполните ровно тот PromQL, который загружен сервером.
Один статус разбираем на четыре наблюдения
| Наблюдение | Что это означает | Куда смотреть |
|---|---|---|
| Alert есть в /api/v1/alerts и expr истинно | Источник всё ещё выполняет условие | Метрики и labels конкретной series |
| Expr ложно, alert firing | Возможен keep_firing_for | Загруженное правило и last evaluation |
| В Prometheus alert исчез, в Alertmanager есть | Идёт цикл доставки или не получен resolve | EndsAt, peers и интеграция |
| Оба слоя resolved, сообщение повторяется | Проблема receiver или очереди уведомлений | ID события у webhook/chat/email |
| Есть два похожих alert с разными labels | Восстановилась одна instance, другая нет | Полный fingerprint labels |
Смотрим состояние без изменения конфигурации
curl -sS http://prometheus:9090/api/v1/alerts
curl -sS -G http://prometheus:9090/api/v1/query \
--data-urlencode 'query=up{job="checkout"}'
# Выполняйте только во внутренней сети или через утверждённый доступ.Prometheus HTTP API возвращает активные alerts и их labels, state, activeAt и value. Если endpoint защищён, используйте штатный proxy или UI; не вставляйте bearer token в shell history и не открывайте служебный API в интернет ради диагностики.
for задерживает вход, keep_firing_for — выход
Параметр for требует, чтобы одна и та же label set оставалась активной заданное время до перехода в firing. Он не удерживает уже восстановившийся alert. Для этого существует keep_firing_for: Prometheus продолжает считать alert firing указанное время после последнего истинного результата выражения.
Сверяйте не файл в репозитории, а загруженное правило и время последней evaluation. Неудачный reload оставляет прежнюю конфигурацию, поэтому исправленный YAML на диске ещё не доказывает, что сервер его применил.
Range window помнит аварию после восстановления
Выражение вроде increase(errors_total[15m]) > 0 закономерно остаётся истинным, пока аварийные samples не выйдут из окна. Аналогично среднее latency и доля ошибок могут снижаться постепенно. Постройте исходный numerator, denominator и итоговое выражение на одном временном диапазоне, не меняя dashboard timezone по пути.
- Проверить evaluation interval и фактическое время последнего расчёта.
- Развернуть recording rules до исходных metrics.
- Отделить нулевое значение от отсутствующей series.
- Сравнить instance, pod, cluster и tenant labels.
- Убедиться, что alert не использует старый scrape target.
Label set является идентичностью alert
Каждый элемент vector с отдельным набором labels создаёт отдельный alert instance. Если pod заменился, старый instance может исчезнуть, а новый — продолжить условие. Динамические labels в секции labels правила, например текущее значение, создают новые идентичности и мешают нормальному resolve; меняющиеся детали лучше оставлять в annotations.
Alertmanager отвечает за доставку, а не за PromQL
Когда Prometheus уже не показывает alert, сравните запись в Alertmanager: labels, startsAt, endsAt, status, silences и inhibition. Затем проследите один notification до receiver по устойчивому ID. Повторное письмо может прийти из очереди интеграции после resolve и не доказывает, что правило снова firing.
- Получить alert в Prometheus по точным labels.
- Выполнить expression в момент проверки.
- Дождаться окончания keep_firing_for или исправить условие.
- Сопоставить ту же label set в Alertmanager.
- Проверить событие resolve у receiver.
- Подтвердить новый короткий тестовый incident и его закрытие.
Данные для разбора без нового инцидента
Сохраните rule YAML, загруженный сервером, evaluation interval, label set, activeAt, график исходных metrics и записи Alertmanager с timestamps. Этого достаточно, чтобы найти удерживающий слой без повторного падения production-сервиса.