Зелёный process_up говорит лишь о том, что endpoint метрик отвечает. Worker может держать соединение, продлевать liveness и не завершать ни одной задачи. Для обнаружения зависания измеряйте не присутствие процесса, а возраст последнего полезного прогресса на том участке, который важен пользователю.
Начните с определения прогресса. Для загрузчика это успешно сохранённый объект, для рассылки — подтверждённое сообщение провайдером, для batch job — завершение всего запуска. Получение задания из очереди не считается прогрессом, если после него side effect может навсегда застрять.
Одной метрики очереди недостаточно
| Состояние | Наблюдаемые признаки | Нужна ли тревога |
|---|---|---|
| Нормальный простой | queue=0, in_progress=0, heartbeat свежий | Нет |
| Обычная обработка | in_progress>0, progress обновляется | Нет |
| Worker завис | in_progress>0, progress старый | Да после допустимого runtime |
| Растущий backlog | oldest age растёт, completions есть | Да по SLO задержки |
| Весь путь сломан | synthetic heartbeat не дошёл | Да, даже если реальных задач нет |
| Метрики исчезли | up=0 или series absent | Отдельная тревога на monitoring path |
Queue length может оставаться нулевой, если worker забрал задачу и завис. Высокая длина очереди, наоборот, бывает нормальной во время планового burst. Возраст старейшей доступной и выполняемой задачи ближе к пользовательской задержке и лучше переносится между разными скоростями поступления.
Экспортируйте timestamp, а возраст вычисляйте в PromQL
(
time() - worker_last_progress_timestamp_seconds > 900
)
and on (queue, worker_pool)
worker_in_progress > 0Prometheus рекомендует экспортировать timestamp последнего успешного события, а не метрику «сколько времени прошло»: так не требуется постоянно обновлять gauge, и правило прозрачно использует time(). Порог 900 секунд здесь только пример. Он должен быть больше допустимого времени задачи и учитывать хотя бы несколько обычных циклов.
Timestamp обновляйте после durable checkpoint, а не на каждой строке лога. Если задача состоит из этапов, полезны отдельные last_fetched, last_transformed и last_committed: разность показывает место остановки. Не добавляйте task_id как label — это быстро создаст высокую кардинальность; идентификатор положите в exemplar, log или trace.
Heartbeat должен пройти тот же путь, что и работа
Если реальные задачи приходят редко, условие in_progress>0 ничего не увидит. Отправляйте маленькое синтетическое задание через producer, broker, consumer и безопасный sink. Проверка, которая лишь вызывает /health самого worker, обходит очередь и не доказывает доступность end-to-end пути.
- Пометить heartbeat как synthetic и исключить его из бизнес-аналитики.
- Сделать побочный эффект обратимым или направить его в тестовый sink.
- Хранить timestamp завершения, а не только отправки heartbeat.
- Алертировать задержку полного пути и отдельно отсутствие самой метрики.
- Проверять мониторинг остановкой каждого этапа по очереди.
Timeout, lease и cancellation превращают зависание в исход
Мониторинг обнаруживает проблему, но не освобождает работу. Каждая внешняя операция должна иметь deadline; длительная задача — lease с ограниченным продлением; обработчик — cancellation и checkpoint. После истечения lease новый worker может продолжить только если side effect идемпотентен или состояние операции сверено.
Не убивайте процесс немедленно по алерту: он мог завершить внешний POST, но не записать подтверждение. Переведите задачу в unknown, проверьте результат у провайдера и лишь затем повторяйте. Иначе автоматическое восстановление само создаёт дубли.
Алерт описывает влияние, а не реализацию
- Выбрать SLO: максимальный возраст задачи, важный пользователю.
- Поставить for не меньше нескольких scrape intervals и учесть нормальный runtime.
- Добавить в annotation queue, pool, oldest age и ссылку на runbook без task payload.
- Разделить warning для растущего backlog и page для полной остановки прогресса.
- Проверить alert pipeline и внешний blackbox-монитор отдельно от основного Prometheus.
Для настройки понадобятся распределение длительности задач, retry policy, lease/visibility timeout и два графика: completions rate и oldest age. Содержимое пользовательских задач не нужно. Хорошая приёмка проста: процесс остаётся живым, обработчик намеренно блокируется, а тревога возникает после согласованного порога и гаснет после подтверждённого прогресса.