Письмо из catch не заметит задачу, которая вообще не запустилась: cron-демон остановлен, файл расписания не прочитан или сервер выключен. Для такого сбоя нужен внешний наблюдатель. Задача публикует время последнего успешного завершения, а монитор поднимает alert, если новый успех не появился к рассчитанному дедлайну.
Сначала запишите ожидаемое расписание, обычную и максимальную длительность, допустимую задержку и владельца. Фраза «раз в сутки» недостаточна: запуск в 02:00 с нормой 20 минут и запасом 15 минут даёт проверяемый дедлайн 02:35, после которого отсутствие success уже является событием.
Три состояния требуют разных сообщений
| Состояние | Наблюдаемый сигнал | Текст уведомления |
|---|---|---|
| Не запустилась | Нет нового start после окна расписания | missed schedule, проверить scheduler и host |
| Завершилась ошибкой | Есть start и failure с exit code | failed, приложить run ID и безопасный фрагмент лога |
| Зависла | Start есть, finish отсутствует дольше max runtime | stuck, проверить процесс и внешнюю зависимость |
| Успех устарел | last_success старше дедлайна | общий dead-man alert |
| Монитор молчит | Нет контрольного тестового уведомления | сломана сама цепочка оповещения |
Не отправляйте отдельное тревожное сообщение на каждый retry. Run ID связывает попытки одного планового окна, а Alertmanager умеет группировать, подавлять зависимые события и маршрутизировать уведомления. В сообщении оставьте job, environment, deadline, последний success и ссылку на runbook.
Задача публикует события только после факта
run_id = createScheduledRunId(job, scheduled_at)
record_start(job, run_id, now)
try:
result = execute_job_with_timeout()
validate_result(result)
record_success(job, run_id, now)
except error:
record_failure(job, run_id, safe_error_class)
raiseSuccess ставится после проверки результата, а не сразу после запуска команды. Экспорт, который завершился с нулевым кодом, но записал пустой файл, не является успехом, если это нарушает контракт. Сам heartbeat хранится вне локального диска задачи — иначе отказ сервера уничтожит и работу, и доказательство её отсутствия.
Дедлайн учитывает расписание и длительность
Формула зависит от процесса: scheduled_at + max_runtime + grace. Grace покрывает обычный jitter планировщика и короткие задержки мониторинга, но не скрывает часы простоя. Для задач с календарным расписанием учитывайте timezone и переходы времени; храните события в UTC, а ожидаемое окно вычисляйте библиотекой расписаний.
Prometheus следит за возрастом последнего успеха
Экспортируйте timestamp последнего успешного выполнения как метрику и сравнивайте его с текущим временем в alerting rule. Клауза for полезна против коротких колебаний, а keep_firing_for может удерживать уведомление при кратком пропадании данных. Конкретные интервалы выбирают из SLA задачи, а не копируют из примера документации.
- Метка job имеет ограниченный набор значений; run ID не помещают в label из-за высокой кардинальности.
- Environment и владелец присутствуют в alert labels для маршрутизации.
- Подробности конкретного запуска хранятся в журнале или trace по run ID.
- Отсутствующая метрика отличима от свежего нулевого значения.
- Alert содержит ссылку на безопасный runbook и последнее известное успешное время.
Маршрут уведомления тоже нуждается в проверке
Раз в согласованный период запускайте синтетический alert или контролируемый тест конкретного receiver и подтверждайте доставку. Учитывайте mute, grouping и дежурства. Если Telegram-бот или почта сломались, красный alert в интерфейсе мониторинга не разбудит ответственного.
Тест не требует ломать production cron
- Создать отдельную test job с коротким расписанием и тем же путём метрик.
- Подтвердить normal start и success без уведомления.
- Пропустить один запуск и получить missed alert после дедлайна.
- Вернуть job и убедиться в корректном resolved событии.
- Завершить тестовую команду ошибкой и получить другой alert с run ID.
- Сымитировать долгую работу с безопасным timeout и проверить stuck состояние.
Для внедрения подготовьте расписание, timezone, p95 и максимальную длительность, критерий успеха, текущий scheduler, доступный внешний монитор и список получателей. Эти данные превращают пожелание «сообщать о падении» в конкретные дедлайны, сигналы и проверяемую доставку.