Uptime нужно измерять снаружи той сети, где работает сайт. Внутренний cron может успешно обращаться к localhost, пока пользователям мешают DNS, сертификат или firewall. Первый монитор сделайте простым: HTTPS-запрос к стабильному URL, ожидаемый код и ограничение времени.
Не оповещайте по единственной неудачной пробе. Храните результат каждого этапа и поднимайте тревогу после нескольких последовательных ошибок или окна `for`. Одновременно не делайте задержку слишком большой: она должна укладываться в согласованное время обнаружения.
Что считать доступностью
| Проверка | Что она обнаружит | Чего не доказывает |
|---|---|---|
| TCP connect | Порт принимает соединение | Что HTTP и приложение исправны |
| TLS handshake | Сертификат и протокол согласованы | Что нужная страница отдаёт данные |
| HTTP status | Маршрут отвечает ожидаемым кодом | Что ответ содержит верный результат |
| Body match | Присутствует контрольный признак | Что все пользовательские сценарии работают |
| Synthetic login | Работает критическая цепочка | Что каждому пользователю доступна система |
Начинайте с дешёвой публичной проверки и добавляйте synthetic-сценарий только для действительно критичных путей. Автоматический login создаёт тестовые данные, зависит от MFA и может стать источником нагрузки; ему нужен отдельный аккаунт и очистка.
Blackbox probe раскладывает один запрос по фазам
modules:
http_2xx:
prober: http
timeout: 5s
http:
method: GET
valid_status_codes: [200]
preferred_ip_protocol: ip4
fail_if_body_not_matches_regexp:
- 'service_status: ok'Blackbox Exporter получает target через параметр probe, поэтому его endpoint нельзя бездумно публиковать в интернет: Prometheus предупреждает, что такой exporter можно заставить обращаться к произвольным адресам. Ограничьте сетевой доступ и разрешённые targets конфигурацией окружения.
Алерт должен отвечать на один вопрос
Базовый сигнал — `probe_success == 0` с окном, например несколько минут. Отдельные предупреждения строятся для приближения срока сертификата и роста latency. Не смешивайте их в одно сообщение «сайт сломан»: TLS expiry за две недели требует плановой работы, а полный отказ — немедленной реакции.
- В сообщение добавьте URL, точку проверки, начало сбоя и последнюю успешную пробу.
- Приложите runbook с командами чтения, но не секретами и не destructive-действиями.
- Подавляйте дочерние алерты, если уже подтверждён общий сетевой отказ.
- Держите канал восстановления, чтобы дежурный видел окончание инцидента.
- Проверяйте доставку тревоги по расписанию, а не только сам probe.
Одна точка наблюдения оставляет слепую зону
Внешняя проверка из одного региона не отличит локальную проблему маршрута от глобального отказа. Для важного сервиса используйте хотя бы независимый второй источник и сравнивайте результаты. Но не объединяйте десятки точек простым правилом «хоть одна упала» — это создаст шум.
Uptime страницы не равен SLO бизнеса. Отдельно измеряйте успешность реальных запросов, error rate и latency внутри приложения. Внешний probe отвечает на вопрос «может ли клиент дойти до контрольной точки», а не заменяет application metrics.
Проверка настройки начинается с управляемого отказа
На staging измените ожидаемый body или закройте тестовый endpoint. Убедитесь, что первая ошибка только фиксируется, после окна приходит одно содержательное оповещение, а восстановление закрывает инцидент. Затем симулируйте истекающий тестовый сертификат или неверный DNS в изолированном домене.
В production не выключайте сайт ради теста. Достаточно отдельного canary URL и маршрута оповещения. Для разбора сохраните probe metrics, alert rule, timestamps и сведения о точке наблюдения; cookie и токены в отчёт не включайте.