Первый экран должен за минуту ответить: страдают ли пользователи, какая часть сайта затронута и когда началось изменение. Начните с доступности критических сценариев, доли ошибок, latency и объёма запросов. CPU и память полезны ниже — они помогают найти причину, но сами по себе не доказывают поломку для клиента.

Google SRE разделяет симптом «что сломано» и причину «почему». Для пользовательского сервиса базовой рамкой служат четыре сигнала: latency, traffic, errors и saturation. Добавьте специфичный бизнес-сигнал, например успешные оформления, но подпишите его задержку и источник.

Первые шесть виджетов ведут расследование

ВиджетВопросПолезная разбивка
Доступность критического путиПользователь может выполнить действие?регион, web/API
Доля ошибокКакая часть запросов неуспешна?route family, status class
LatencyНасколько медленно для большинства и хвоста?p50, p95, p99
TrafficИзменился ли спрос?канал и сервис без user ID
SaturationКакой ресурс близок к пределу?CPU, connections, queue age
Deploy markersЧто изменилось рядом со сбоем?release ID и время

Не смешивайте успешные и ошибочные latency в одну среднюю: быстрый HTTP 500 может сделать график «лучше». Для процентов показывайте числитель и знаменатель, а для хвоста — перцентили или histogram. Ось, единица и временное окно должны быть видны без наведения мыши.

Свежесть — самостоятельная метрика

panel_value: checkout_success_rate = 99.2%
window: 5m
source: prometheus/main
last_sample_age_seconds: 18
query_status: ok

if last_sample_age_seconds > threshold: show STALE, not green

Пустая серия не равна нулю, а старое зелёное значение не равно здоровью. Панель показывает last successful sample и явно переходит в состояние no data или stale. Prometheus советует заранее инициализировать известные серии нулём, но это применимо только там, где ноль действительно имеет смысл.

Метрики, логи и traces соединяются контекстом

OpenTelemetry описывает отдельные сигналы: metrics измеряют состояние во времени, logs фиксируют события, traces показывают путь запроса. Панель не обязана хранить их в одном продукте, но ссылка из всплеска ошибки должна переносить service, environment, release и time range в следующий инструмент.

  • Metric сообщает масштаб и момент изменения.
  • Trace показывает, какой участок конкретного запроса замедлился.
  • Log подтверждает событие и безопасный код ошибки без токенов и персональных данных.
  • Deploy event связывает отклонение с версией, но не объявляет её виновной автоматически.
  • Runbook объясняет первое безопасное действие и условие эскалации.

Дашборд и pager решают разные задачи

Не отправляйте оповещение по каждому красному графику. Prometheus рекомендует paging для срочных, значимых, реальных и требующих действия симптомов; причинные сигналы могут идти в дашборд или очередь задач. У alert есть владелец, задержка for против единичного всплеска, ссылка на runbook и условие закрытия.

Избегайте меток с неограниченным количеством значений: user_id, request_id и полный URL создают взрыв cardinality. Для метрик используйте ограниченные категории, а конкретный request ищите в trace или log. Название метрики сохраняет один смысл во всех сервисах.

Приёмка начинается с искусственного сбоя

  1. Замедлить тестовый критический endpoint и увидеть рост правильного percentile.
  2. Вернуть часть ошибок и проверить числитель, знаменатель и alert delay.
  3. Остановить сборщик и убедиться, что панель стала stale, а не зелёной.
  4. Выполнить тестовый deploy и найти marker на том же временном окне.
  5. Перейти из виджета в trace, log и runbook с сохранённым контекстом.

Для проектирования подготовьте список критических сценариев, текущие метрики, один реальный incident timeline, владельцев сервисов и допустимые задержки данных. Итог оценивают не количеством графиков, а тем, смог ли новый дежурный по панели принять первое безопасное решение.

Проверенные источники