CPU, memory и средняя длительность запроса не показывают, где потеряно время. Для одного проблемного route нужны две связанные проекции: histogram серверной latency по статусу и нормализованному маршруту, а также distributed trace с отдельными spans для очереди, базы, кэша и внешнего API. Trace ID связывает их с логами конкретного запроса.
Начните с endpoint, для которого есть воспроизводимый медленный запрос. Запишите время входа и выхода на каждом процессе, propagation контекста и длительность каждого зависимого вызова. Не добавляйте user ID, полный URL и request ID как labels метрики: высокая cardinality быстро делает сам мониторинг дорогим и медленным.
График отвечает на вопрос только при правильных измерениях
| Сигнал | Что он показывает | Чего не доказывает |
|---|---|---|
| request duration histogram | распределение latency по route/status | конкретную медленную функцию |
| active requests | накопление одновременной работы | причину ожидания |
| queue wait | время до начала worker | время выполнения job |
| trace waterfall | последовательность и вложенность spans | масштаб проблемы без метрик |
| profile | где процесс тратит CPU | время ожидания внешней сети само по себе |
OpenTelemetry рекомендует HTTP metric `http.server.request.duration` как histogram в секундах. Атрибут `http.route` должен содержать шаблон вроде `/orders/{id}`, а не фактический ID заказа. Статус и `error.type` помогают отделить обычные ответы от timeout и ошибок без взрыва числа рядов.
Бюджет одного запроса раскладывается до суммы
trace=4bf92f... route=POST /reports/{id}/build total=2.480s
ingress + auth 0.040s
queue.wait 1.210s
worker.compute 0.290s
db SELECT report_items 0.610s
http storage.example 0.280s
serialize + response 0.050sЕсли spans перекрываются из-за параллельного выполнения, их длительности нельзя просто складывать. Waterfall показывает критический путь: участок, который действительно задерживает завершение. Для очереди полезны два spans или метрики — время ожидания до старта и время обработки — иначе общая job duration смешивает нехватку workers с медленным кодом.
- HTTP client span охватывает DNS/connect/request/response настолько подробно, насколько позволяет instrumentation.
- DB span содержит тип операции и безопасное имя системы, но не персональные параметры запроса.
- Cache hit/miss записывается ограниченным атрибутом, а не полным ключом.
- Background job продолжает полученный context либо создаёт link на исходный trace.
Context propagation удерживает цепочку между сервисами
Без propagation каждый сервис создаёт независимый trace, и задержка снова выглядит как несколько несвязанных графиков. OpenTelemetry использует context с trace ID и span ID и поддерживает стандартный W3C `traceparent`. На границе доверия входящие заголовки валидируют, а чувствительные данные не помещают в baggage.
Добавьте trace ID в структурированные логи, чтобы перейти от span к точной ошибке. Но не превращайте лог в копию всех headers и body. Для повторной диагностики достаточно timestamp, service, route, operation, duration, status/error class и trace/span IDs.
Среднее скрывает медленный хвост
Запросы в 20 мс и 5 с могут дать спокойное среднее, хотя пользователь регулярно попадает в длинный хвост. Histogram сохраняет распределение по bucket и позволяет считать долю запросов в целевом диапазоне. Границы bucket выбирают вокруг вашего SLO и реального диапазона, а не копируют механически из примера.
Exemplar связывает отдельное наблюдение histogram с trace. Это удобный путь от всплеска p95/p99 к конкретному waterfall, если backend поддерживает exemplars. Sampling трасс настраивают так, чтобы сохранять ошибки и необычно медленные запросы; иначе нужный trace исчезнет именно во время инцидента.
Нагрузочная проверка подтверждает найденный участок
- Зафиксировать baseline request rate, error rate и latency distribution для одного route.
- Запустить воспроизводимую нагрузку с известным количеством параллельных клиентов.
- Открыть exemplar или самый медленный trace и определить критический span.
- Сопоставить его с saturation ресурса: pool, queue depth, DB locks, CPU или внешняя зависимость.
- Изменить один фактор, повторить тот же профиль и сравнить распределение, а не единичный лучший запрос.
Диагностика завершена, когда команда может назвать участок, условие его замедления и изменение latency distribution после исправления. Для разбора подготовьте схему сервисов, версии instrumentation, названия метрик, обезличенный trace и параметры нагрузки; секреты, body запросов и пользовательские идентификаторы не нужны.