По умолчанию клиент gRPC может ждать очень долго. Поставьте deadline на вызывающей стороне и обрабатывайте `DEADLINE_EXCEEDED` как отдельный результат. Таймаут TCP, keepalive и health check не заменяют deadline конкретного RPC: соединение может быть живо, пока обработчик ждёт зависимость.

Начните с одного метода и реального бюджета продукта. Если HTTP-запрос должен завершиться за 1,5 секунды, нельзя выдать каждому из трёх downstream-вызовов по 1,5 секунды. Оставьте время на сериализацию и ответ пользователю, а дочерним вызовам передавайте уменьшающийся остаток.

Похожий симптом создают четыре разных механизма

МеханизмЧто ограничиваетЧто не гарантирует
RPC deadlineОбщее время конкретного вызоваЧто сервер мгновенно остановит стороннюю работу
CancellationСигнал прекратить ненужную обработкуАвтоматическую отмену запроса к каждой библиотеке
KeepaliveПроверку жизнеспособности transportСрок бизнес-операции
Health checkГотовность сервиса принимать вызовыУспех конкретного метода и зависимости
Retry policyНовые попытки после выбранных ошибокИдемпотентность операции и бесконечный бюджет

Официальное руководство gRPC указывает: когда deadline истёк, клиент прекращает ожидание и получает `DEADLINE_EXCEEDED`. Сервер должен следить за cancellation/deadline сам, иначе он продолжит дорогой SQL-запрос или внешнюю операцию уже после ухода клиента.

Бюджет уменьшается на каждом переходе

# Псевдокод: значения измеряются монотонными часами
request_deadline = monotonic_now() + 1500ms
reserve_for_response = 150ms

remaining = request_deadline - monotonic_now() - reserve_for_response
catalog.Get(deadline = min(remaining, 500ms))

remaining = request_deadline - monotonic_now() - reserve_for_response
pricing.Get(deadline = min(remaining, 400ms))
if remaining <= 0: return DEADLINE_EXCEEDED

Это модель, а не готовый API конкретного языка. gRPC умеет распространять deadline между сервисами, а реализация переводит абсолютное время в timeout с учётом уже прошедшего времени. В приложении используйте библиотечный deadline/context вашего языка и monotonic clock, не собирайте заголовок вручную.

Retry расходует тот же запас времени

Повтор — новый RPC, а не продолжение прежнего. Разрешайте его только для выбранных временных статусов, с ограничением попыток и backoff. После получения response headers вызов считается committed и библиотека больше не выполняет retry в обычной схеме. Для изменения данных дополнительно нужен идемпотентный ключ или контракт метода, допускающий повтор.

  • Не повторяйте `INVALID_ARGUMENT`, ошибки авторизации и заведомо просроченный запрос.
  • Оставьте каждой попытке полезное окно, иначе последний retry стартует почти с нулевым deadline.
  • Запишите attempt number и remaining budget, но не payload с персональными данными.
  • Разделяйте client-side deadline exceeded и server-side статус с тем же кодом в trace.
  • Проверяйте retry storm при одновременном восстановлении зависимости.

Отмена освобождает ресурсы только при сотрудничестве кода

Обработчик проверяет context/cancellation перед дорогими этапами и передаёт отмену в драйвер базы или HTTP-клиент. Если сторонняя библиотека не умеет отменять запрос, ограничьте её собственным timeout и пулом. Не закрывайте общий channel при таймауте одного RPC: это затронет параллельные вызовы.

Метрики разделяйте по method, status и deadline bucket. Высокая доля `DEADLINE_EXCEEDED` может означать слишком короткий бюджет, деградацию зависимости или очередь до начала обработки; одна средняя latency этого не различает.

Проверка создаёт управляемую задержку

В тестовой среде добавьте 200, 600 и 2000 мс задержки в одну зависимость. Убедитесь, что короткий вызов успешен, длинный завершается около заданного deadline, downstream видит cancellation, а число активных обработчиков возвращается к исходному. Затем включите одну допустимую retry-попытку и проверьте, что суммарное время не превысило внешний бюджет.

Для диагностики нужен trace, а не тело запроса

Соберите method, client/server timestamps, установленный deadline, remaining budget на каждом hop, status code, attempt number и dependency duration. Payload, токены и metadata авторизации удалите. По этой шкале видно, где время было потрачено до вызова и где отмена не дошла.

Проверенные источники