`SERVING`, полученный потому, что gRPC-порт принимает соединение, показывает только живой процесс. Если каждый бизнес-RPC немедленно падает без базы, такая проверка не отражает готовность. Но включать базу в liveness тоже опасно: общий outage БД перезапустит все pods и добавит шторм подключений.

Разведите три понятия: процесс способен исполняться — live; экземпляр может принимать новый трафик по контракту — ready; часть функций потеряна, но основной контракт работает — degraded. Стандартный gRPC Health API переносит SERVING/NOT_SERVING, а подробности degraded живут в метриках и диагностике.

Зависимость классифицируется по влиянию на контракт

СобытиеLivenessReadinessДополнительный сигнал
event loop deadlockfailfailrestart и алерт
критичная БД недоступнаpassfaildependency_down
необязательная аналитика недоступнаpasspassdegraded + очередь
кеш недоступен, есть DB fallbackpasspass/по SLOlatency и saturation
конфигурация ещё не загруженаpassfailstartup progress

Критичность задаётся поведением endpoint, а не названием технологии. Одна и та же Redis может быть необязательным кешем для чтения и строгой зависимостью для distributed lock. Если в одном процессе разные сервисы, публикуйте статус каждого service name отдельно.

Стандартный Health service уже поддерживает поток изменений

service Health {
  rpc Check(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Watch(HealthCheckRequest) returns (stream HealthCheckResponse);
}

serviceName = "orders.v1.Orders"  -> SERVING | NOT_SERVING
serviceName = ""                -> агрегированный статус сервера

Unary `Check` удобен для probe и мониторинга, `Watch` — для клиентского health checking. Официальное руководство gRPC отмечает: клиенты с Watch не отправляют запросы endpoint, пока тот не сообщил SERVING, и возобновляют их после восстановления. Само приложение обязано обновлять статусы библиотеки health service.

Агрегатор не делает сетевой fan-out на каждый probe

Если каждый kubelet probe синхронно обращается к БД, очереди и пяти API, health endpoint сам создаёт нагрузку и наследует их задержки. Запускайте фоновые проверки с deadline, храните последнее наблюдаемое состояние и возраст, а probe читает локальный snapshot. Просроченный snapshot считается неизвестным по заранее заданной политике.

  • У каждой зависимости есть deadline короче периода probe.
  • Переходы имеют небольшой debounce/hysteresis, но не скрывают долгий outage.
  • Состояние содержит `checked_at` и возраст, а не только boolean.
  • Метрики показывают причину NOT_SERVING, Health API не раскрывает секреты.
  • В shutdown сначала публикуется NOT_SERVING, затем завершаются активные RPC.

Kubernetes использует разные service names для разных целей

livenessProbe:
  grpc: { port: 50051, service: liveness }
readinessProbe:
  grpc: { port: 50051, service: readiness }
startupProbe:
  grpc: { port: 50051, service: startup }
  failureThreshold: 30
  periodSeconds: 10

Встроенная gRPC probe считает успехом статус SERVING. Liveness failure после порога ведёт к restart контейнера; readiness failure убирает pod из Service endpoints, но не убивает его. Startup probe защищает медленный запуск и до своего успеха откладывает обычные проверки. Подберите timeout/period под реальные задержки, а не копируйте пример.

Не каждая ошибка зависимости снимает весь трафик

Если сервис умеет возвращать сохранённые данные или ставить запись в надёжную очередь, полное NOT_SERVING может ухудшить доступность. Зафиксируйте контракт: какие RPC продолжают работать и какое качество ответа считается приемлемым. Для gRPC-клиентов status можно публиковать на уровне service; более тонкое состояние отдельных методов обычно выражают бизнес-ошибками, routing или разбиением сервиса.

Обратная крайность — всегда SERVING и 100% `UNAVAILABLE` на бизнес-RPC. Readiness должна проверять именно минимальный путь, без которого экземпляр не выполняет основной контракт, и учитывать истёкший connection pool или невозможность выполнить короткий read/write canary, если это безопасно.

Chaos-проверка подтверждает смысл сигналов

  1. Зафиксировать baseline ответов Check/Watch и список ready endpoints.
  2. Отключить критичную БД: readiness → NOT_SERVING, pod не рестартует, новые запросы уходят другим replicas.
  3. Вернуть БД: после успешной проверки readiness → SERVING без ручного restart.
  4. Отключить необязательную аналитику: сервис остаётся ready, растёт degraded metric/очередь.
  5. Заблокировать event loop или health updater: liveness должна обнаружить внутреннюю неисправность.
  6. Замедлить старт: startup probe защищает процесс от преждевременного restart.
  7. Провести rolling shutdown и убедиться, что Watch сообщает NOT_SERVING до закрытия соединений.

В отчёте сохраните ответы для service names, возраст snapshot, состояние каждой зависимости, события Kubernetes и долю бизнес-ошибок. Connection strings и токены не прикладывайте. Исправление считается рабочим, если отказ критичной зависимости снимает трафик без каскада restart, а отказ необязательной остаётся видимым без лишнего outage.

Проверенные источники