Автомасштабирование не может спасти запросы, если новая реплика становится Ready позже, чем заканчивается пик. Измерьте задержку по шагам: появление работы, попадание метрики в API, решение HPA, создание Pod, scheduling, запуск контейнера и readiness. Самый длинный интервал определяет исправление.

Для короткого всплеска CPU — запаздывающий сигнал: он растёт, когда запросы уже выполняются. Очередь, concurrent requests или rate входящих задач могут предупредить раньше. Если трафик известен по расписанию, дешевле заранее поднять минимальную capacity, чем пытаться сжать каждый polling interval до нуля.

Разложите один пик на отметки времени

ОтметкаСобытиеИсточник
t0Начался рост запросов/queueLoad generator или broker
t1Метрика изменилась у источникаApplication/queue metrics
t2Метрика доступна autoscalermetrics.k8s.io/custom/external API
t3HPA изменил desired replicasHPA status/events
t4Создан новый PodDeployment/ReplicaSet events
t5Pod назначен Nodescheduler events
t6Container startedkubelet/container status
t7Readiness стала truePod conditions/probe metrics

Сравните t0→t2, t2→t4, t4→t5 и t5→t7. Если Pod долго Pending, изменение HPA behavior не создаст Node быстрее. Если image уже загружен, но readiness ждёт пять минут, проблема в startup приложения. Если t0→t2 длиннее всего, проверяйте scrape, adapter и выбранный сигнал.

Снимок состояния делается во время нагрузки

kubectl get hpa -n app -w
kubectl describe hpa api -n app
kubectl get pods -n app -w -o wide
kubectl get events -n app --sort-by=.lastTimestamp
kubectl top pods -n app

# Сохраните также application queue/concurrency, request rate,
# p95 latency, errors и timestamps load generator.

HPA — периодический control loop, а не непрерывная реакция. В актуальной документации Kubernetes стандартный sync period равен 15 секундам, но его может изменить оператор кластера. Metrics API обычно предоставляет CPU и memory через Metrics Server; custom и external metrics требуют отдельного adapter. Проверяйте фактическую конфигурацию своего cluster version.

Метрика должна предсказывать исчерпание capacity

СигналКогда полезенПочему может опоздать
CPU utilizationCPU-bound запросы стабильной длиныРабота уже выполняется
MemoryРост памяти связан с числом workersЧасто не падает после завершения
Queue depthWorkers забирают независимые задачиНе учитывает разную стоимость задач
Queue ageВажен срок ожиданияТребует корректных timestamps
ConcurrencyКаждый Pod держит ограниченное число запросовНужно исключить зависшие connections
Request rateЦена запроса предсказуемаСмешение лёгких и тяжёлых endpoints
ScheduleПик известен заранееНе покрывает внезапные всплески

Resource requests влияют на вычисление CPU utilization и scheduling. Заниженный request может заставить HPA реагировать рано, но не создаёт настоящую capacity и повышает риск contention. Завышенный request усложняет размещение Pod. Настройку requests подтверждают профилем нагрузки и usage, а не используют как скрытый коэффициент HPA.

Pod и Node масштабируются последовательно

HPA увеличивает желаемое число replicas. Если на существующих Nodes нет подходящих ресурсов, новые Pods становятся unschedulable, и уже Node autoscaler пытается предоставить машины через cloud API. Kubernetes описывает node provisioning как реакцию на Pods, которые нельзя разместить. Время VM, bootstrap, CNI и image pull входит в задержку пользователя, хотя HPA сработал правильно.

  • Держите небольшой headroom или минимальное число Nodes для мгновенного scheduling.
  • Уменьшайте image size и заранее прогревайте действительно нужные layers.
  • Проверяйте affinity, taints, topology spread и quota у Pending Pods.
  • Не ставьте maxReplicas выше capacity зависимой базы и внешних API.
  • Readiness должна означать готовность обслуживать запросы, а startupProbe — переживать реальный прогрев.

Настройка scale-up не заменяет ранний сигнал

В autoscaling/v2 поле behavior задаёт скорость и stabilization для scale-up/scale-down. Документация Kubernetes показывает нулевое default stabilization для scale-up и отдельные policies, но итог ограничивают missing metrics, not-yet-ready Pods и maxReplicas. Агрессивная policy бесполезна, если metric появляется после пика или новые Pods пять минут запускаются.

Для event-driven workload KEDA следит за источником событий и передаёт метрики HPA. В KEDA 2.21 pollingInterval по умолчанию 30 секунд влияет на активацию из 0; между 1 и N решения также принимает HPA со своим sync period. Это меняющиеся defaults — сверяйте страницу вашей установленной версии, особенно если scale-to-zero является источником холодного старта.

Выбор исправления зависит от формы пика

  1. Повторяемый пик по расписанию: поднять minReplicas заранее и вернуть после окна с наблюдением.
  2. Очередь растёт раньше CPU: масштабировать по queue depth/age с ограничением downstream.
  3. Pod готов быстро, но ждёт Node: добавить headroom или улучшить node provisioning constraints.
  4. Container долго греется: сократить startup, image pull и внешние зависимости; настроить probes.
  5. Метрики приходят поздно: уменьшить полный scrape-to-adapter lag после оценки нагрузки на monitoring.
  6. Короткий burst короче запуска: применить admission/rate limiting и очередь, а не обещать мгновенный scale.

Тест проходит только если пользователи пережили пик

Повторите одинаковый профиль несколько раз с прогретым и холодным cluster state. Критерии задайте до теста: p95/p99 latency, error rate, максимальный queue age, время t0→t7, число Pending Pods и нагрузка зависимости. Масштабирование, которое увеличило replicas, но превысило error budget, не считается успешным.

Для разбора подготовьте HPA YAML/status, cluster version, фактические sync/polling intervals, график исходной метрики, Pod events, requests/limits, startup/readiness probes, node autoscaler events и профиль нагрузки. Секреты из manifests удалите. По временной шкале можно выбрать одну точечную правку вместо одновременного изменения всех порогов.

Проверенные источники