Deployment создаёт новый ReplicaSet, когда меняется его Pod template. Если pipeline заново отправил тот же image: myapp:stable и остальные поля шаблона совпали, контроллеру нечего раскатывать. Перезапуск kubectl сам по себе не связывает новый registry digest с уже работающими Pod.

Не удаляйте все Pod одновременно. Сначала сохраните текущий Deployment YAML, список ReplicaSet и imageID работающего контейнера. image — это строка из spec, а imageID показывает фактически запущенный digest. Их сравнение отвечает, был ли обновлён шаблон и что скачал runtime.

Четыре состояния дают четыре разных диагноза

Deployment specНовый ReplicaSetНовый PodВывод
Старый tagНетНетPipeline не обновил Pod template
Новый tagДаImagePullBackOffRegistry, имя образа или credentials
Тот же tagПосле restartСтарый imageIDПереиспользуемый tag и pull policy
Новый digestДаНе ReadyОбраз скачан, но rollout заблокирован приложением
Новый digestДаReadyОбновление прошло; проверяйте route и кеш выше

Проверяйте namespace явно. Частая ошибка — pipeline обновил staging, а инженер смотрит production с тем же именем Deployment. Полезно записывать cluster, namespace, deployment UID и revision рядом с номером сборки.

Сначала читаем фактические объекты

kubectl -n team get deploy api -o jsonpath='{.spec.template.spec.containers[*].name}{"\n"}{.spec.template.spec.containers[*].image}{"\n"}'
kubectl -n team get rs -l app=api --sort-by=.metadata.creationTimestamp
kubectl -n team get pods -l app=api \
  -o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image,IMAGE_ID:.status.containerStatuses[0].imageID,READY:.status.containerStatuses[0].ready
kubectl -n team rollout status deployment/api --timeout=5m

Не публикуйте полный describe, если в окружении есть чувствительные annotations. Для диагностики достаточно имён ресурсов, image, imageID, Ready и событий pull. Если Deployment содержит несколько контейнеров, выбирайте контейнер по name, а не по индексу zero.

Уникальный tag или digest меняет шаблон явно

Надёжная схема — tag с номером сборки или commit и, для строгой воспроизводимости, digest вида image@sha256:…. Один и тот же tag не должен указывать сегодня на один набор байтов, а завтра на другой. Тогда diff манифеста виден до применения, а rollback возвращает известный образ.

kubectl -n team set image deployment/api \
  api=registry.example.com/team/api:build-1842
kubectl -n team rollout status deployment/api --timeout=5m

# Inspect the exact revision before any rollback
kubectl -n team rollout history deployment/api

kubectl set image обновляет image указанного контейнера в Pod template и тем самым запускает rollout. В GitOps-системе ту же перемену вносите в декларативный источник, иначе контроллер вернёт ручное изменение к прежнему состоянию.

imagePullPolicy не обновляет работающий Pod

Pull policy применяется при запуске контейнера. IfNotPresent разрешает использовать локальный образ; Always заставляет kubelet проверять registry при запуске и выбирать digest. Ни одна политика не заменяет уже работающий контейнер без нового Pod. Значение policy задаётся при создании объекта и не обязано автоматически меняться после смены tag.

  • Не лечите mutable tag массовым удалением кеша на узлах.
  • Не полагайтесь на :latest как на механизм версии релиза.
  • Не меняйте imagePullPolicy без понимания нагрузки и доступности registry.
  • Проверьте imagePullSecrets в namespace и ServiceAccount нового Pod.
  • Убедитесь, что архитектура образа подходит узлам, на которые идёт scheduling.

Новый образ может быть скачан, но не принят

Если imageID новый, а старые Pod не уходят, изучите rollout status и события. Readiness probe, отсутствующий Secret, несовместимая миграция или недостаток ресурсов удерживают новую реплику в NotReady. Это защита доступности, а не кеширование. Не увеличивайте progressDeadlineSeconds до выяснения причины.

Сравните maxUnavailable и maxSurge с количеством реплик и свободными ресурсами. При одной реплике и жёстких ограничениях кластеру может не хватить места для surge Pod. Изменение стратегии — отдельное решение с оценкой допустимого простоя.

Проверка идёт по версии приложения

  1. Дождаться успешного rollout status.
  2. Сверить imageID всех готовых Pod с ожидаемым digest.
  3. Вызвать внутренний endpoint версии или проверить build_info metric.
  4. Сделать один запрос через Service и Ingress, чтобы исключить старый backend.
  5. Посмотреть ошибки и latency до завершения окна наблюдения.
  6. Только после этого очищать старые ReplicaSet по политике хранения.

Откат возвращает совместимый релиз

Перед rollout убедитесь, что схема базы совместима назад. kubectl rollout undo возвращает Pod template, но не откатывает миграцию данных. Для расследования подготовьте Deployment template, список revision, ожидаемый tag и digest, imageID Pod и события. Registry credentials, Secret и полный environment в отчёт не копируют.

Проверенные источники