Deployment создаёт новый ReplicaSet, когда меняется его Pod template. Если pipeline заново отправил тот же image: myapp:stable и остальные поля шаблона совпали, контроллеру нечего раскатывать. Перезапуск kubectl сам по себе не связывает новый registry digest с уже работающими Pod.
Не удаляйте все Pod одновременно. Сначала сохраните текущий Deployment YAML, список ReplicaSet и imageID работающего контейнера. image — это строка из spec, а imageID показывает фактически запущенный digest. Их сравнение отвечает, был ли обновлён шаблон и что скачал runtime.
Четыре состояния дают четыре разных диагноза
| Deployment spec | Новый ReplicaSet | Новый Pod | Вывод |
|---|---|---|---|
| Старый tag | Нет | Нет | Pipeline не обновил Pod template |
| Новый tag | Да | ImagePullBackOff | Registry, имя образа или credentials |
| Тот же tag | После restart | Старый imageID | Переиспользуемый tag и pull policy |
| Новый digest | Да | Не Ready | Образ скачан, но rollout заблокирован приложением |
| Новый digest | Да | Ready | Обновление прошло; проверяйте route и кеш выше |
Проверяйте namespace явно. Частая ошибка — pipeline обновил staging, а инженер смотрит production с тем же именем Deployment. Полезно записывать cluster, namespace, deployment UID и revision рядом с номером сборки.
Сначала читаем фактические объекты
kubectl -n team get deploy api -o jsonpath='{.spec.template.spec.containers[*].name}{"\n"}{.spec.template.spec.containers[*].image}{"\n"}'
kubectl -n team get rs -l app=api --sort-by=.metadata.creationTimestamp
kubectl -n team get pods -l app=api \
-o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image,IMAGE_ID:.status.containerStatuses[0].imageID,READY:.status.containerStatuses[0].ready
kubectl -n team rollout status deployment/api --timeout=5mНе публикуйте полный describe, если в окружении есть чувствительные annotations. Для диагностики достаточно имён ресурсов, image, imageID, Ready и событий pull. Если Deployment содержит несколько контейнеров, выбирайте контейнер по name, а не по индексу zero.
Уникальный tag или digest меняет шаблон явно
Надёжная схема — tag с номером сборки или commit и, для строгой воспроизводимости, digest вида image@sha256:…. Один и тот же tag не должен указывать сегодня на один набор байтов, а завтра на другой. Тогда diff манифеста виден до применения, а rollback возвращает известный образ.
kubectl -n team set image deployment/api \
api=registry.example.com/team/api:build-1842
kubectl -n team rollout status deployment/api --timeout=5m
# Inspect the exact revision before any rollback
kubectl -n team rollout history deployment/apikubectl set image обновляет image указанного контейнера в Pod template и тем самым запускает rollout. В GitOps-системе ту же перемену вносите в декларативный источник, иначе контроллер вернёт ручное изменение к прежнему состоянию.
imagePullPolicy не обновляет работающий Pod
Pull policy применяется при запуске контейнера. IfNotPresent разрешает использовать локальный образ; Always заставляет kubelet проверять registry при запуске и выбирать digest. Ни одна политика не заменяет уже работающий контейнер без нового Pod. Значение policy задаётся при создании объекта и не обязано автоматически меняться после смены tag.
- Не лечите mutable tag массовым удалением кеша на узлах.
- Не полагайтесь на :latest как на механизм версии релиза.
- Не меняйте imagePullPolicy без понимания нагрузки и доступности registry.
- Проверьте imagePullSecrets в namespace и ServiceAccount нового Pod.
- Убедитесь, что архитектура образа подходит узлам, на которые идёт scheduling.
Новый образ может быть скачан, но не принят
Если imageID новый, а старые Pod не уходят, изучите rollout status и события. Readiness probe, отсутствующий Secret, несовместимая миграция или недостаток ресурсов удерживают новую реплику в NotReady. Это защита доступности, а не кеширование. Не увеличивайте progressDeadlineSeconds до выяснения причины.
Сравните maxUnavailable и maxSurge с количеством реплик и свободными ресурсами. При одной реплике и жёстких ограничениях кластеру может не хватить места для surge Pod. Изменение стратегии — отдельное решение с оценкой допустимого простоя.
Проверка идёт по версии приложения
- Дождаться успешного rollout status.
- Сверить imageID всех готовых Pod с ожидаемым digest.
- Вызвать внутренний endpoint версии или проверить build_info metric.
- Сделать один запрос через Service и Ingress, чтобы исключить старый backend.
- Посмотреть ошибки и latency до завершения окна наблюдения.
- Только после этого очищать старые ReplicaSet по политике хранения.
Откат возвращает совместимый релиз
Перед rollout убедитесь, что схема базы совместима назад. kubectl rollout undo возвращает Pod template, но не откатывает миграцию данных. Для расследования подготовьте Deployment template, список revision, ожидаемый tag и digest, imageID Pod и события. Registry credentials, Secret и полный environment в отчёт не копируют.