`ImagePullBackOff` — это пауза между повторными попытками, а причина обычно находится строкой выше в Events: Secret не найден, registry вернул unauthorized, repository не существует, manifest не подходит платформе или DNS/TLS не дошли до аутентификации. Начните с конкретного Pod и времени первой ошибки; пересоздание без диагноза лишь сбрасывает имя объекта.

Работающий старый Pod ничего не доказывает о текущих credentials. Его image уже может лежать на node, а запущенному контейнеру Secret для pull больше не нужен. Хороший контроль — новый неизменяемый digest на node, где этого слоя нет, но проводить его стоит только после чтения Events и без изменения production workload.

Сообщение kubelet сужает поиск

Фрагмент событияВероятный слойСледующая проверка
secret ... not foundNamespace или имяPod spec и Secret в том же namespace
no basic auth credentialsSecret не выбран или host не совпалimagePullSecrets/ServiceAccount и registry key
unauthorized: authentication requiredCredential истёк или нет pull-праваАккаунт и доступ к точному repository
manifest unknownTag/digest отсутствуетСуществование image и неизменяемый digest
x509 / timeout / no such hostTLS, DNS или сетьNode-to-registry path до проверки auth

Не подменяйте один симптом другим. Например, пересоздание Secret не устранит `manifest unknown`, а отключение TLS-проверки ради `x509` создаст более серьёзную проблему. Сначала выпишите registry hostname и repository из `.spec.containers[].image`, затем сопоставьте их с ошибкой kubelet.

Безопасный срез не показывает пароль

NS=example
POD=app-7d9f
SECRET=registry-pull

kubectl -n "$NS" describe pod "$POD"
kubectl -n "$NS" get pod "$POD" -o jsonpath="{.spec.serviceAccountName}{'\n'}{.spec.imagePullSecrets[*].name}{'\n'}"
kubectl -n "$NS" get secret "$SECRET" -o jsonpath="{.type}{'\n'}"
kubectl -n "$NS" get serviceaccount -o yaml

Подставьте тестовые имена и сначала проверьте текущий kube-context. Эти команды читают metadata и type, но последняя может показать список всех ServiceAccounts namespace; сузьте имя, если оно известно. Не выполняйте `kubectl get secret -o yaml` в общий лог: поле data закодировано Base64 и остаётся чувствительным.

Secret живёт рядом с Pod, а не рядом с Deployment-файлом

Kubernetes требует, чтобы каждый `imagePullSecret` существовал в том же namespace, что и Pod, и имел тип `kubernetes.io/dockercfg` либо `kubernetes.io/dockerconfigjson`. Ссылка может находиться непосредственно в Pod template или приходить через ServiceAccount. Проверьте уже созданный Pod: изменение ServiceAccount не переписывает его spec задним числом.

  • Сравните имя Secret посимвольно и namespace фактического Pod.
  • Убедитесь, что Deployment использует ожидаемый ServiceAccount, а не `default`.
  • Проверьте, что ключ registry совпадает с host в image reference, включая порт.
  • Отделите право войти в registry от права pull конкретного project/repository.
  • При короткоживущем токене зафиксируйте issuer, expiry и механизм обновления.

Кеш образа может скрыть истёкший доступ

`imagePullPolicy: IfNotPresent` разрешает использовать локальный image, поэтому часть Pods продолжит стартовать на старых nodes. `Always` заставляет kubelet разрешать имя image и проверять registry согласно поведению runtime, но слои всё равно могут быть кешированы. Не меняйте policy вслепую: сначала подтвердите digest и требования своей версии кластера.

Тестируйте новой canary-репликой с тем же Pod template и точным digest. Планировщик может выбрать другой node, поэтому запишите node name и событие pull. Не удаляйте все работающие Pods одновременно: если credential действительно сломан, вы потеряете оставшуюся доступность.

Ротация завершается отзывом старого credential

Создайте новую credential с минимальным pull-доступом, обновите Secret через защищённый pipeline и дождитесь успешного запуска canary. Затем постепенно замените реплики и только после проверки новых pull-событий отзовите старый токен. Успех — новый Pod стартует на node без нужного image, digest совпадает, а старый credential больше не авторизуется.

Для разбора нужны Events, namespace, Pod spec без значений Secret, ServiceAccount, полный image reference с digest, версия Kubernetes/runtime и время ротации. `.dockerconfigjson`, registry password, bearer token и содержимое CI variables исключите.

Проверенные источники