Слово «завис» скрывает несколько разных ожиданий. Job может стоять в Pending без runner, застрять на Preparing environment, ждать Docker daemon, молчать внутри `RUN npm install`, исчерпать диск при export или долго push-ить слой. Первая полезная улика — последняя строка trace вместе с executor и временем, а не общий restart Runner.
Добавьте отдельный canary job на том же runner tag: сначала `docker version` и `docker info`, затем минимальная сборка с подробным progress. Если daemon не отвечает, Dockerfile не виноват. Если минимальный image собирается, исследуйте конкретный слой и его сеть/ресурсы.
Стадия указывает владельца таймаута
| Где остановился trace | Что вероятнее | Что снять |
|---|---|---|
| Pending | Нет подходящего runner или исчерпан concurrency | Tags, runner status, queue duration |
| Preparing environment | Pull helper/service, volume, executor | Runner logs и service health |
| docker info не отвечает | DIND TLS/DNS/daemon/socket | DOCKER_HOST, service logs, versions |
| RUN package install | DNS, proxy, MTU, внешний registry | Plain progress и запрос из build network |
| exporting layers / push | Disk I/O, большой layer, registry | Disk, layer sizes, network throughput |
Сравнивайте время Job trace с логом конкретного runner и Docker service. На shared или autoscaled infrastructure не предполагайте, что повтор попал на тот же host. Для самоуправляемого runner запишите версию Runner, executor и Docker client/daemon отдельно.
Диагностический job делает паузы видимыми
build_image:
stage: build
script:
- date -u
- docker version
- docker info
- docker build --progress=plain --pull -t "$CI_REGISTRY_IMAGE:$CI_COMMIT_SHA" .
- date -uЭто основа для временного диагностического job, а не совет печатать environment. Не включайте shell tracing вокруг `docker login`: секрет может попасть в trace. `--pull` полезен для проверки доступа к base image, но меняет сетевую нагрузку и воспроизводимость; на production pipeline применяйте его осознанно.
DIND создаёт отдельную границу
В Docker-in-Docker клиент работает в build container, а daemon — в service container. GitLab отдельно документирует ошибки TLS, `DOCKER_HOST`, service alias и несовместимых версий. Проверка `docker info` должна закончиться до тяжёлого build; простой sleep лишь маскирует нестабильный readiness daemon.
- Сопоставьте версии Docker client, dind service и host engine.
- Проверьте явный service alias `docker`, если image указан с полным registry hostname.
- Не включайте privileged mode ради эксперимента без отдельного изолированного runner.
- При custom CA установите доверие в daemon container, а не только в build container.
- Если зависают крупные HTTPS-загрузки, сравните MTU DIND и overlay network.
GitLab указывает, что DIND может использовать MTU 1500 независимо от bridge runner; при меньшем overlay MTU крупные пакеты иногда теряются, и сетевые команды выглядят зависшими. Не копируйте случайное число MTU: измерьте путь, проверьте меньшим безопасным canary и закрепите значение в инфраструктурной конфигурации.
Ресурсный тупик виден вне job trace
Снимите disk free/inodes, I/O wait, memory pressure, CPU throttling и размер Docker data root. DIND с медленным `vfs` storage driver копирует файловую систему и может резко замедлить сборку; GitLab рекомендует `overlay2` при подходящем kernel. Очистка cache и images должна быть плановой: массовый prune на общем daemon может повредить параллельные jobs.
Большой build context тоже выглядит как зависание до первого Dockerfile step. Проверьте размер context и `.dockerignore`, затем найдите слой, который меняется чаще остальных. Cache ускоряет повтор, но stale cache нельзя объявлять причиной без сравнения clean/cached canary.
Исправление принимаем на том же runner class
- Повторить минимальный job три раза на том же tag без параллельных изменений.
- Вернуть реальный Dockerfile и зафиксировать длительность каждого plain-progress шага.
- Запустить две параллельные сборки, если такой concurrency заявлен.
- Проверить digest pushed image и pull из отдельного окружения.
- Оставить timeout и метрики, которые отличат повтор проблемы от медленной нормы.
Для точного разбора подготовьте job trace без секретов, `.gitlab-ci.yml`, runner `config.toml` с удалённым token, версии client/daemon, executor, Dockerfile, размеры context/layers и графики ресурсов. Registry password, CI_JOB_TOKEN и полный список protected variables не нужны.