Первый вопрос — regression job упал или вообще не существовал в этом pipeline. Откройте граф конкретного commit и pipeline source: push, merge request, schedule, parent или manual. Статус зелёный не подтверждает тест, если rules исключили job до запуска.

Обязательный тест должен быть частью разрешающего условия deploy. Название stage test недостаточно: GitLab jobs с needs могут начинаться до завершения целой стадии, а optional dependency разрешает продолжение, когда job отсутствует. Связь нужно выразить явно и проверить на каждом production-пути.

Пять зелёных состояний имеют разный смысл

Состояние regressionПочему deploy мог пройтиПравильная реакция
Job отсутствуетrules не совпали для pipeline sourceСогласовать rules regression и deploy
skippedwhen/manual/only-change не потребовали запускНе считать skipped успешной проверкой
passed без тестовНулевая выборка или неверный pathПадать при 0 collected tests
failed, allow_failureОшибка не влияет на pipelineУбрать allow_failure у gate
Child pipeline зелёный отдельноРодитель не зеркалит statusСвязать downstream status с deploy

Один gate читается прямо из конфигурации

regression:
  stage: test
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
  script: ./ci/run-regression.sh
  allow_failure: false

deploy-production:
  stage: deploy
  needs:
    - job: regression
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
  script: ./ci/deploy.sh

Пример относится к production deploy из default branch; перенесите те же принципы на ваш pipeline source. В обязательном needs нет optional: true. Одинаковое условие rules не гарантирует корректность само по себе, но предотвращает ситуацию, когда deploy создаётся, а regression — нет.

Если правила сложнее, вынесите общий шаблон через extends или YAML anchor и проверяйте expanded configuration. Помните: при совпадении rules:needs GitLab полностью заменяет needs для job. Добавленное для одного условия needs: [] способно незаметно убрать test gate.

Отчёт о тестах не равен исполнению тестов

JUnit artifact помогает показать результат, но не делает job обязательным и не гарантирует, что тесты были собраны. Скрипт должен завершаться ненулевым кодом при падении и при неожиданной нулевой выборке. После команды проверяйте число test cases и существование свежего report, а не старый artifact из кеша.

  • Вывести commit SHA, pipeline source и версию test image в log без секретов.
  • Запретить shell-конструкции, которые проглатывают exit code тестового runner.
  • Не использовать allow_failure для обязательного regression job.
  • Проверить cache key, чтобы результаты предыдущего commit не выглядели свежими.
  • Сделать deployment approval дополнительным барьером, а не заменой тестового gate.

Отрицательная приёмка важнее успешного прогона

  1. Создать безопасную тестовую ветку с намеренно падающим regression case.
  2. Запустить каждый source, который способен привести к production deploy.
  3. Убедиться, что deploy job не стартует и не становится доступным manual action.
  4. Повторить со skipped/absent job и ожидать отказ создания разрешающего пути.
  5. Вернуть тест и подтвердить единственный deploy для того же commit SHA.

CI Lint проверяет синтаксис и помогает увидеть сформированную конфигурацию, но реальную матрицу rules нужно тестировать значениями branch, tag, source и variables. Секретные variables в отчёт не копируйте; достаточно их имён и признака наличия.

Защита production закрывает ручные обходы

Даже правильный graph не защитит внешний скрипт, который может деплоить напрямую. Ограничьте credentials deployment job, используйте protected environment и аудит approval. GitLab отдельно описывает deployment approvals: защищённый environment продолжает deploy только после требуемых одобрений. Это второй слой, а regression остаётся машинным gate.

Для ревью подготовьте expanded YAML, pipeline graph, source/branch/commit и последние строки обязательного job. Токены runner и значения variables не требуются. По ним видно, потерялся ли job в rules, был обойдён через needs или формально прошёл без тестов.

Проверенные источники