Не начинайте с десяти повторных запусков: retry может спрятать гонку и не объяснит отличие. Возьмите первый failed job, скачайте test report, trace, screenshot и log, зафиксируйте commit SHA и имя runner image. Затем запустите локально ровно команду CI на чистой установке зависимостей; обычный `npm test` в давно живущем node_modules — другой эксперимент.
Цель диагностики — получить минимальную пару окружений, где одна переменная меняет результат. «На моём компьютере работает» не содержит данных. Нужны версии runtime, package manager, lockfile hash, OS, architecture, browser, timezone, locale, число workers и список доступных сервисов.
Fingerprint печатается до тестов, но без секретов
commit_sha=4c2f...
runner_os=Linux
node_version=22.x
npm_version=10.x
lockfile_sha256=91af...
playwright_version=1.x
browser_revision=chromium-...
timezone=UTC
locale=C.UTF-8
workers=1
database_fixture=fixture-v18
Do not print: tokens, connection passwords, full environment dumpGitHub Actions задаёт контексты и переменные на уровнях workflow, job и step; более специфичное env перекрывает общее. Не выводите весь github context или environment: в них могут быть токены и другие чувствительные значения. Печатайте только белый список безопасных параметров, нужных для сравнения.
Характер падения сужает поиск
| Симптом | Вероятное отличие | Эксперимент |
|---|---|---|
| Не найден браузер | Нет binary или OS dependencies | Установить Playwright --with-deps |
| Screenshot отличается | Шрифты, OS, device scale | Один container и одинаковые fonts |
| Падает только весь suite | Shared state или порядок | Один worker, random order с seed |
| Сдвиг даты на день | UTC против local timezone | Явно задать TZ и frozen clock |
| Element ещё не готов | Медленнее CPU/network | Ждать observable state, не sleep |
| Только CI database | Fixture или миграции | Сверить schema version и seed hash |
| Зависит от branch | Cache key или stale artifact | Отключить cache один раз и сравнить lockfile |
Playwright требует совместимые browser binaries для своей версии и позволяет установить системные зависимости командой `npx playwright install --with-deps`. Официальная инструкция CI также рекомендует `npm ci` и для стабильности показывает один worker в CI. Это baseline, а не вечное требование: после устранения shared state параллельность можно вернуть и измерить.
Воспроизводим runner, а не имитируем его частично
- Checkout exact commit из failed run вместе с submodules и generated files по правилам проекта.
- Установить зависимости из lockfile чистой командой, не обновляя версии.
- Использовать тот же container image или runner OS и architecture.
- Поднять те же service containers, schema migrations и seed dataset.
- Задать CI=true, timezone, locale и число workers как в job.
- Запустить один failing test, затем весь shard и весь suite.
Docker помогает зафиксировать userspace, но не гарантирует одинаковое железо, ядро и нагрузку. Если ошибка исчезает в контейнере локально, сравните ограничения CPU/memory и сеть runner. Для теста времени используйте контролируемые часы; для внешнего сервиса — контрактный test double или изолированный sandbox, а не production endpoint.
Artifacts должны позволять ответить без доступа к runner
- JUnit или другой машинно-читаемый отчёт с полным именем теста.
- Playwright trace, screenshot и video только для упавшего сценария.
- Логи приложения и браузера с correlation ID, но без персональных данных.
- Schema/fixture version, random seed и shard/workers.
- Fingerprint окружения и точная команда запуска.
- Retention, достаточный для разбора, но согласованный с политикой данных.
GitHub определяет artifacts как файлы, сохраняемые после job: отчёты, логи, core dumps и screenshots. Они не равны dependency cache. Cache ускоряет повторную сборку и способен принести устаревшее состояние; artifact доказывает, что произошло в конкретном run.
После причины добавляем защиту от возврата дефекта
Если виновата версия Node или браузера, закрепите её в workflow и добавьте контролируемое обновление. Если timezone — запускайте важные тесты хотя бы в UTC и целевой зоне. Если гонка — оставьте stress-run с повторяемым seed. GitHub Actions matrix позволяет запускать комбинации OS и runtime, но начинайте с минимальной пары, доказавшей причину, иначе стоимость растёт быстрее сигнала. Готовый разбор воспроизводится на чистом окружении и содержит один конкретный diff, который меняет красный тест на зелёный.