Параллельный deploy создаёт несколько кандидатов на миграцию. Проверка «таблица версии ещё старая» не защищает от гонки: два процесса читают одно состояние и оба начинают DDL. Нужен один координатор — отдельный migration job или блокировка, общая для всех исполнителей этой базы.

До изменения pipeline сохраните журнал версий и проверьте, завершилась ли текущая миграция. Не перезапускайте её автоматически после неизвестного обрыва: некоторые DDL откатываются транзакцией, другие внешние шаги могли уже выполниться. Сначала определите последнюю подтверждённую версию.

Гонка видна на простой временной шкале

МоментWorker AWorker BРиск
T0Читает version 42Читает version 42Оба считают миграцию нужной
T1Начинает ALTERНачинает ALTERLock wait или конфликт DDL
T2Пишет version 43Получает ошибкуDeploy частично красный
T3Стартует приложениеДелает retryПовтор неизвестного шага
T4Принимает трафикЕщё меняет схемуНесовместимые версии кода

Уникальный pod name или локальный файл-lock не помогают: реплики живут на разных узлах. Координатор должен быть общим для всех процессов, обычно это сама целевая база или единичный job, созданный системой деплоя.

Отдельный job упрощает порядок релиза

Предпочтительная схема: build публикует артефакт, migration job получает отдельные ограниченные credentials, выполняет ровно один набор миграций, а rollout приложения начинается после успеха. Повтор job проверяет таблицу версий и не применяет уже подтверждённые шаги.

  • Обычные web-реплики не имеют DDL-прав.
  • Job запускается один раз на revision, а не один раз на pod.
  • Есть timeout и статус «другая миграция уже выполняется».
  • Логи содержат номер версии и длительность, но не данные таблиц.
  • Rollback приложения учитывает совместимость схемы назад.

Advisory lock связывает исполнителей базы

begin transaction
  acquired = try_advisory_transaction_lock(MIGRATION_LOCK_KEY)
  if not acquired:
      stop with "migration already running"

  read and verify schema_version
  apply one transactional migration
  record schema_version and checksum
commit  # transaction-level lock is released automatically

PostgreSQL предоставляет advisory locks для ресурсов, смысл которых определяет приложение. pg_try_advisory_xact_lock возвращает false сразу, если конфликтующий lock занят, и освобождается при завершении транзакции. Ключ должен быть стабильным и одинаковым для всех runners конкретной базы.

Transaction-level lock подходит только если миграция живёт в одной транзакции. Для инструмента, который открывает несколько соединений или выполняет нетранзакционный DDL, используйте его встроенную блокировку либо тщательно управляемый session-level lock на одном соединении. Не смешивайте варианты без проверки поведения migrator.

Ожидание имеет предел и наблюдаемость

Бесконечно ждать lock опасно: deploy зависнет, а оператор не увидит владельца. Второй процесс либо завершается с отдельным кодом «already running», либо ждёт ограниченное время. В PostgreSQL активные locks видны через pg_locks; сопоставляйте их с application_name и run ID, не завершая сессию наугад.

Схема и код меняются совместимо

Даже один migrator не спасает, если старые и новые реплики одновременно используют несовместимую схему. Применяйте expand/contract: сначала добавить совместимое поле или таблицу, затем выложить код, перенести данные и лишь в отдельном релизе удалить старое. Readiness не открывается до нужной минимальной schema version.

Тест воспроизводит конкуренцию

  1. Запустить два одинаковых migration jobs одновременно на тестовой базе.
  2. Убедиться, что только один получил lock и изменил version.
  3. Прервать владельца до commit и проверить автоматическое освобождение transaction lock.
  4. Повторить job после успешного commit и получить no-op.
  5. Проверить timeout второй реплики и понятный статус pipeline.
  6. Запустить старую и новую версию приложения рядом на расширенной схеме.

Для разбора нужны версии, а не содержимое базы

Подготовьте topology deploy, число runners, версию migrator, schema history с checksum, lock strategy и timestamps двух запусков. Дамп данных, connection string и credentials не нужны. Этих сведений достаточно, чтобы найти двойную точку старта и выбрать границу блокировки.

Проверенные источники