Параллельный deploy создаёт несколько кандидатов на миграцию. Проверка «таблица версии ещё старая» не защищает от гонки: два процесса читают одно состояние и оба начинают DDL. Нужен один координатор — отдельный migration job или блокировка, общая для всех исполнителей этой базы.
До изменения pipeline сохраните журнал версий и проверьте, завершилась ли текущая миграция. Не перезапускайте её автоматически после неизвестного обрыва: некоторые DDL откатываются транзакцией, другие внешние шаги могли уже выполниться. Сначала определите последнюю подтверждённую версию.
Гонка видна на простой временной шкале
| Момент | Worker A | Worker B | Риск |
|---|---|---|---|
| T0 | Читает version 42 | Читает version 42 | Оба считают миграцию нужной |
| T1 | Начинает ALTER | Начинает ALTER | Lock wait или конфликт DDL |
| T2 | Пишет version 43 | Получает ошибку | Deploy частично красный |
| T3 | Стартует приложение | Делает retry | Повтор неизвестного шага |
| T4 | Принимает трафик | Ещё меняет схему | Несовместимые версии кода |
Уникальный pod name или локальный файл-lock не помогают: реплики живут на разных узлах. Координатор должен быть общим для всех процессов, обычно это сама целевая база или единичный job, созданный системой деплоя.
Отдельный job упрощает порядок релиза
Предпочтительная схема: build публикует артефакт, migration job получает отдельные ограниченные credentials, выполняет ровно один набор миграций, а rollout приложения начинается после успеха. Повтор job проверяет таблицу версий и не применяет уже подтверждённые шаги.
- Обычные web-реплики не имеют DDL-прав.
- Job запускается один раз на revision, а не один раз на pod.
- Есть timeout и статус «другая миграция уже выполняется».
- Логи содержат номер версии и длительность, но не данные таблиц.
- Rollback приложения учитывает совместимость схемы назад.
Advisory lock связывает исполнителей базы
begin transaction
acquired = try_advisory_transaction_lock(MIGRATION_LOCK_KEY)
if not acquired:
stop with "migration already running"
read and verify schema_version
apply one transactional migration
record schema_version and checksum
commit # transaction-level lock is released automaticallyPostgreSQL предоставляет advisory locks для ресурсов, смысл которых определяет приложение. pg_try_advisory_xact_lock возвращает false сразу, если конфликтующий lock занят, и освобождается при завершении транзакции. Ключ должен быть стабильным и одинаковым для всех runners конкретной базы.
Transaction-level lock подходит только если миграция живёт в одной транзакции. Для инструмента, который открывает несколько соединений или выполняет нетранзакционный DDL, используйте его встроенную блокировку либо тщательно управляемый session-level lock на одном соединении. Не смешивайте варианты без проверки поведения migrator.
Ожидание имеет предел и наблюдаемость
Бесконечно ждать lock опасно: deploy зависнет, а оператор не увидит владельца. Второй процесс либо завершается с отдельным кодом «already running», либо ждёт ограниченное время. В PostgreSQL активные locks видны через pg_locks; сопоставляйте их с application_name и run ID, не завершая сессию наугад.
Схема и код меняются совместимо
Даже один migrator не спасает, если старые и новые реплики одновременно используют несовместимую схему. Применяйте expand/contract: сначала добавить совместимое поле или таблицу, затем выложить код, перенести данные и лишь в отдельном релизе удалить старое. Readiness не открывается до нужной минимальной schema version.
Тест воспроизводит конкуренцию
- Запустить два одинаковых migration jobs одновременно на тестовой базе.
- Убедиться, что только один получил lock и изменил version.
- Прервать владельца до commit и проверить автоматическое освобождение transaction lock.
- Повторить job после успешного commit и получить no-op.
- Проверить timeout второй реплики и понятный статус pipeline.
- Запустить старую и новую версию приложения рядом на расширенной схеме.
Для разбора нужны версии, а не содержимое базы
Подготовьте topology deploy, число runners, версию migrator, schema history с checksum, lock strategy и timestamps двух запусков. Дамп данных, connection string и credentials не нужны. Этих сведений достаточно, чтобы найти двойную точку старта и выбрать границу блокировки.