Безопасный откат — это не команда ROLLBACK вокруг многодневного процесса. Транзакция одной базы не отменит уже отправленные письма, сообщения в очереди, файлы и записи другого сервиса. Нужен маршрут назад для каждого внешнего эффекта и чёткий ответ, какая система остаётся источником истины на каждой фазе.

Самая опасная формулировка в плане — «если что, вернём backup». Она не объясняет, что произойдёт с заказами, созданными после резервной копии. Backup нужен, но он не заменяет журнал изменений, обратную синхронизацию и решение о допустимой потере данных.

Матрица фаз показывает, какой откат ещё возможен

ФазаИсточник истиныБезопасное действие назад
До копированияСтарая системаОстановить запуск, ничего не переключать
Фоновое копированиеСтарая системаОстановить worker, очистить только его staging по manifest
Dual-write/CDCНазначенный master по контрактуОстановить поток и сверить lag/ошибки
Проверка новой системыСтарая системаВернуть shadow-read, исправить и повторить
После cutover без новых записейНовая по маршруту, данные неизменныВернуть трафик после проверки старой
После новых записейНовая системаСначала перенести delta назад или компенсировать

Точка невозврата бывает бизнесовой, а не технической: например, новая схема сохранила значение, которое старая не умеет представить, или внешний контрагент уже получил событие. Такие шаги отмечают отдельно и выполняют только после явного решения владельца продукта.

Manifest не даёт откату удалить чужие данные

CREATE TABLE migration_manifest (
  run_id uuid NOT NULL,
  source_from bigint NOT NULL,
  source_to bigint NOT NULL,
  target_rows bigint NOT NULL,
  payload_hash text NOT NULL,
  committed_at timestamptz NOT NULL,
  reverted_at timestamptz,
  PRIMARY KEY (run_id, source_from, source_to)
);

-- Удаление по created_at или общему диапазону запрещено:
-- откат опирается на run_id и подтверждённые ключи конкретного batch.

Manifest хранит не персональные payload, а границы, количество, контрольную сумму и состояние batch. Если целевые ключи создаются заново, нужна таблица соответствия source_id → target_id. Тогда повтор и компенсация затронут только объекты этого запуска, а не данные, которые одновременно создали пользователи.

Старая система остаётся пригодной для возврата

  • Не удаляйте старые таблицы в одном релизе с переключением чтения.
  • Зафиксируйте schema и версию приложения, совместимую со старыми данными.
  • Проверьте восстановление резервной копии на отдельном окружении.
  • Храните старую систему read-only, если запись уже переехала.
  • Наблюдайте replication/CDC lag и самую старую необработанную ошибку.
  • Назначьте срок хранения и отдельное решение на окончательное удаление.

pg_dump создаёт согласованный экспорт даже при параллельном использовании базы, но его восстановление всё равно надо репетировать, а роли и другие глобальные объекты могут требовать отдельного pg_dumpall. Для очень больших баз логический dump не всегда является единственным или самым быстрым вариантом. Выбор backup-инструмента должен соответствовать реальному RTO и RPO.

Транзакция защищает только ограниченную границу

В PostgreSQL уровень REPEATABLE READ даёт стабильный снимок для последовательности чтений, а READ COMMITTED может видеть новый снимок на каждой команде. Это полезно при сверке и формировании диапазона. Но нельзя держать одну транзакцию открытой сутками и считать её планом отката: она увеличивает операционные риски и не охватывает внешние системы.

  1. Зафиксировать watermark источника и неизменяемый идентификатор run_id.
  2. Скопировать ограниченный batch в staging или целевое пространство имён.
  3. Проверить количество, ключи и бизнес-инварианты до публикации.
  4. Атомарно отметить batch committed вместе с доступными локальными изменениями.
  5. Отправить внешние события через outbox с идемпотентным ключом.
  6. При сбое повторить batch либо выполнить известную компенсацию.

Cutover имеет критерии старта, остановки и возврата

Перед переключением задайте численные условия: CDC lag равен нулю или меньше допустимого порога, очередь ошибок пуста, контрольные суммы совпали, новая система выдержала read-only трафик, а команда возврата проверена. Условия rollback тоже задаются заранее: рост ошибок записи, нарушение конкретного инварианта, потеря событий или превышение времени восстановления.

Decision record
- cutover owner: incident commander
- last reversible phase: before new-only writes
- rollback trigger: write errors > agreed threshold for 5 min
- traffic switch command: documented and rehearsed
- delta-backfill owner: data team
- evidence: manifest, lag=0, invariant report, backup restore test

Во время окна один человек принимает решение, другой выполняет команду, третий сверяет метрики. Это снижает вероятность, что в стрессе две команды одновременно переключат маршрутизацию и запустят разные версии отката.

Учебный откат заканчивается повторным cutover

Репетиция должна пройти полный круг на копии или ограниченном tenant: миграция, проверка, переключение, создание новых тестовых записей, перенос delta назад, возврат и повторное переключение вперёд. Измерьте время каждого шага и сравните его с RTO. Проверка только команды «вернуть alias» не доказывает сохранность новых данных.

Готовый план содержит точные версии схем, runbook, владельцев, manifest, восстановленный backup, критерии решения и результат репетиции. Секреты, реальные пользовательские записи и пароли в отчёт не включают. Если обратное преобразование невозможно, честно назовите шаг необратимым и требуйте более длинной shadow-фазы вместо фиктивного rollback.

Проверенные источники