Безопасный откат — это не команда ROLLBACK вокруг многодневного процесса. Транзакция одной базы не отменит уже отправленные письма, сообщения в очереди, файлы и записи другого сервиса. Нужен маршрут назад для каждого внешнего эффекта и чёткий ответ, какая система остаётся источником истины на каждой фазе.
Самая опасная формулировка в плане — «если что, вернём backup». Она не объясняет, что произойдёт с заказами, созданными после резервной копии. Backup нужен, но он не заменяет журнал изменений, обратную синхронизацию и решение о допустимой потере данных.
Матрица фаз показывает, какой откат ещё возможен
| Фаза | Источник истины | Безопасное действие назад |
|---|---|---|
| До копирования | Старая система | Остановить запуск, ничего не переключать |
| Фоновое копирование | Старая система | Остановить worker, очистить только его staging по manifest |
| Dual-write/CDC | Назначенный master по контракту | Остановить поток и сверить lag/ошибки |
| Проверка новой системы | Старая система | Вернуть shadow-read, исправить и повторить |
| После cutover без новых записей | Новая по маршруту, данные неизменны | Вернуть трафик после проверки старой |
| После новых записей | Новая система | Сначала перенести delta назад или компенсировать |
Точка невозврата бывает бизнесовой, а не технической: например, новая схема сохранила значение, которое старая не умеет представить, или внешний контрагент уже получил событие. Такие шаги отмечают отдельно и выполняют только после явного решения владельца продукта.
Manifest не даёт откату удалить чужие данные
CREATE TABLE migration_manifest (
run_id uuid NOT NULL,
source_from bigint NOT NULL,
source_to bigint NOT NULL,
target_rows bigint NOT NULL,
payload_hash text NOT NULL,
committed_at timestamptz NOT NULL,
reverted_at timestamptz,
PRIMARY KEY (run_id, source_from, source_to)
);
-- Удаление по created_at или общему диапазону запрещено:
-- откат опирается на run_id и подтверждённые ключи конкретного batch.Manifest хранит не персональные payload, а границы, количество, контрольную сумму и состояние batch. Если целевые ключи создаются заново, нужна таблица соответствия source_id → target_id. Тогда повтор и компенсация затронут только объекты этого запуска, а не данные, которые одновременно создали пользователи.
Старая система остаётся пригодной для возврата
- Не удаляйте старые таблицы в одном релизе с переключением чтения.
- Зафиксируйте schema и версию приложения, совместимую со старыми данными.
- Проверьте восстановление резервной копии на отдельном окружении.
- Храните старую систему read-only, если запись уже переехала.
- Наблюдайте replication/CDC lag и самую старую необработанную ошибку.
- Назначьте срок хранения и отдельное решение на окончательное удаление.
pg_dump создаёт согласованный экспорт даже при параллельном использовании базы, но его восстановление всё равно надо репетировать, а роли и другие глобальные объекты могут требовать отдельного pg_dumpall. Для очень больших баз логический dump не всегда является единственным или самым быстрым вариантом. Выбор backup-инструмента должен соответствовать реальному RTO и RPO.
Транзакция защищает только ограниченную границу
В PostgreSQL уровень REPEATABLE READ даёт стабильный снимок для последовательности чтений, а READ COMMITTED может видеть новый снимок на каждой команде. Это полезно при сверке и формировании диапазона. Но нельзя держать одну транзакцию открытой сутками и считать её планом отката: она увеличивает операционные риски и не охватывает внешние системы.
- Зафиксировать watermark источника и неизменяемый идентификатор run_id.
- Скопировать ограниченный batch в staging или целевое пространство имён.
- Проверить количество, ключи и бизнес-инварианты до публикации.
- Атомарно отметить batch committed вместе с доступными локальными изменениями.
- Отправить внешние события через outbox с идемпотентным ключом.
- При сбое повторить batch либо выполнить известную компенсацию.
Cutover имеет критерии старта, остановки и возврата
Перед переключением задайте численные условия: CDC lag равен нулю или меньше допустимого порога, очередь ошибок пуста, контрольные суммы совпали, новая система выдержала read-only трафик, а команда возврата проверена. Условия rollback тоже задаются заранее: рост ошибок записи, нарушение конкретного инварианта, потеря событий или превышение времени восстановления.
Decision record
- cutover owner: incident commander
- last reversible phase: before new-only writes
- rollback trigger: write errors > agreed threshold for 5 min
- traffic switch command: documented and rehearsed
- delta-backfill owner: data team
- evidence: manifest, lag=0, invariant report, backup restore testВо время окна один человек принимает решение, другой выполняет команду, третий сверяет метрики. Это снижает вероятность, что в стрессе две команды одновременно переключат маршрутизацию и запустят разные версии отката.
Учебный откат заканчивается повторным cutover
Репетиция должна пройти полный круг на копии или ограниченном tenant: миграция, проверка, переключение, создание новых тестовых записей, перенос delta назад, возврат и повторное переключение вперёд. Измерьте время каждого шага и сравните его с RTO. Проверка только команды «вернуть alias» не доказывает сохранность новых данных.
Готовый план содержит точные версии схем, runbook, владельцев, manifest, восстановленный backup, критерии решения и результат репетиции. Секреты, реальные пользовательские записи и пароли в отчёт не включают. Если обратное преобразование невозможно, честно назовите шаг необратимым и требуйте более длинной shadow-фазы вместо фиктивного rollback.