Если сайт сломался после релиза, сначала остановите следующие выкладки и запишите четыре вещи: текущий release ID, время первого симптома, последнюю известную рабочую версию и состояние базы. Не начинайте с git reset на сервере. Production может содержать собранные файлы, конфигурацию и миграции, которые не вернутся одним движением ветки.

Быстрый rollback — это переключение на уже проверенный artifact. Git revert решает другую задачу: создаёт новый commit, отменяющий изменения в истории проекта. Обычно сначала восстанавливают сервис готовой версией, а после стабилизации оформляют revert или исправляющий commit и прогоняют обычный pipeline.

Решение принимается по трём слоям

СлойМожно вернуть быстроКогда остановиться
код и assetsготовый immutable artifactстарой версии нет или она повреждена
конфигурацияверсионируемый шаблон без секретовновый секрет несовместим или уже ротирован
базасовместимая обратная миграцияудалены/преобразованы данные
очередисовместимые сообщенияновый producer записал другой формат
внешние APIпредыдущая версия контракта ещё доступнапартнёр отключил старый endpoint

Откат кода безопасен только при совместимости с текущими данными. Если релиз удалил столбец, изменил смысл статуса или выпустил сообщения нового формата, старая версия может запуститься и тихо портить записи. В такой ситуации переключают трафик на режим обслуживания или ограниченный read-only, восстанавливают совместимость и только затем возвращают приложение.

Runbook не ищет версию во время аварии

incident: INC-2026-10-10-1512
current_release: 20261010-1502-a1b2c3
last_known_good: 20261010-1320-9f8e7d
database_migrations_since: [20261010_add_delivery_slot]
rollback_owner: release-engineer
checks: [homepage, login, create-test-order, worker-queue]
stop_condition: incompatible_database_change

Такой manifest не содержит паролей и не выполняет команды; он фиксирует выбор. Последняя рабочая версия определяется по успешному health check и бизнес-операции, а не по словам «предыдущий commit». Если релизы объединяют несколько commit, вернуться нужно к artifact ID, который действительно работал в этом окружении.

Переключение ограничивают одним изменением за раз

  1. Заморозить deploy и сохранить логи вокруг времени сбоя.
  2. Проверить checksum и manifest последнего исправного artifact.
  3. Оценить совместимость конфигурации, миграций, очередей и внешних API.
  4. Переключить только версию приложения выбранным механизмом платформы.
  5. Дождаться статуса rollout и выполнить короткий бизнес smoke-test.
  6. При провале остановиться, а не чередовать версии без новой гипотезы.

Kubernetes хранит историю Deployment и поддерживает rollout undo, но глубина истории зависит от revisionHistoryLimit. У другой платформы механизм будет иным: symlink релизов, слоты, blue/green или deployment revision. Общий принцип один — старый artifact должен существовать до инцидента и переключение должно иметь наблюдаемый статус.

База восстанавливается не тем же способом, что код

Point-in-time recovery PostgreSQL способен вернуть весь кластер к выбранному моменту при наличии base backup и непрерывного WAL-архива. Это не обычная кнопка отката релиза и не средство вернуть одну случайную строку. PITR выполняют по отдельному плану, часто сначала в новом экземпляре, чтобы выбрать правильную точку и извлечь нужные данные без перезаписи текущего состояния.

Для будущих релизов применяйте расширяющие миграции: сначала добавить поле или таблицу, затем выпустить совместимый код, и только позднее удалить старую структуру. Тогда предыдущая версия приложения сможет пережить rollback. Backup считается пригодным только после restore-теста; наличие свежего файла ещё не доказывает возможность восстановления.

После восстановления оформляют причину и постоянное исправление

  • зафиксировать время rollback, выбранный artifact и результаты проверок;
  • создать git revert или новый исправляющий commit через обычный review;
  • не редактировать возвращённый release вручную;
  • добавить тест, который ловит исходный симптом до production;
  • проверить алерт и правило автоматической остановки rollout;
  • сохранить логи и метрики с ограниченным доступом и сроком хранения.

Для подготовки безопасного отката нужны release ID, manifest двух версий, список миграций, схема очередей, последние health checks и обезличенный фрагмент ошибки. Секреты и полный дамп в переписку не отправляются. Если совместимость базы неизвестна, разумнее временно ограничить операции и восстановить копию для проверки, чем выигрывать минуты ценой потери данных.

Проверенные источники