Если сайт сломался после релиза, сначала остановите следующие выкладки и запишите четыре вещи: текущий release ID, время первого симптома, последнюю известную рабочую версию и состояние базы. Не начинайте с git reset на сервере. Production может содержать собранные файлы, конфигурацию и миграции, которые не вернутся одним движением ветки.
Быстрый rollback — это переключение на уже проверенный artifact. Git revert решает другую задачу: создаёт новый commit, отменяющий изменения в истории проекта. Обычно сначала восстанавливают сервис готовой версией, а после стабилизации оформляют revert или исправляющий commit и прогоняют обычный pipeline.
Решение принимается по трём слоям
| Слой | Можно вернуть быстро | Когда остановиться |
|---|---|---|
| код и assets | готовый immutable artifact | старой версии нет или она повреждена |
| конфигурация | версионируемый шаблон без секретов | новый секрет несовместим или уже ротирован |
| база | совместимая обратная миграция | удалены/преобразованы данные |
| очереди | совместимые сообщения | новый producer записал другой формат |
| внешние API | предыдущая версия контракта ещё доступна | партнёр отключил старый endpoint |
Откат кода безопасен только при совместимости с текущими данными. Если релиз удалил столбец, изменил смысл статуса или выпустил сообщения нового формата, старая версия может запуститься и тихо портить записи. В такой ситуации переключают трафик на режим обслуживания или ограниченный read-only, восстанавливают совместимость и только затем возвращают приложение.
Runbook не ищет версию во время аварии
incident: INC-2026-10-10-1512
current_release: 20261010-1502-a1b2c3
last_known_good: 20261010-1320-9f8e7d
database_migrations_since: [20261010_add_delivery_slot]
rollback_owner: release-engineer
checks: [homepage, login, create-test-order, worker-queue]
stop_condition: incompatible_database_changeТакой manifest не содержит паролей и не выполняет команды; он фиксирует выбор. Последняя рабочая версия определяется по успешному health check и бизнес-операции, а не по словам «предыдущий commit». Если релизы объединяют несколько commit, вернуться нужно к artifact ID, который действительно работал в этом окружении.
Переключение ограничивают одним изменением за раз
- Заморозить deploy и сохранить логи вокруг времени сбоя.
- Проверить checksum и manifest последнего исправного artifact.
- Оценить совместимость конфигурации, миграций, очередей и внешних API.
- Переключить только версию приложения выбранным механизмом платформы.
- Дождаться статуса rollout и выполнить короткий бизнес smoke-test.
- При провале остановиться, а не чередовать версии без новой гипотезы.
Kubernetes хранит историю Deployment и поддерживает rollout undo, но глубина истории зависит от revisionHistoryLimit. У другой платформы механизм будет иным: symlink релизов, слоты, blue/green или deployment revision. Общий принцип один — старый artifact должен существовать до инцидента и переключение должно иметь наблюдаемый статус.
База восстанавливается не тем же способом, что код
Point-in-time recovery PostgreSQL способен вернуть весь кластер к выбранному моменту при наличии base backup и непрерывного WAL-архива. Это не обычная кнопка отката релиза и не средство вернуть одну случайную строку. PITR выполняют по отдельному плану, часто сначала в новом экземпляре, чтобы выбрать правильную точку и извлечь нужные данные без перезаписи текущего состояния.
Для будущих релизов применяйте расширяющие миграции: сначала добавить поле или таблицу, затем выпустить совместимый код, и только позднее удалить старую структуру. Тогда предыдущая версия приложения сможет пережить rollback. Backup считается пригодным только после restore-теста; наличие свежего файла ещё не доказывает возможность восстановления.
После восстановления оформляют причину и постоянное исправление
- зафиксировать время rollback, выбранный artifact и результаты проверок;
- создать git revert или новый исправляющий commit через обычный review;
- не редактировать возвращённый release вручную;
- добавить тест, который ловит исходный симптом до production;
- проверить алерт и правило автоматической остановки rollout;
- сохранить логи и метрики с ограниченным доступом и сроком хранения.
Для подготовки безопасного отката нужны release ID, manifest двух версий, список миграций, схема очередей, последние health checks и обезличенный фрагмент ошибки. Секреты и полный дамп в переписку не отправляются. Если совместимость базы неизвестна, разумнее временно ограничить операции и восстановить копию для проверки, чем выигрывать минуты ценой потери данных.