Автооткат безопасен только тогда, когда мониторинг отличает новую версию от стабильной и получает достаточно запросов для решения. Поэтому первый шаг — не подключать кнопку rollback к общему алерту, а выпустить canary на небольшой доле трафика и проверить отдельный ряд ошибок, задержки и объёма.

Один плохой замер не должен сразу менять production. Несколько подтверждённых провалов останавливают rollout и возвращают трафик на stable; пустой ответ Prometheus, недоступность хранилища метрик или слишком малая выборка переводят проверку в inconclusive и требуют паузы.

У каждого результата своё действие

Результат измеренияКак трактоватьДействие
Canary хуже, stable в нормеРегрессия новой версии вероятнаОстановить продвижение и вернуть трафик
Canary и stable ухудшились вместеОбщая зависимость или входящий трафикНе маскировать аварию откатом
Серия пустаяНет данных или неверные labelsПауза, проверка запроса
Запросов слишком малоДоля ошибок статистически шумнаяПродлить окно либо поднять трафик
Порог нарушен один разВозможен краткий всплескЖдать следующий замер в пределах политики

Эта таблица должна быть частью политики, а не устной договорённостью дежурного. Особенно опасен общий error rate без метки revision: откат может совпасть по времени с отказом базы и создать иллюзию, что старая версия что-то исправила.

Запрос сравнивает именно новую ревизию

В метриках нужен стабильный признак ревизии: pod-template-hash, version, deployment color или другой label, который реально формирует ваш слой телеметрии. Сначала выполните PromQL в интерфейсе Prometheus и убедитесь, что числитель и знаменатель возвращают один и тот же canary-набор.

apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
  name: canary-success-rate
spec:
  metrics:
  - name: success-rate
    interval: 1m
    failureLimit: 3
    successCondition: result[0] >= 0.99
    provider:
      prometheus:
        address: https://prometheus.example
        query: |
          sum(rate(http_requests_total{track="canary",status!~"5.."}[5m]))
          /
          sum(rate(http_requests_total{track="canary"}[5m]))

Фрагмент показывает механику Argo Rollouts, а не готовый универсальный порог. В официальном примере Prometheus возвращает vector, поэтому условие читает result[0]; перед применением проверьте поведение именно для пустого результата, нулевого знаменателя и нескольких series в вашей версии контроллера.

Окно и объём защищают от случайного запроса

Порог 1% не имеет смысла без количества событий: одна ошибка из двадцати даст 5%, хотя причины могут быть случайными. Добавьте отдельную проверку минимального traffic count. Сравнивайте canary со stable на одинаковом временном окне, но не забывайте абсолютную границу — две одинаково плохие версии не должны считаться успехом.

  • Уберите healthcheck, synthetic и предсказуемые client errors из бизнес-метрики.
  • Выберите окно длиннее обычной задержки поступления telemetry.
  • Зафиксируйте максимальную длительность анализа, чтобы rollout не завис навсегда.
  • Разведите предупреждающий порог и порог немедленного abort.
  • Сохраните resolved query и измерения AnalysisRun для разбора.

Возврат трафика не восстанавливает данные

Rollback приложения не отменяет миграцию схемы, отправленные сообщения и внешние платежи. До автоматизации проверьте обратную совместимость базы и очередей. Если новая версия успела записать данные в новом формате, автоматике разрешают остановить трафик, но восстановление выполняют отдельной проверенной процедурой.

Также не стоит автоматически откатываться на образ, который уже признан уязвимым или несовместимым с текущей схемой. Допустимые stable revisions лучше хранить явно, а решение и причину отката — записывать в журнал релиза.

Репетиция проходит на контролируемой ошибке

  1. Развернуть canary с известным безопасным тестовым признаком ошибки.
  2. Убедиться, что stable-ряд не меняется, а canary-ряд превышает порог.
  3. Дождаться ровно заданного числа неуспешных измерений.
  4. Проверить статус AnalysisRun и прекращение продвижения трафика.
  5. Подтвердить возврат пользовательских запросов на stable revision.
  6. Отключить источник метрик и увидеть паузу, а не ложный успех.

Что подготовить для настройки

Для разбора нужны manifest rollout и AnalysisTemplate, версии Argo Rollouts и Prometheus, две обезличенные серии stable/canary, реальные задержки поступления метрик и список необратимых действий релиза. По ним можно выбрать окно, пороги и точку ручного подтверждения без эксперимента на полном production-трафике.

Проверенные источники