basic.nack с requeue=true способен вернуть сообщение почти сразу тому же consumer и загрузить CPU бесконечным циклом. Первый шаг — остановить быстрый requeue для известной ошибки и направить сообщение в контролируемый retry или quarantine path. Не удаляйте его молча: сохраните message ID, тип ошибки и последний безопасный diagnostic context.

Число попыток выбирают не глобально. Timeout внешнего API можно повторить с backoff, неверный payload бессмысленно обрабатывать второй раз, а неизвестную ошибку лучше ограниченно повторить и передать человеку. Retry budget включает не только count, но и максимальный возраст задачи и допустимое число side effects.

Класс ошибки определяет следующий маршрут

Результат обработкиДействиеПричина
Временный timeout или 503Delayed retry с backoffЗависимость может восстановиться
Validation error payloadDead-letter сразуПовтор не изменит вход
Unauthorized после ротацииОграниченный retry после refresh credentialНужен отдельный восстановительный шаг
Side effect выполнен, ack потерянIdempotent replayДоставка может повториться
Неизвестная exceptionМалый budget и quarantineНельзя бесконечно нагружать систему

В RabbitMQ 4.3 счётчики означают разное

Quorum queues добавляют x-delivery-count для неуспешных доставок и x-acquired-count для числа назначений consumer. Начиная с 4.3 обычный AMQP 0.9.1 basic.nack сам по себе не увеличивает delivery-count, а basic.reject и потеря connection с unacked message увеличивают. Поэтому нельзя предполагать, что любой requeue приблизил сообщение к delivery-limit.

У quorum queue с RabbitMQ 4.0 default delivery-limit равен 20. После превышения сообщение удаляется или отправляется в DLX, если он настроен. Отключение лимита значением -1 возвращает неограниченное поведение и документацией не рекомендуется. Для classic queues и межверсионной совместимости часто нужен application-level attempt в новом сообщении retry.

Policy ставит предел и сохраняет исчерпанные задачи

rabbitmqctl set_policy retry-guard \
  "^jobs\." \
  "{\"delivery-limit\":8,\"dead-letter-exchange\":\"jobs.dlx\"}" \
  --priority 50 \
  --apply-to quorum_queues

Имена и limit условны. Перед применением проверьте RabbitMQ version, queue type, существующие operator policies и binding target DLX. Без подходящей dead-letter destination исчерпанное сообщение может быть удалено. Изменение policy сначала проводят на тестовой queue и подтверждают через effective policy и synthetic poison message.

Backoff не держит worker и не штормит зависимость

RabbitMQ 4.3 добавляет delayed retry для quorum queues с линейной задержкой, ограниченной minimum и maximum. Но application должен всё равно отличать recoverable outcome и permanent failure. Для других queue types используют retry queues с TTL и dead-letter routing либо внешний scheduler; схема обязана избегать цикла, где DLX сразу возвращает сообщение в исходную queue.

  • Первая попытка получает короткую задержку, следующие — увеличенную до cap.
  • Retry не блокирует consumer thread с sleep.
  • Attempt и first_seen_at сохраняются при republish.
  • Publisher confirms подтверждают запись retry до ack исходного сообщения.
  • Один message ID не создаёт повторный платёж или письмо.
  • DLQ имеет retention, владельца и процедуру replay.

Если consumer публикует новое retry message, сначала дождитесь publisher confirm и только затем ack исходное. Иначе разрыв между операциями потеряет задачу. Обратный порядок без idempotency может создать дубликат. Транзакционная outbox или broker-specific безопасный механизм выбирается по цене потери и повторения.

DLQ — рабочая очередь расследования, не архив навсегда

  1. Записать error class, attempt, first_seen_at и last_failed_at без секретов.
  2. Сгруппировать сообщения по fingerprint причины, а не только queue name.
  3. Исправить consumer или входные данные через контролируемую процедуру.
  4. Проверить idempotency key перед replay.
  5. Повторно отправлять небольшими batch с rate limit.
  6. Следить за новым failure rate и остановить replay при повторении причины.
  7. Удалять сообщения только по retention policy и после сохранения нужного аудита.

Приёмочный тест ломает зависимость намеренно

temporary failure -> delayed retries -> success -> one side effect
invalid payload   -> direct DLQ -> zero retries
persistent 503    -> budget exhausted -> DLQ
consumer crash    -> redelivery -> idempotent result
retry publish lost -> original remains unacked
DLQ replay batch  -> rate limited and observable

Успех измеряется отсутствием tight loop, ограниченным возрастом retry, сохранёнными poison messages и ровно одним business result. Для настройки нужны RabbitMQ и protocol versions, queue type, ack/reject code paths, effective policies, DLX bindings и обезличенная timeline одного message ID.

Проверенные источники