После рестарта пустая queue не доказывает, что RabbitMQ удалил подтверждённые данные. Producer мог не дождаться confirm, сообщение могло быть transient, consumer — подтвердить его до записи результата, а приложение — подключиться к новой auto-delete queue с похожим именем. Разбор начинается с одного message ID и временной шкалы.
Не включайте безусловный replay всего входящего потока: уже обработанные сообщения создадут дубли. Сначала зафиксируйте, какие publish были подтверждены broker и какие deliveries подтверждены consumer.
У сообщения четыре разных границы
| Граница | Что подтверждает | Чего не гарантирует |
|---|---|---|
| TCP write завершён | Клиент передал bytes в socket | Broker принял или сохранил publish |
| Publisher confirm ack | Очереди приняли publish по своим правилам | Бизнес-обработка завершилась |
| Consumer delivery | Broker отправил сообщение consumer | Результат записан в базу |
| Consumer manual ack | Приложение объявило обработку завершённой | Внешняя операция была идемпотентной |
| Запись результата | Side effect сохранён | Ack точно дошёл до broker |
Снимаем topology и счётчики чтением
rabbitmqctl list_queues name durable auto_delete \
messages_ready messages_unacknowledged arguments
rabbitmqctl list_bindings source_name destination_name routing_key
rabbitmq-diagnostics -q statusКоманды запускают через утверждённый административный доступ. В отчёте скрывают внутренние hostnames и arguments с чувствительными значениями. Сравните фактические name, vhost, durable, auto_delete и тип queue с декларацией приложения до следующего рестарта.
Durable queue сохраняет контейнер, persistent — сообщение
Флаг durable относится к существованию queue после рестарта. Сообщение публикуется как persistent отдельно; transient data не получает обещания пережить restart. Для надёжного маршрута также нужны durable exchange и стабильные bindings, созданные с совместимыми attributes.
Даже сочетание durable queue и persistent delivery mode требует publisher confirms. RabbitMQ подтверждает persistent publish в durable queue после записи на диск; для quorum queue confirm приходит после принятия quorum replicas. Publish без полученного confirm остаётся неопределённым: его нельзя считать ни гарантированно потерянным, ни гарантированно принятым.
Producer хранит набор неподтверждённых publish
- Включить confirm mode до отправки рабочих сообщений.
- Связать sequence number с устойчивым message ID.
- Обрабатывать ack и nack асинхронно, не полагаясь на порядок.
- При обрыве повторять только неподтверждённые IDs.
- Сделать consumer идемпотентным на случай подтверждённого, но повторённого publish.
Если mandatory publish оказался unroutable, client должен обработать return отдельно. Confirm в таком случае сообщает завершение решения broker, но не означает, что сообщение попало в нужную queue. Проверяйте exchange, routing key и bindings вместе.
Auto-ack переносит риск на consumer
В automatic acknowledgement mode delivery считается успешно обработанной сразу после отправки consumer. Если процесс падает между получением и COMMIT, broker уже не обязан вернуть сообщение. При manual ack приложение подтверждает только после сохранения результата; при закрытии channel неacknowledged delivery автоматически requeue, поэтому обработчик должен выдерживать повтор.
Один node и quorum queue решают разные аварии
Durable classic queue на одном node помогает при обычном restart этого node, но не даёт репликацию данных на случай потери диска. Quorum queue хранит реплики через Raft и подтверждает publish после quorum, однако тоже требует нечётного разумного числа members, доступного большинства и корректных client confirms.
Restart-тест проводят на отдельной queue
- Создать тестовую topology тем же кодом декларации.
- Опубликовать известный набор persistent messages с IDs.
- Дождаться confirms и сохранить подтверждённый список.
- Остановить node штатным способом после подтверждения.
- Запустить broker и проверить queue type, depth и IDs.
- Обработать сообщения с manual ack после COMMIT.
- Повторить неопределённый publish и убедиться, что deduplication сработала.
Что приложить к расследованию
Нужны RabbitMQ version, queue type и attributes, delivery mode, producer confirm log, consumer ack mode, vhost/exchange/routing key, message ID и точные timestamps рестарта. Payload и credentials не нужны; важна цепочка владения каждым ID.