Когда RabbitMQ видит мало свободного места, блокировка publishers — защитное поведение, а не зависший broker. В кластере disk alarm одного node блокирует входящие сообщения на всех nodes. Поэтому перезапуск клиента или переключение load balancer обычно ничего не исправляет.

Сначала приостановите необязательных producers и проверьте alarms на каждом member. Не уменьшайте disk_free_limit до нескольких мегабайт и не удаляйте файлы database вручную: брокеру нужен резерв для paging и записи queue data.

Blocked connection отличается от сетевого обрыва

ПризнакЧто вероятнееЧто проверить
connection.blocked с reasonResource alarmDisk и memory alarms
Publish call ждёт, consumer читаетPublisher flow заблокированClient blocked handler и confirms
Все nodes перестали приниматьCluster-wide alarmКаждый cluster member
TCP connection закрытаСеть, TLS или broker crashLogs и connection state
Только одна queue растётМедленный consumerMessages ready/unacked и rates

Поддерживающие расширение AMQP 0-9-1 clients получают connection.blocked и затем connection.unblocked. Client должен логировать событие без credentials и ограничивать собственную очередь ожидания, иначе после восстановления он обрушит накопленный burst на broker.

Проверяем раздел, который использует broker

rabbitmq-diagnostics -q alarms
rabbitmq-diagnostics -q status
rabbitmq-diagnostics -q check_running

# Затем проверьте filesystem каталога данных RabbitMQ
df -hT /var/lib/rabbitmq

Путь зависит от установки и должен быть подтверждён конфигурацией node. status и environment могут содержать внутренние имена и пути; в отчёт передают только нужные поля. Проверка выполняется на всех members, а не только на node, к которому подключён producer.

Место освобождаем за пределами queue data

Самый безопасный быстрый путь — расширить volume или удалить подтверждённо ненужные посторонние файлы: старые system logs, временные artifacts, core dumps. Очереди, message store и quorum data не трогают файловыми командами. Удаление queue через API — отдельное бизнес-решение с владельцем данных.

  • Остановить источник runaway публикаций, если это допускает процесс.
  • Проверить growth rate и ETA до полного диска.
  • Освободить место штатной rotation либо увеличить volume.
  • Дождаться очистки alarm на каждом node.
  • Возвращать publishers постепенно, наблюдая confirms и queue rates.

Watermark выбирают по скорости заполнения

RabbitMQ 4.3 документирует абсолютный disk_free_limit как более понятный вариант. Значение должно оставлять время на реакцию и запас для paging; 50 MB по умолчанию может быть слишком мало для production-нагрузки. Официальная документация предлагает консервативный ориентир, связанный с объёмом памяти, но конкретный резерв считают по peak write rate и времени восстановления.

# rabbitmq.conf — пример, не универсальный размер
disk_free_limit.absolute = 4GB

# Временное изменение живёт до restart;
# постоянное значение храните в управляемой конфигурации.

Не ставьте threshold выше фактически доступного места: node сразу останется в alarm. После изменения сверяйте reported disk_free_limit и свободное место. Понижение watermark не создаёт место и не устраняет рост очереди.

Причина часто находится в одной queue

Сопоставьте publish и deliver rates, messages_ready, messages_unacknowledged и consumers. Если вход стабильно выше выхода, после снятия alarm диск снова заполнится. Нужны capacity consumers, ограничение publisher или retention/TTL, согласованный с потерей сообщений, а не циклический ручной cleanup.

Приёмка после unblocked

  1. Убедиться, что alarms пусты на всех nodes.
  2. Опубликовать одно тестовое сообщение с publisher confirm.
  3. Получить его тестовым consumer без дубля.
  4. Проверить восстановление blocked connection клиента.
  5. Наблюдать free bytes и queue depth несколько интервалов.
  6. Вернуть штатный поток ступенчато и подтвердить отрицательный disk slope.

Что сохранить для расследования

Нужны версия RabbitMQ, topology cluster, время alarm, свободные bytes и disk_free_limit каждого node, queue rates, причина blocked notification и временная шкала восстановления. Сообщения из очереди и credentials management API в диагностический пакет не входят.

Проверенные источники