Если очередь «встала», сначала разделите сообщения ready и unacknowledged. Ready ещё ждут у broker; unacknowledged уже отправлены consumer и удерживаются им до ack. При большом prefetch один worker способен заранее забрать тяжёлое сообщение и пачку коротких, поэтому добавление consumer не освобождает уже выданную пачку.

RabbitMQ не знает стоимость задачи заранее. Он видит delivery и acknowledgement. Значит, справедливость строится сочетанием небольшого prefetch, manual ack и отдельного маршрута для предсказуемо тяжёлых jobs, а не бесконечным числом workers.

Состояние broker показывает, где возникла очередь

Метрика или признакИнтерпретацияДействие
ready растёт, unacked малНе хватает свободных consumersПроверить capacity и масштабирование
unacked велик у одного consumerСлишком высокий prefetch или зависаниеОграничить окно и найти oldest processing
Один job длится минуты, остальные секундыСмешаны классы стоимостиРазвести fast и slow routing
После restart задача возвращаетсяManual ack работает, job не завершёнСделать side effect идемпотентным
ready=0, пользователи ждутJobs уже буферизованы в clientСмотреть локальную очередь consumer

Prefetch ограничивает незавершённые deliveries

# Псевдокод AMQP consumer
channel.basic_qos(prefetch_count=1)
channel.basic_consume(queue="jobs.slow", auto_ack=false)

result = process(message, deadline=JOB_TIMEOUT)
persist(result)
channel.basic_ack(delivery_tag)

Это схема порядка действий, а не копируемый фрагмент для конкретной библиотеки. RabbitMQ определяет prefetch как максимум unacknowledged deliveries. Значение 1 даёт консервативную fair dispatch для неодинаковых задач, но может снизить throughput на быстрых работах с сетевой задержкой. Подбирайте окно нагрузочным тестом.

Ack ставится после durable результата. Если подтвердить до side effect, падение worker потеряет задачу. Если side effect выполнен, а ack не дошёл, broker передаст сообщение повторно; поэтому operation ID и идемпотентность обязательны независимо от prefetch.

Slow lane отделяет стоимость, а не важность

Если тяжёлую задачу можно распознать по типу, размеру или оценённой сложности до публикации, отправляйте её в отдельную queue с собственными concurrency, timeout и ресурсами. Fast queue перестаёт ждать, а slow worker можно масштабировать по CPU, памяти и внешним квотам.

  • Определить route по стабильному признаку сообщения, а не по времени после старта.
  • Ограничить максимальный payload и разбивать большие операции на checkpoints.
  • Не использовать priority как замену изоляции: уже выданные low-priority сообщения остаются in flight.
  • Настроить retry с задержкой и пределом попыток, исключив мгновенный requeue loop.
  • Перемещать poison message в quarantine/DLQ с причиной без пользовательского payload.

Timeout должен завершать попытку, а не скрывать зависание

Delivery acknowledgement timeout broker и deadline бизнес-операции решают разные задачи. Worker обязан отменять зависший HTTP/SQL вызов, фиксировать unknown result и выполнять reconciliation перед повтором. Убийство channel вернёт unacked delivery в очередь, но не отменит уже совершённый внешний платёж или отправку.

Измеряйте processing duration по типу job и oldest in-progress age. Consumer capacity RabbitMQ подсказывает, может ли очередь немедленно отдавать сообщения, но документация называет её лишь ориентиром. Для решения нужны метрики самого приложения: активные этапы, retries и время ожидания зависимости.

Проверка воспроизводит тяжёлую работу рядом с короткой

  1. Опубликовать одну контролируемую slow job и серию коротких сообщений.
  2. Зафиксировать порядок delivery, unacked по consumer и время завершения short jobs.
  3. Повторить с выбранным prefetch и отдельной slow queue.
  4. Остановить slow worker до ack и подтвердить единственный безопасный redelivery.
  5. Проверить DLQ/retry limit и отсутствие бесконечного цикла.

Для настройки подготовьте распределение длительности по типам, текущий prefetch, ack mode, retry policy и снимок ready/unacked. Содержимое сообщений и credentials не нужны. Эти данные показывают, достаточно ли fair dispatch или очередь действительно требует отдельного класса исполнения.

Проверенные источники