Одна FIFO-очередь не умеет сама обеспечить справедливость между клиентами. Если tenant A публикует сто тысяч задач раньше tenant B, сообщения B окажутся позади, даже когда оба клиента одинаково важны. Сначала определите границу: нужно разделить права доступа, задержку обработки или физические ресурсы. Эти задачи решаются разными механизмами.
Virtual host в RabbitMQ даёт логическое пространство exchanges, queues, bindings и permissions. Он полезен для разных security domains и environments, но документация прямо предупреждает: физическая изоляция не является его целью. Два vhosts всё равно используют CPU, память, диск и сеть одних nodes, пока вы не ввели limits или отдельные clusters.
Выбираем границу по требуемой гарантии
| Модель | Что изолирует | Цена и ограничение |
|---|---|---|
| Одна queue с tenant_id | Ничего по задержке | Просто, но шумный сосед блокирует хвост |
| Queue на класс SLA | Критичные и фоновые задачи | Нужен scheduler workers между классами |
| Queue на tenant | Backlog и concurrency каждого клиента | Много queues и сложнее autoscaling |
| Фиксированные tenant shards | Частичная изоляция при ограниченном числе queues | Два шумных tenants могут попасть в один shard |
| Vhost на tenant/environment | Имена, credentials, permissions, часть limits | Не является физической изоляцией |
| Отдельный cluster | Failure domain и ресурсы | Самая высокая эксплуатационная стоимость |
Для десятков стабильных крупных клиентов queue на tenant может быть прозрачной. Для сотен тысяч мелких клиентов обычно выбирают фиксированное число shards по hash tenant ID и отдельную полосу для клиентов с договорным SLA. Решение принимают по числу queues, churn, допустимой задержке, стоимости idle consumers и blast radius.
Routing key не заменяет контроль издателя
exchange: tasks.direct
routing keys:
sla.realtime.tenant-42 -> tasks.realtime.tenant-42
sla.standard.shard-07 -> tasks.standard.07
message headers:
tenant_id: opaque-internal-id
task_type: invoice-rebuild
idempotency_key: task-unique-idTopology условна. Не принимайте имя queue или routing key напрямую от недоверенного клиента: сервер должен проверить tenant, SLA и разрешённый task type, затем сам выбрать маршрут. Иначе клиент сможет попасть в realtime lane. Tenant ID в логах и метриках должен быть внутренним и не содержать email, токен или название с персональными данными.
Ограничьте publish rate и число outstanding tasks до broker. Queue length policy защищает broker от бесконечного роста, но выбранное overflow behavior меняет семантику: drop или reject нельзя включать без договорённости о повторе, publisher confirms и наблюдаемой ошибке клиента.
Prefetch удерживает справедливость у workers
Даже после разделения queues один consumer может заранее забрать большой пакет задач и держать их unacknowledged. RabbitMQ 4.3 применяет prefetch отдельно к каждому consumer. Значение zero означает отсутствие лимита, поэтому для долгих задач оно опасно: один process способен накопить работу нескольких клиентов локально.
- Назначить конечный prefetch по длительности задачи и памяти worker.
- Ограничить concurrency отдельно для realtime, standard и bulk lanes.
- Использовать manual acknowledgements после фактического завершения side effect.
- Добавить timeout и dead-letter policy для зависших или poison tasks.
- Не requeue бесконечно одну ошибку в голову активной очереди.
- Измерять ready и unacknowledged отдельно, иначе backlog будет выглядеть меньше.
Метрика клиента должна пережить смену topology
Очереди показывают broker backlog, но продуктовый SLA относится к tenant. Записывайте accepted_at, started_at и finished_at в защищённом event log, а в metrics — ограниченный label или bucket, который не создаёт бесконечную cardinality. Для большого числа клиентов подробный разбор делают в логах или аналитическом хранилище, а Prometheus хранит агрегаты по плану и shard.
| Метрика | Что обнаруживает | Ложная интерпретация |
|---|---|---|
| Oldest ready age | Голодание lane или shard | Средняя latency может скрыть хвост |
| Ready count | Накопление до выдачи | Не включает prefetched work |
| Unacknowledged | Захваченные consumer задачи | Рост не всегда означает broker lag |
| Publish versus ack rate | Успевает ли система | Короткий пик не равен устойчивой перегрузке |
| Reject или throttle rate | Сработал входной лимит | Ноль без нагрузки ничего не доказывает |
Тест шумного соседа проводится парами
- Создать synthetic tenants A и B без production payload.
- Дать A поток выше обычного, а B — редкие контрольные задачи.
- Измерить p95 wait и oldest age отдельно для A и B.
- Повторить тест при медленном consumer и временном отказе зависимости.
- Убедиться, что retry A не заполняет lane B.
- Остановить один worker pool и проверить bounded backlog.
- Вернуть прежний routing одной конфигурационной revision, если SLA B ухудшился.
Успех — B остаётся в согласованной задержке, рост A виден и ограничен, а права одного tenant не открывают exchanges и queues другого. Для проектирования нужны RabbitMQ version, queue types, число tenants, распределение длительности задач, publish/ack rates, prefetch, retry policy и допустимые SLA; секреты подключения в материалы не входят.