Частый rebalance не всегда означает плохую сеть. Kafka consumer должен оставаться живым для group coordinator и регулярно возвращаться к poll. Если обработка batch занимает дольше max.poll.interval.ms, coordinator считает приложение неспособным продолжать, меняет assignment, а поздний commit может завершиться CommitFailedException.

Не увеличивайте все timeouts в десять раз до расследования. Это может лишь дольше удерживать partitions за зависшим процессом. Сначала определите инициатора каждого rebalance: превышение poll interval, истечение session, deploy/масштабирование, изменение подписки, coordinator event или нестабильный instance ID.

Timeline отделяет poll timeout от heartbeat failure

СигналЧто означаетЧто измерить
CommitFailedException после долгой taskMember уже потерял generationВремя между poll
Session timeout без долгой обработкиHeartbeats не дошлиGC pause, CPU, network
Rebalance совпадает с deployМеняется membershipStart/stop каждого instance
Partitions двигаются при autoscalingГруппа регулярно меняет размерReplica events и assignor
Один record зависаетBatch не укладывается в intervalLatency по record и batch

Собираем доказательства вокруг одного поколения

kafka-consumer-groups.sh --bootstrap-server broker.example:9092 \
  --describe --group billing-workers

# В application log на один rebalance:
instance_id, member_id, generation, assigned_partitions
poll_started_at, poll_returned_at, batch_size
processing_finished_at, commit_finished_at

Имена условные; credentials передают штатным client config, а не вставляют в команду или отчёт. Describe показывает текущие offsets и lag, но историю причины хранит application/coordinator log. Свяжите события по instance ID и времени: один снимок группы после сбоя не доказывает, почему assignment изменился.

У consumer есть два разных дедлайна

session.timeout.ms относится к обнаружению недоступного member через heartbeats в classic group protocol. max.poll.interval.ms ограничивает паузу между вызовами poll на уровне приложения. Поэтому живой heartbeat thread не спасает consumer, который слишком долго не возвращается в poll; и быстрый handler не спасает процесс, полностью остановленный длинной GC pause или сетевым разрывом.

В новых конфигурациях group protocol часть heartbeat параметров задаёт broker, поэтому сверяйте документацию именно версии клиента и выбранный group.protocol. В отчёте фиксируйте effective config, а не только значения из application.yml: framework может подставлять defaults или переопределять их environment variables.

Первое исправление — ограничить объём работы между poll

  • Уменьшить max.poll.records так, чтобы худший batch завершался с запасом.
  • Убрать синхронные внешние вызовы без timeout из poll thread.
  • Применять pause/resume для assigned partitions, если framework поддерживает такую модель.
  • Передавать records worker pool только с ограниченной очередью и backpressure.
  • Коммитить offset лишь после фактического durable результата, соблюдая порядок внутри partition.
  • Не допускать commit от старого generation после revoke.

Если обработку выносят в workers, poll loop становится быстрым, но появляется новая ответственность: ограничить число in-flight records, дождаться завершения перед commit и не подтвердить более высокий offset, пока предыдущий record той же partition не завершён. Иначе rebalances станут реже, а пропуски и повторная обработка — опаснее.

Static membership и cooperative assignor решают не всё

Уникальный group.instance.id делает consumer static member и уменьшает движение partitions при коротких рестартах, если ID стабилен и не используется двумя replicas. CooperativeStickyAssignor передаёт partitions постепенно и снижает stop-the-world эффект. Эти настройки помогают при churn membership, но не лечат зависший handler и не отменяют revoke callbacks.

Миграцию assignor проводят совместимо для всей группы и по инструкции версии клиента. Смешанная конфигурация может выбрать неожиданный общий protocol. Перед rollout проверьте, какие assignors рекламируют все members, и подготовьте откат конфигурации без изменения group.id.

При revoke сначала прекращаем приём новой работы

  1. Остановить выдачу новых records worker pool для отзываемых partitions.
  2. Дождаться ограниченное время уже начатой обработки.
  3. Сохранить результат идемпотентно или позволить безопасный replay.
  4. Коммитить только непрерывный подтверждённый offset диапазон.
  5. Очистить partition-local buffers и state.
  6. После нового assignment загрузить позицию и возобновить поток.

Проверка под реальной худшей задержкой

Тест должен включать медленный dependency, deploy одной replica и краткую GC/CPU паузу. Успех — группа не входит в бесконечный цикл, lag после события сокращается, один record не выполняется параллельно двумя владельцами без идемпотентной защиты, а offsets не перепрыгивают необработанные данные. Для ревью принесите версии broker/client, effective consumer config, assignor, число partitions/replicas и обезличенную временную шкалу одного rebalance.

Проверенные источники