Частый rebalance не всегда означает плохую сеть. Kafka consumer должен оставаться живым для group coordinator и регулярно возвращаться к poll. Если обработка batch занимает дольше max.poll.interval.ms, coordinator считает приложение неспособным продолжать, меняет assignment, а поздний commit может завершиться CommitFailedException.
Не увеличивайте все timeouts в десять раз до расследования. Это может лишь дольше удерживать partitions за зависшим процессом. Сначала определите инициатора каждого rebalance: превышение poll interval, истечение session, deploy/масштабирование, изменение подписки, coordinator event или нестабильный instance ID.
Timeline отделяет poll timeout от heartbeat failure
| Сигнал | Что означает | Что измерить |
|---|---|---|
| CommitFailedException после долгой task | Member уже потерял generation | Время между poll |
| Session timeout без долгой обработки | Heartbeats не дошли | GC pause, CPU, network |
| Rebalance совпадает с deploy | Меняется membership | Start/stop каждого instance |
| Partitions двигаются при autoscaling | Группа регулярно меняет размер | Replica events и assignor |
| Один record зависает | Batch не укладывается в interval | Latency по record и batch |
Собираем доказательства вокруг одного поколения
kafka-consumer-groups.sh --bootstrap-server broker.example:9092 \
--describe --group billing-workers
# В application log на один rebalance:
instance_id, member_id, generation, assigned_partitions
poll_started_at, poll_returned_at, batch_size
processing_finished_at, commit_finished_atИмена условные; credentials передают штатным client config, а не вставляют в команду или отчёт. Describe показывает текущие offsets и lag, но историю причины хранит application/coordinator log. Свяжите события по instance ID и времени: один снимок группы после сбоя не доказывает, почему assignment изменился.
У consumer есть два разных дедлайна
session.timeout.ms относится к обнаружению недоступного member через heartbeats в classic group protocol. max.poll.interval.ms ограничивает паузу между вызовами poll на уровне приложения. Поэтому живой heartbeat thread не спасает consumer, который слишком долго не возвращается в poll; и быстрый handler не спасает процесс, полностью остановленный длинной GC pause или сетевым разрывом.
В новых конфигурациях group protocol часть heartbeat параметров задаёт broker, поэтому сверяйте документацию именно версии клиента и выбранный group.protocol. В отчёте фиксируйте effective config, а не только значения из application.yml: framework может подставлять defaults или переопределять их environment variables.
Первое исправление — ограничить объём работы между poll
- Уменьшить max.poll.records так, чтобы худший batch завершался с запасом.
- Убрать синхронные внешние вызовы без timeout из poll thread.
- Применять pause/resume для assigned partitions, если framework поддерживает такую модель.
- Передавать records worker pool только с ограниченной очередью и backpressure.
- Коммитить offset лишь после фактического durable результата, соблюдая порядок внутри partition.
- Не допускать commit от старого generation после revoke.
Если обработку выносят в workers, poll loop становится быстрым, но появляется новая ответственность: ограничить число in-flight records, дождаться завершения перед commit и не подтвердить более высокий offset, пока предыдущий record той же partition не завершён. Иначе rebalances станут реже, а пропуски и повторная обработка — опаснее.
Static membership и cooperative assignor решают не всё
Уникальный group.instance.id делает consumer static member и уменьшает движение partitions при коротких рестартах, если ID стабилен и не используется двумя replicas. CooperativeStickyAssignor передаёт partitions постепенно и снижает stop-the-world эффект. Эти настройки помогают при churn membership, но не лечат зависший handler и не отменяют revoke callbacks.
Миграцию assignor проводят совместимо для всей группы и по инструкции версии клиента. Смешанная конфигурация может выбрать неожиданный общий protocol. Перед rollout проверьте, какие assignors рекламируют все members, и подготовьте откат конфигурации без изменения group.id.
При revoke сначала прекращаем приём новой работы
- Остановить выдачу новых records worker pool для отзываемых partitions.
- Дождаться ограниченное время уже начатой обработки.
- Сохранить результат идемпотентно или позволить безопасный replay.
- Коммитить только непрерывный подтверждённый offset диапазон.
- Очистить partition-local buffers и state.
- После нового assignment загрузить позицию и возобновить поток.
Проверка под реальной худшей задержкой
Тест должен включать медленный dependency, deploy одной replica и краткую GC/CPU паузу. Успех — группа не входит в бесконечный цикл, lag после события сокращается, один record не выполняется параллельно двумя владельцами без идемпотентной защиты, а offsets не перепрыгивают необработанные данные. Для ревью принесите версии broker/client, effective consumer config, assignor, число partitions/replicas и обезличенную временную шкалу одного rebalance.