Число «lag = 3 000 000» без разбивки почти бесполезно. Снимите CURRENT-OFFSET, LOG-END-OFFSET, LAG и владельца для каждой topic-partition дважды с известным интервалом. Если общий lag падает, группа догоняет; если растёт, входящий поток быстрее полезной обработки.

Не используйте reset-offsets как способ сделать график зелёным. Перенос позиции вперёд означает сознательно пропустить данные, а назад — обработать их повторно. Сначала сохраните offsets и выясните, переживёт ли downstream повтор.

Describe сразу отделяет три аварии

bin/kafka-consumer-groups.sh \
  --bootstrap-server kafka-1.example:9092 \
  --describe \
  --group billing-workers

# Повторите команду через фиксированный интервал
# и сравните LAG по каждой partition.

В Apache Kafka 4.3 этот инструмент показывает позицию группы и отставание от конца лога. Адрес, имя группы и доступы в примере условные. Вывод сохраняют без SASL credentials; для consumer protocol административному клиенту могут потребоваться права DESCRIBE на используемые topics.

КартинаВероятное ограничениеСледующая проверка
Одна partition даёт почти весь lagHot key или медленная записьKey distribution и latency одного handler
Все partitions растут одинаковоНедостаточно общей мощностиInput rate против processed rate
CONSUMER-ID часто меняютсяRebalance loopSession, poll duration, deploy events
Offsets стоят, процесс живБлокировка downstream или poison recordThread dump, retry и error log
Lag падает, но возраст растётМетрика количества скрывает старый хвостTimestamp старейшей ожидающей записи

Время догоняния зависит от net drain

Пусть producers добавляют 8 000 записей в секунду, а группа устойчиво обрабатывает 10 000. Очередь сокращается лишь на 2 000 в секунду, поэтому три миллиона записей потребуют примерно 25 минут при неизменной нагрузке. Если разница близка к нулю, добавление разового batch не решает причину.

Считайте отдельно по горячим partitions и используйте фактическую скорость commit, а не количество вызовов handler. Время события тоже важно: миллион telemetry-сообщений за пять минут и миллион заказов за сутки имеют разный пользовательский ущерб.

Больше consumers помогает только до числа partitions

В группе одна partition назначается одному consumer одновременно. Когда активных consumers уже не меньше числа partitions, новые экземпляры не увеличат параллельную обработку этой группы. А горячая partition останется горячей даже рядом с простаивающими workers.

  • Проверить равномерность ключей и входящих bytes по partition.
  • Измерить время бизнес-обработки без ожидания poll.
  • Сравнить число активных members и назначенных partitions.
  • Исключить частые рестарты и длинные stop-the-world паузы.
  • Проверить limits CPU, memory, network и connection pool downstream.

Poll и commit могут скрывать узкое место

Consumer получает batch быстро, но затем может ждать базу, внешний API или retry одного сообщения. Следите за records-lag-max, records-consumed-rate, poll idle и latency собственного handler. Kafka публикует records-lag-max на стороне consumer, а не broker, поэтому отсутствие метрики у умершего процесса не означает нулевой lag.

Увеличение max.poll.interval.ms прекращает некоторые rebalances, но может лишь дольше скрывать зависший handler. Сначала измерьте максимальное время обработки batch и настройте размер fetch/poll так, чтобы consumer успевал вызвать poll в своей модели работы.

Восстановление не должно перегрузить следующую систему

  1. Ограничить необязательные producers или выделить приоритетный topic, если это допускает продукт.
  2. Устранить poison record либо поместить его в согласованный quarantine flow.
  3. Поднять throughput малым шагом и наблюдать ошибки downstream.
  4. Подтвердить отрицательный slope lag на нескольких интервалах.
  5. Проверить дубли при restart и commit после обработки.
  6. Оставить alert по возрасту и ETA, а не только по абсолютному lag.

Минимальный пакет диагностики

Соберите версию Kafka и клиента, topic/group, два вывода describe, число partitions и members, input/processed rate, частоту rebalance, commit mode и p95/p99 времени handler. Payload сообщений, пароли и полные customer identifiers для поиска узкого места не нужны.

Проверенные источники