Во время merge ClickHouse читает исходные parts и пишет новый part; старые данные исчезают не в момент начала операции. Поэтому свободного места должно хватить на промежуточную запись, а показатель файловой системы может падать быстрее размера таблицы. Первый шаг — прекратить необязательные массовые inserts и mutations, затем посмотреть system.disks и system.merges. Не удаляйте каталоги parts вручную.

Особенно важен unreserved_space: документация определяет его как free_space за вычетом reservations текущих merges, inserts и других disk writes. Если free_space ещё выглядит приемлемо, а unreserved_space близок к нулю, ClickHouse уже обещал это место активным операциям. Новый OPTIMIZE способен только увеличить конкуренцию за диск.

Три снимка показывают направление, один — только момент

SELECT name, path,
       formatReadableSize(free_space) AS free,
       formatReadableSize(unreserved_space) AS unreserved,
       round(100 * free_space / total_space, 1) AS free_pct
FROM system.disks;

SELECT database, table, elapsed, progress, num_parts,
       formatReadableSize(total_size_bytes_compressed) AS source_size,
       formatReadableSize(memory_usage) AS memory
FROM system.merges
ORDER BY total_size_bytes_compressed DESC;

Снимите запросы три раза с одинаковым интервалом и сохраните timestamp. Растущий progress при стабильном числе merges похож на тяжёлую, но живую работу. Новые большие merges при падающем unreserved_space указывают на перегрузку write path. Нулевой список system.merges не исключает накопленные parts, завершившиеся mutations или место, занятое другими таблицами.

Parts объясняют, почему scheduler не догоняет ingestion

ПризнакВероятная причинаПроверка
Много маленьких active partsЧастые мелкие INSERTsystem.parts по partition и времени
Parts размазаны по множеству partitionsСлишком granular PARTITION BY или batch касается многих датЧисло partitions на insert
Крупные merge и mutation одновременноALTER UPDATE/DELETE конкурирует с ingestionis_mutation в system.merges
free сильно больше unreservedМесто уже зарезервировано writessystem.disks на каждой replica
Диск растёт только на одной replicaЛокальный backlog или отдельный volumeclusterAllReplicas и replication queue

Запрос к system.parts группируйте по database, table и partition, считая только active=1 для текущего набора данных. Сумма inactive parts нужна отдельно для понимания cleanup lag, но не должна смешиваться с active count. В кластере локальная system table показывает только текущую replica; сравнивайте replicas явно.

OPTIMIZE FINAL на заполненном диске — плохой аварийный рычаг

ClickHouse описывает OPTIMIZE TABLE ... FINAL как принудительную операцию, которая обходит обычные ограничения автоматического выбора размера merge и может потребовать значительные CPU, I/O и disk resources. Она не исправляет источник мелких parts. После возобновления того же ingestion ошибка вернётся, а получившийся огромный part способен осложнить будущие автоматические merges.

Обычный OPTIMIZE для закрытой небольшой partition допустим после оценки размера и резерва, но это плановая операция, не рефлекс на alarm. Перед ней подтвердите, что partition больше не получает записи, на каждой replica достаточно места, а replication queue не создаст второй неожиданный пик network и disk.

Containment начинает с уменьшения part creation

  1. Остановить повторяющуюся maintenance job и необязательные backfill, сохранив обычные критичные записи при наличии запаса.
  2. Увеличить client batch и сократить частоту INSERT либо включить async inserts с подтверждением после flush.
  3. Ограничить одновременные mutations и не ставить новые до восстановления резерва.
  4. Проверить, не создаёт ли одна batch по part на десятки partitions.
  5. При необходимости добавить capacity штатным способом storage policy или инфраструктуры, а не переносом файлов вручную.
  6. После стабилизации сравнить скорость создания parts и скорость их объединения.

Официальные материалы ClickHouse рекомендуют крупные batches вместо множества мелких inserts; точный размер выбирают измерением payload, latency и памяти конкретной версии. Не копируйте чужой порог active parts как универсальный limit: настройки и workload различаются. Alert лучше строить на тренде parts, delayed/rejected inserts и прогнозе времени до исчерпания unreserved space.

Проверка восстановления включает отказоустойчивость

time | free | unreserved | active_parts | merge_source_bytes | insert_rate
T0   | ...  | ...        | ...          | ...                | ...
T1   | ...  | ...        | ...          | ...                | ...
T2   | ...  | ...        | ...          | ...                | ...

Успешное восстановление — unreserved_space перестал падать, active parts в горячих partitions сокращаются, inserts не задерживаются, а replicas сходятся без роста queue. Для разбора подготовьте версию ClickHouse, CREATE TABLE, storage policy, три снимка system.disks/system.merges/system.parts, профиль вставок и список недавних mutations. По этим данным можно оценить безопасный запас и устранить источник write amplification.

Проверенные источники