Во время merge ClickHouse читает исходные parts и пишет новый part; старые данные исчезают не в момент начала операции. Поэтому свободного места должно хватить на промежуточную запись, а показатель файловой системы может падать быстрее размера таблицы. Первый шаг — прекратить необязательные массовые inserts и mutations, затем посмотреть system.disks и system.merges. Не удаляйте каталоги parts вручную.
Особенно важен unreserved_space: документация определяет его как free_space за вычетом reservations текущих merges, inserts и других disk writes. Если free_space ещё выглядит приемлемо, а unreserved_space близок к нулю, ClickHouse уже обещал это место активным операциям. Новый OPTIMIZE способен только увеличить конкуренцию за диск.
Три снимка показывают направление, один — только момент
SELECT name, path,
formatReadableSize(free_space) AS free,
formatReadableSize(unreserved_space) AS unreserved,
round(100 * free_space / total_space, 1) AS free_pct
FROM system.disks;
SELECT database, table, elapsed, progress, num_parts,
formatReadableSize(total_size_bytes_compressed) AS source_size,
formatReadableSize(memory_usage) AS memory
FROM system.merges
ORDER BY total_size_bytes_compressed DESC;Снимите запросы три раза с одинаковым интервалом и сохраните timestamp. Растущий progress при стабильном числе merges похож на тяжёлую, но живую работу. Новые большие merges при падающем unreserved_space указывают на перегрузку write path. Нулевой список system.merges не исключает накопленные parts, завершившиеся mutations или место, занятое другими таблицами.
Parts объясняют, почему scheduler не догоняет ingestion
| Признак | Вероятная причина | Проверка |
|---|---|---|
| Много маленьких active parts | Частые мелкие INSERT | system.parts по partition и времени |
| Parts размазаны по множеству partitions | Слишком granular PARTITION BY или batch касается многих дат | Число partitions на insert |
| Крупные merge и mutation одновременно | ALTER UPDATE/DELETE конкурирует с ingestion | is_mutation в system.merges |
| free сильно больше unreserved | Место уже зарезервировано writes | system.disks на каждой replica |
| Диск растёт только на одной replica | Локальный backlog или отдельный volume | clusterAllReplicas и replication queue |
Запрос к system.parts группируйте по database, table и partition, считая только active=1 для текущего набора данных. Сумма inactive parts нужна отдельно для понимания cleanup lag, но не должна смешиваться с active count. В кластере локальная system table показывает только текущую replica; сравнивайте replicas явно.
OPTIMIZE FINAL на заполненном диске — плохой аварийный рычаг
ClickHouse описывает OPTIMIZE TABLE ... FINAL как принудительную операцию, которая обходит обычные ограничения автоматического выбора размера merge и может потребовать значительные CPU, I/O и disk resources. Она не исправляет источник мелких parts. После возобновления того же ingestion ошибка вернётся, а получившийся огромный part способен осложнить будущие автоматические merges.
Обычный OPTIMIZE для закрытой небольшой partition допустим после оценки размера и резерва, но это плановая операция, не рефлекс на alarm. Перед ней подтвердите, что partition больше не получает записи, на каждой replica достаточно места, а replication queue не создаст второй неожиданный пик network и disk.
Containment начинает с уменьшения part creation
- Остановить повторяющуюся maintenance job и необязательные backfill, сохранив обычные критичные записи при наличии запаса.
- Увеличить client batch и сократить частоту INSERT либо включить async inserts с подтверждением после flush.
- Ограничить одновременные mutations и не ставить новые до восстановления резерва.
- Проверить, не создаёт ли одна batch по part на десятки partitions.
- При необходимости добавить capacity штатным способом storage policy или инфраструктуры, а не переносом файлов вручную.
- После стабилизации сравнить скорость создания parts и скорость их объединения.
Официальные материалы ClickHouse рекомендуют крупные batches вместо множества мелких inserts; точный размер выбирают измерением payload, latency и памяти конкретной версии. Не копируйте чужой порог active parts как универсальный limit: настройки и workload различаются. Alert лучше строить на тренде parts, delayed/rejected inserts и прогнозе времени до исчерпания unreserved space.
Проверка восстановления включает отказоустойчивость
time | free | unreserved | active_parts | merge_source_bytes | insert_rate
T0 | ... | ... | ... | ... | ...
T1 | ... | ... | ... | ... | ...
T2 | ... | ... | ... | ... | ...Успешное восстановление — unreserved_space перестал падать, active parts в горячих partitions сокращаются, inserts не задерживаются, а replicas сходятся без роста queue. Для разбора подготовьте версию ClickHouse, CREATE TABLE, storage policy, три снимка system.disks/system.merges/system.parts, профиль вставок и список недавних mutations. По этим данным можно оценить безопасный запас и устранить источник write amplification.