Наличие колонки event_time в WHERE само по себе ничего не ускоряет. ClickHouse пропускает данные по partition key и sparse primary index, который строится по ORDER BY. Если дата не входит в полезный prefix сортировки либо predicate скрыт за несопоставимым преобразованием, EXPLAIN покажет почти все parts и granules.
Первый безопасный шаг — не создавать индекс, а зафиксировать baseline: normalized query hash, read_rows, read_bytes, duration, SHOW CREATE TABLE и EXPLAIN indexes=1. Это отделяет холодный cache и широкий SELECT от настоящего отсутствия pruning. Оптимизация считается успешной по меньшему чтению, а не только по одному быстрому запуску.
EXPLAIN отвечает, что именно отброшено
EXPLAIN indexes = 1
SELECT product_id, sum(amount)
FROM events
WHERE event_time >= toDateTime('2026-10-01 00:00:00')
AND event_time < toDateTime('2026-10-02 00:00:00')
GROUP BY product_id;
SHOW CREATE TABLE events;В выводе сравните selected parts и granules с общим числом. Half-open диапазон от начала дня включительно до следующего дня исключительно избегает двусмысленного 23:59:59 и работает с долями секунды. Тип и timezone literal должны соответствовать модели event_time; не добавляйте случайное toDate(event_time), пока не увидели, как optimizer переписал условие.
Partition и primary index решают разные масштабы
| Механизм | Что пропускает | Типичная ошибка |
|---|---|---|
| PARTITION BY | Целые parts/partitions | Слишком мелкие дневные partitions |
| ORDER BY / primary index | Granules внутри parts | Дата далеко после неселективного prefix |
| Projection | Альтернативное физическое представление | Создали, но query его не выбирает |
| Data skipping index | Granules по дополнительному условию | Нет корреляции, отбрасывать нечего |
PARTITION BY toYYYYMM(event_time) помогает исключить месяцы, но запрос одного дня всё ещё читает подходящие parts месяца. Дальше должен работать ORDER BY, например tenant_id, event_time для запросов одного tenant. Если запросы всегда только по времени для всех tenants, такой порядок может быть неверным — layout выбирают по настоящим access patterns.
Функция вокруг даты может скрыть полезный диапазон
- Сравнить event_time напрямую с typed constants и снова снять EXPLAIN.
- Убрать CAST между несовместимыми Date, DateTime и String из hot predicate.
- Проверить timezone границы на строках около полуночи.
- Не путать event_time с ingestion_time: фильтр должен соответствовать нужной семантике.
- Оставить PREWHERE optimizer, если ручное изменение не подтверждено измерением.
Некоторые функции ClickHouse умеет преобразовывать в условия индекса, другие — нет или делают диапазон шире. Поэтому правило не формулируют как «функции всегда ломают индекс». Авторитетный сигнал — EXPLAIN для вашей версии и фактический read_rows в system.query_log.
Меняем layout только после матрицы запросов
query family filters share latency SLO
Q1 daily tenant tenant_id + event_time 55% interactive
Q2 daily global event_time 30% interactive
Q3 product audit product_id + time 10% batch
Q4 full export none 5% offlineОдин ORDER BY не оптимален для всех семейств. Выберите главный путь, а для второго рассмотрите projection или materialized aggregate. Пересоздание большой таблицы — отдельная миграция с двойной записью или backfill и сверкой counts; ALTER в надежде мгновенно пересортировать старые parts не заменяет план переноса.
Skip index — последняя проверяемая гипотеза
Официальные рекомендации ClickHouse советуют сначала исследовать primary key, projection и materialized view. Minmax или другой skipping index помогает, когда значения внутри granules коррелируют и условие отбрасывает блоки. Если дата случайно распределена по сортировке, index может занимать место и почти ничего не пропускать.
Создайте кандидат на тестовом объёме, материализуйте для нужных parts по документации вашей версии и сравните EXPLAIN granules, read_bytes, insert cost и storage. Удалите эксперимент, если selectivity не улучшилась. Не оставляйте индекс потому, что один warm-cache query стал быстрее.
Приёмка повторяет один и тот же период
- Сохранить результат запроса и baseline из query_log.
- Изменить только predicate или один layout-кандидат.
- Сравнить parts/granules в EXPLAIN и равенство результата.
- Запустить cold и normal-cache измерения несколько раз.
- Проверить соседний день, пустой диапазон и границу timezone.
- Оценить влияние на inserts, merges и другие query families.
Для разбора понадобятся версия ClickHouse, SHOW CREATE TABLE, EXPLAIN indexes=1, query_log с read_rows/read_bytes, распределение запросов и кардинальности ключей. Успех — нужный диапазон читает измеримо меньшую долю granules, результат не изменился на границах дат, а ускорение одного отчёта не ухудшило основной ingestion path.