Фраза «миллионы строк переносятся медленно» не указывает на причину. Один процесс ждёт сеть, второй пересчитывает JSON, третий блокируется на индексе, а четвёртый быстро пишет, но долго фиксирует транзакцию. Начните не с увеличения параллелизма, а с одной контрольной трассы: сколько строк вошло в каждый этап и сколько дошло до подтверждённого commit.
Главная единица прогресса — строка, которую можно безопасно считать перенесённой после сбоя. Счётчик «прочитано» создаёт ложный оптимизм: очередь между чтением и записью может расти, а ETA будет улучшаться на экране, хотя база назначения отстаёт.
Пятиминутный срез отделяет узкое место от общего ощущения
| Метрика | Что она отвечает | Тревожный признак |
|---|---|---|
| rows_read/s | Успевает ли источник отдавать данные | Падает при стабильной записи |
| rows_transformed/s | Сколько стоит преобразование | CPU занят, очередь raw растёт |
| rows_committed/s | Реальная скорость завершения | Ниже остальных этапов |
| commit p95 | Дорога ли фиксация batch | Растёт вместе с числом workers |
| bytes written/s | Меняется ли размер строки | Строк столько же, байтов заметно больше |
| retry/error age | Есть ли зацикленный хвост | Одна ошибка стареет, прогресс формально идёт |
Снимайте эти значения на одинаковом интервале и помечайте размер batch, число workers и версию преобразования. Тогда два запуска можно сравнить. Средняя скорость за весь день скрывает паузы, autovacuum, checkpoint и всплески пользовательской нагрузки; короткий ряд показывает, когда именно система перестала быть устойчивой.
ETA считается по подтверждённому хвосту
total_rows = 48_000_000
committed_rows = 12_600_000
stable_rate = 8_400 # медиана committed rows/s за устойчивое окно
remaining = total_rows - committed_rows
eta_seconds = remaining / stable_rate
print(round(eta_seconds / 3600, 1), 'hours')
# В журнал checkpoint попадает только после успешного commit:
# {partition, last_source_key, committed_rows, batch_hash, finished_at}Для оценки берите медиану нескольких устойчивых интервалов, а рядом показывайте диапазон, если скорость плавает. Не обещайте время окончания по пиковому значению. Если общее число строк неизвестно или источник меняется, честнее давать скорость и lag относительно зафиксированного watermark, а не выдумывать процент завершения.
Batch подбирается экспериментом, а не максимальным размером
- Зафиксировать контрольный диапазон и текущие метрики базы назначения.
- Прогнать небольшой batch и получить базовую скорость, память и commit p95.
- Увеличить batch вдвое, не меняя число workers и SQL.
- Остановиться, когда throughput почти не растёт, а latency, WAL, память или блокировки растут заметно.
- Повторить тест в период обычной пользовательской нагрузки.
- Записать безопасный лимит и автоматическое уменьшение batch при ошибках или задержке.
Большая транзакция уменьшает число commit, но дороже откатывается, дольше удерживает ресурсы и усложняет повтор. Слишком маленький batch платит за сетевой обмен и фиксацию почти на каждой строке. Нужен не самый быстрый короткий тест, а размер, который выдерживает часы работы без роста очереди и без нарушения SLO основной системы.
COPY убирает лишние round trips, но не отменяет проектирование
Документация PostgreSQL рекомендует COPY для загрузки больших объёмов; если он не подходит, помогают prepared statements и несколько строк в одном INSERT. Это не означает, что надо без разбора отключать защиту. Уникальные ограничения, внешние ключи, триггеры и вторичные индексы влияют на цену записи, но решение об их временном изменении принимают только вместе с проверкой целостности и планом восстановления.
COPY stage_orders (source_id, created_at, amount_cents, payload)
FROM STDIN WITH (FORMAT csv, HEADER true);
-- После загрузки staging и проверок:
INSERT INTO orders (source_id, created_at, amount_cents, payload)
SELECT source_id, created_at, amount_cents, payload
FROM stage_orders
ON CONFLICT (source_id) DO UPDATE
SET payload = EXCLUDED.payload;Staging-таблица полезна, когда нужно проверить типы, дубли и суммы до затрагивания рабочей модели. Для прямого COPY в рабочую таблицу заранее проверьте обработку повторного запуска. В актуальном PostgreSQL ход COPY можно наблюдать через pg_stat_progress_copy; этого достаточно, чтобы отличить зависание от медленного, но живого процесса.
Параллелизм ограничивает самая узкая общая часть
- Делите диапазоны по стабильному ключу, чтобы два worker не писали одну строку.
- Ограничивайте общую скорость, а не только скорость каждого процесса.
- Следите за IOPS, WAL, replication lag, connection pool и lock waits.
- Не запускайте новый worker, если очередь на запись уже растёт.
- Сохраняйте checkpoint и хеш batch для безопасного повтора.
- Разводите тяжёлую миграцию и регулярные backup/maintenance по времени.
Если четыре worker дают лишь небольшую прибавку к одному, это измерение, а не повод сразу включить восемь. Возможно, все конкурируют за один диск, один индекс или один сетевой канал. В этом случае параллелизм увеличивает tail latency и влияние на пользователей, но почти не сокращает время переноса.
Завершение подтверждают данными и состоянием планировщика
После загрузки PostgreSQL рекомендует собрать статистику ANALYZE, чтобы планировщик видел новое распределение данных. До переключения приложения сравните количество строк и бизнес-инварианты: суммы в минимальных денежных единицах, число уникальных source_id, границы дат, долю NULL и выборочные хеши. Отдельно проверьте, что отставание реплики вернулось к норме.
Критерий готовности — не «скрипт закончился», а подтверждённый watermark, пустая очередь повторов, совпавшие инварианты, приемлемые запросы на новых данных и возможность продолжить с checkpoint. Для разбора сохраняйте план запроса, параметры batch, графики по этапам и одну обезличенную медленную запись; дамп пользовательских данных для этого не нужен.