Фраза «миллионы строк переносятся медленно» не указывает на причину. Один процесс ждёт сеть, второй пересчитывает JSON, третий блокируется на индексе, а четвёртый быстро пишет, но долго фиксирует транзакцию. Начните не с увеличения параллелизма, а с одной контрольной трассы: сколько строк вошло в каждый этап и сколько дошло до подтверждённого commit.

Главная единица прогресса — строка, которую можно безопасно считать перенесённой после сбоя. Счётчик «прочитано» создаёт ложный оптимизм: очередь между чтением и записью может расти, а ETA будет улучшаться на экране, хотя база назначения отстаёт.

Пятиминутный срез отделяет узкое место от общего ощущения

МетрикаЧто она отвечаетТревожный признак
rows_read/sУспевает ли источник отдавать данныеПадает при стабильной записи
rows_transformed/sСколько стоит преобразованиеCPU занят, очередь raw растёт
rows_committed/sРеальная скорость завершенияНиже остальных этапов
commit p95Дорога ли фиксация batchРастёт вместе с числом workers
bytes written/sМеняется ли размер строкиСтрок столько же, байтов заметно больше
retry/error ageЕсть ли зацикленный хвостОдна ошибка стареет, прогресс формально идёт

Снимайте эти значения на одинаковом интервале и помечайте размер batch, число workers и версию преобразования. Тогда два запуска можно сравнить. Средняя скорость за весь день скрывает паузы, autovacuum, checkpoint и всплески пользовательской нагрузки; короткий ряд показывает, когда именно система перестала быть устойчивой.

ETA считается по подтверждённому хвосту

total_rows = 48_000_000
committed_rows = 12_600_000
stable_rate = 8_400  # медиана committed rows/s за устойчивое окно
remaining = total_rows - committed_rows
eta_seconds = remaining / stable_rate
print(round(eta_seconds / 3600, 1), 'hours')

# В журнал checkpoint попадает только после успешного commit:
# {partition, last_source_key, committed_rows, batch_hash, finished_at}

Для оценки берите медиану нескольких устойчивых интервалов, а рядом показывайте диапазон, если скорость плавает. Не обещайте время окончания по пиковому значению. Если общее число строк неизвестно или источник меняется, честнее давать скорость и lag относительно зафиксированного watermark, а не выдумывать процент завершения.

Batch подбирается экспериментом, а не максимальным размером

  1. Зафиксировать контрольный диапазон и текущие метрики базы назначения.
  2. Прогнать небольшой batch и получить базовую скорость, память и commit p95.
  3. Увеличить batch вдвое, не меняя число workers и SQL.
  4. Остановиться, когда throughput почти не растёт, а latency, WAL, память или блокировки растут заметно.
  5. Повторить тест в период обычной пользовательской нагрузки.
  6. Записать безопасный лимит и автоматическое уменьшение batch при ошибках или задержке.

Большая транзакция уменьшает число commit, но дороже откатывается, дольше удерживает ресурсы и усложняет повтор. Слишком маленький batch платит за сетевой обмен и фиксацию почти на каждой строке. Нужен не самый быстрый короткий тест, а размер, который выдерживает часы работы без роста очереди и без нарушения SLO основной системы.

COPY убирает лишние round trips, но не отменяет проектирование

Документация PostgreSQL рекомендует COPY для загрузки больших объёмов; если он не подходит, помогают prepared statements и несколько строк в одном INSERT. Это не означает, что надо без разбора отключать защиту. Уникальные ограничения, внешние ключи, триггеры и вторичные индексы влияют на цену записи, но решение об их временном изменении принимают только вместе с проверкой целостности и планом восстановления.

COPY stage_orders (source_id, created_at, amount_cents, payload)
FROM STDIN WITH (FORMAT csv, HEADER true);

-- После загрузки staging и проверок:
INSERT INTO orders (source_id, created_at, amount_cents, payload)
SELECT source_id, created_at, amount_cents, payload
FROM stage_orders
ON CONFLICT (source_id) DO UPDATE
SET payload = EXCLUDED.payload;

Staging-таблица полезна, когда нужно проверить типы, дубли и суммы до затрагивания рабочей модели. Для прямого COPY в рабочую таблицу заранее проверьте обработку повторного запуска. В актуальном PostgreSQL ход COPY можно наблюдать через pg_stat_progress_copy; этого достаточно, чтобы отличить зависание от медленного, но живого процесса.

Параллелизм ограничивает самая узкая общая часть

  • Делите диапазоны по стабильному ключу, чтобы два worker не писали одну строку.
  • Ограничивайте общую скорость, а не только скорость каждого процесса.
  • Следите за IOPS, WAL, replication lag, connection pool и lock waits.
  • Не запускайте новый worker, если очередь на запись уже растёт.
  • Сохраняйте checkpoint и хеш batch для безопасного повтора.
  • Разводите тяжёлую миграцию и регулярные backup/maintenance по времени.

Если четыре worker дают лишь небольшую прибавку к одному, это измерение, а не повод сразу включить восемь. Возможно, все конкурируют за один диск, один индекс или один сетевой канал. В этом случае параллелизм увеличивает tail latency и влияние на пользователей, но почти не сокращает время переноса.

Завершение подтверждают данными и состоянием планировщика

После загрузки PostgreSQL рекомендует собрать статистику ANALYZE, чтобы планировщик видел новое распределение данных. До переключения приложения сравните количество строк и бизнес-инварианты: суммы в минимальных денежных единицах, число уникальных source_id, границы дат, долю NULL и выборочные хеши. Отдельно проверьте, что отставание реплики вернулось к норме.

Критерий готовности — не «скрипт закончился», а подтверждённый watermark, пустая очередь повторов, совпавшие инварианты, приемлемые запросы на новых данных и возможность продолжить с checkpoint. Для разбора сохраняйте план запроса, параметры batch, графики по этапам и одну обезличенную медленную запись; дамп пользовательских данных для этого не нужен.

Проверенные источники