Быстрый SELECT не опровергает проблему блокировок. В PostgreSQL обычное чтение использует MVCC и часто продолжает работать, пока UPDATE, DELETE или SELECT FOR UPDATE ждут строки либо таблицу. Снимайте состояние в момент зависания: после завершения долгой транзакции цепочка исчезнет.

Не начинайте с увеличения statement_timeout. Сначала найдите waiter и blocker, возраст их транзакций, запросы и тип ожидания. Самый длинный SQL не всегда виноват: короткий запрос может ждать сессию, которая открыла транзакцию раньше и сейчас простаивает.

Один снимок строит цепочку ожидания

SELECT pid, application_name, state,
       now() - xact_start AS xact_age,
       wait_event_type, wait_event,
       pg_blocking_pids(pid) AS blockers
FROM pg_stat_activity
WHERE datname = current_database()
ORDER BY xact_start NULLS LAST;

Запрос диагностический; доступ к полному тексту чужих сессий зависит от прав. Не публикуйте параметры с персональными данными. Зафиксируйте PID, application_name, длительность транзакции и blockers, затем отдельно сопоставьте их с job ID импорта.

Тип блокировки подсказывает исправление

ПризнакВероятная причинаСледующий эксперимент
Много row-level waitПараллельные workers обновляют одни ключиРазделить диапазоны и единый порядок
Wait на relationDDL или явный table lockВынести миграцию из импорта
Idle in transactionКод открыл транзакцию до сети/вычисленийСузить границы BEGIN/COMMIT
Deadlock detectedРазный порядок захвата объектовСортировать ключи одинаково и retry victim
Нет lock wait, но растёт I/OWAL, checkpoints, индексыИзмерить bytes и write latency

Документация PostgreSQL описывает режимы table и row locks и предупреждает, что явные блокировки повышают риск deadlock. База обнаружит deadlock и оборвёт одну транзакцию, но приложение обязано безопасно повторить только прерванную порцию по стабильному batch ID.

Загрузка и применение данных — два этапа

Для большого входного набора сначала загрузите строки в staging. COPY предназначен для перемещения данных между таблицей и файлом или STDIN/STDOUT и обычно удобнее многотысячных одиночных INSERT. Затем валидируйте типы, уникальность и ссылки, после чего применяйте изменения контролируемыми порциями.

  • Staging хранит import_id и исходный row number для отчёта об ошибках.
  • Порция выбирается по ключу, а не OFFSET, который меняется и замедляется.
  • Ключи сортируются одинаково во всех workers, снижая шанс deadlock.
  • После COMMIT сохраняются last_key и счётчики, поэтому retry не начинает всё заново.
  • Удаление или архивирование staging идёт после сверки итогов.

Размер batch определяется временем владения lock

Нет универсальных 500 или 5000 строк. На копии production-объёма измерьте rows per second, p95 lock wait, WAL, replication lag и время COMMIT. Уменьшайте порцию, пока рабочие транзакции укладываются в свой SLO; затем подберите паузу или concurrency.

Не делайте commit после каждой строки без измерения: это снижает время lock, но резко увеличивает накладные расходы и усложняет частичные ошибки. С другой стороны, одна транзакция на весь импорт держит версии и locks слишком долго. Нужна воспроизводимая середина с batch ID.

Контрольный запуск имитирует конкуренцию

  1. Запустить обычное изменение одной записи параллельно с импортом.
  2. Снять pg_stat_activity, blockers и возраст транзакций.
  3. Оборвать worker посередине порции и повторить тот же batch ID.
  4. Поменять порядок ключей второго worker и убедиться, что тест ловит deadlock.
  5. Сверить количество входных, применённых, отклонённых и повторных строк.

Для разбора нужны версия PostgreSQL, схемы таблиц и индексов, EXPLAIN без чувствительных значений, снимок locks и метрики одной порции. Это отделяет конкуренцию строк от I/O, DDL и слишком широкой транзакции.

Проверенные источники