Если в исходной выгрузке одна строка на клиента, повторный импорт не вернёт прежние адреса и статусы: их в файле уже нет. Остановите загрузку history-таблиц и возьмите одну сущность с известными изменениями. Сравните current table, audit log, CDC stream и резервные снимки; только после этого выбирайте, какие версии реально можно восстановить.

Не подменяйте время события временем запуска миграции. У истории есть как минимум две оси: valid time — когда значение действовало для бизнеса, и system time — когда система узнала или записала его. Поле imported_at полезно для расследования ETL, но оно не доказывает, что статус клиента изменился в этот момент.

Сначала выясняем, где вообще остались версии

ИсточникЧто можно восстановитьГлавное ограничение
Текущая таблицаПоследнее состояниеПрошлых значений нет
Audit-таблицаActor, old/new value, времяВозможны пропуски до включения аудита
CDC или transaction logПорядок insert/update/deleteRetention и позиция начала ограничены
Периодические snapshotsСостояние на редких срезахТочная дата перехода неизвестна
Бизнес-событияПодтверждённые переходы статусовНе каждое техническое поле представлено событием

Debezium change event может содержать before, after, тип операции, source timestamp и transaction metadata. Это не означает, что коннектор знает события до своего запуска: документация отдельно ограничивает доступность старой transaction metadata. dbt snapshots тоже строят SCD Type 2 с момента наблюдения за источником, а не создают прошлое задним числом.

Историческая строка хранит происхождение и границы

customer_status_history
  customer_id
  status
  valid_from
  valid_to        -- NULL для открытого интервала
  source_event_id -- стабильный ключ события
  source_system
  source_position -- LSN, offset или snapshot id
  recorded_at
  imported_at
UNIQUE (source_system, source_event_id)

Стабильный source_event_id делает повтор загрузки безопасным. Если такого ID нет, сформируйте детерминированный ключ из source primary key, версии и типа операции, но сохраните исходные поля отдельно. Hash всей строки помогает сравнивать payload, однако не заменяет identity события: две одинаковые смены статуса в разное время остаются двумя событиями.

Из событий строим интервалы, не теряя неоднозначность

  1. Нормализовать timezone и точность времени, не округляя исходное значение без записи правила.
  2. Отсортировать события по business key, source position и детерминированному tie-breaker.
  3. Сохранить raw events в staging без перезаписи предыдущей версии.
  4. Построить valid_to как начало следующей подтверждённой версии.
  5. Отдельно пометить gap, overlap и события с одинаковым временем.
  6. Загрузить history через upsert по source_event_id и повторить тот же batch для проверки идемпотентности.

Не угадывайте valid_from по дате файла, если snapshot лишь сообщает состояние на конец дня. В таком случае граница известна как интервал: значение существовало не позднее snapshot time, но точный переход неизвестен. Лучше хранить confidence или provenance, чем показывать выдуманную минуту в аудиторском отчёте.

Контроль ищет разрывы внутри одной сущности

entity  version  valid_from           valid_to             check
42      1        2025-01-10 09:00     2025-03-02 14:20     ok
42      2        2025-03-02 14:20     2025-03-02 14:20     zero interval
42      3        2025-03-01 18:00     NULL                 overlap

assert: duplicate source_event_id = 0
assert: open intervals per entity <= 1
assert: rerun changes row count = 0

Проверяйте не только общий COUNT. Для выборки сущностей сравните последовательность статусов, первую и последнюю дату, число удалений, открытые интервалы и checksum raw event payload. Затем воспроизведите состояние на несколько контрольных дат и сопоставьте его с отчётом или snapshot той же даты.

Что подготовить перед полной загрузкой

Нужны схема current и audit таблиц, retention журналов, timezone источника, пример одной сущности с ручной историей, правила удаления и граница snapshot. Работа завершена, когда происхождение каждой версии объяснимо, повтор batch ничего не меняет, интервалы не перекрываются без явной причины, а текущая строка получается из истории тем же правилом, которое применяет приложение.

Проверенные источники