Повторный импорт создаёт дубли, когда поиск существующего контакта и запись нового используют разные правила. Один путь сравнивает исходную строку, другой приводит email к нижнему регистру, третий ищет без audience ID. Снимите небольшой отчёт по подозрительным парам: исходный email, вычисленный ключ, аудитория, статус подписки и источник. Сразу станет видно, что именно система считает одинаковым.

Исправление должно работать и при двух одновременных заданиях. Проверка `SELECT`, за которой отдельно идёт `INSERT`, оставляет окно гонки: оба worker не находят контакт и оба пытаются создать его. Канонический ключ защищают уникальным ограничением базы, а импорт выполняют через атомарный upsert.

Дубль определяется в границах аудитории

Пара строкСчитать одним контактом?Причина
User@Example.com / user@example.comпо утверждённому правилу продуктарегистр нормализуют одинаково во всех путях
user@example.com в двух audiencesне всегдау провайдера это могут быть два независимых контакта
user+shop@example.com / user@example.comнет автоматическиудаление plus-tag меняет адрес без общего стандарта
старый и новый email одного человекатолько по подтверждённой связисовпадение имени ничего не доказывает
один email, разные unsubscribe statusодин identity, осторожный mergeотписку нельзя заменить подпиской из файла

Mailchimp, например, адресует contact внутри конкретной audience через `subscriber_hash` — MD5 от email в нижнем регистре. Это правило конкретного API, а не универсальная лицензия удалять точки или `+tag` у всех доменов. Запишите собственную функцию нормализации, её версию и область уникальности: обычно `(audience_id, normalized_email)`.

CSV сначала попадает в staging

Staging-таблица сохраняет номер строки, batch ID, raw email, normalized key, поля профиля и результат проверки. Ошибочная строка не прерывает весь файл и не исчезает из отчёта. До основной таблицы доходят только валидные записи, а повтор того же batch не создаёт новую попытку для каждой строки.

contacts:
  audience_id
  normalized_email
  email_display
  status
  consent_at

UNIQUE (audience_id, normalized_email)

import_rows:
  batch_id | row_no | raw_email | normalized_email | result
  b_42     | 17     | ...       | ...              | updated
  • Обрезать внешние пробелы и проверить синтаксис до вычисления ключа.
  • Хранить raw значение для отчёта, но не использовать его как identity.
  • Не менять алгоритм нормализации без миграции существующих ключей.
  • Не писать адреса и CSV целиком в общедоступный application log.

Upsert закрывает гонку между worker

В PostgreSQL уникальность обеспечивается unique index, а `INSERT ... ON CONFLICT DO UPDATE` выполняет выбор insert/update атомарно при конкуренции. Conflict target должен совпадать с выбранным contact key. Обновлять все столбцы входящей строкой нельзя: имя можно освежить, а status, consent и suppression требуют отдельной политики.

Если внешний сервис поддерживает create-or-update endpoint, используйте его стабильный идентификатор. Mailchimp советует upsert member, когда неизвестно, существует ли contact. Идемпотентность должна сохраняться на обеих сторонах: одинаковая строка повторного batch приводит к тому же subscriber, а не к новому POST в другую audience.

Отписка выигрывает у файла с подпиской

Самая опасная ошибка дедупликации — технически устранить две строки и одновременно вернуть отписанного человека в рассылку. Состояния `unsubscribed`, `cleaned`, complaint или suppression не повышают до `subscribed` только потому, что CSV содержит активный статус. Для новой подписки нужен предусмотренный продуктом источник согласия и, где применяется, повторное подтверждение.

  1. Выбрать survivor record с полной историей доставки и согласий.
  2. Перенести непустые профильные поля по явным правилам приоритета.
  3. Сохранить наиболее ограничивающий действующий delivery status.
  4. Перепривязать события и сегменты через таблицу соответствий IDs.
  5. Записать audit event и не удалять исходные строки до проверки.

Старые дубли объединяются обратимой миграцией

Перед merge посчитайте группы по новому ключу и разделите однозначные и конфликтные. Автоматически обрабатываются пары в одной audience с совместимыми статусами; разные consent source, bounce state или владельцы уходят на ручную проверку. Mapping `old_contact_id -> survivor_id` сохраняют отдельно, чтобы отменить перепривязку.

Критерий готовности: повтор одного файла и два параллельных batch не увеличивают число contacts, отчёт объясняет insert/update/reject для каждой строки, а отписанные адреса остаются недоступны кампании. Для разбора подготовьте batch ID, счётчики по результатам и несколько обезличенных normalized keys; исходная база подписчиков в тикет не нужна.

Проверенные источники