Две строки могут выглядеть одинаково и иметь разные байты: обычный пробел и NBSP, составная буква и буква с combining mark, невидимый format character между цифрами. Первый шаг — не очистка, а видимое представление code points. Оно превращает «поиск иногда не находит» в конкретную разницу.

Не каждый невидимый символ — мусор. Zero width joiner участвует в корректном отображении некоторых письменностей и emoji, combining marks образуют буквы, а bidi controls меняют порядок показа. Правило зависит от поля: SKU, свободный комментарий и имя человека нельзя очищать одинаково.

Диагностика печатает не символ, а его паспорт

import unicodedata

def inspect_text(value: str):
    return [
        {
            'pos': i,
            'code': f'U+{ord(ch):04X}',
            'name': unicodedata.name(ch, '<unnamed>'),
            'category': unicodedata.category(ch),
            'combining': unicodedata.combining(ch),
        }
        for i, ch in enumerate(value)
    ]

raw = 'AB\u00A0123'
print(inspect_text(raw))
print(raw == unicodedata.normalize('NFC', raw))

Модуль unicodedata использует базу свойств Unicode и позволяет получить имя, general category и combining class. В логах не печатайте целое персональное поле: достаточно record ID, хеша исходного значения, позиции и code point. Для воспроизведения используйте синтетическую строку, как в примере.

Один внешний вид скрывает несколько классов проблем

ПризнакЧто это может бытьРешение принимается по
Пробел не режется trimNBSP или другой space separatorДопустим ли он внутри данного поля
Буква выглядит одинаково, bytes разныеNFC/NFD-представлениеНужна ли каноническая эквивалентность
Курсор перескакивает, порядок странныйBidi controlРазрешённые scripts и контекст
Emoji распалсяУдалён ZWJ или variation selectorПоле допускает emoji/сложные graphemes
SKU не совпадает после копированияZero-width/format code pointСтрогий алфавит идентификатора
Длина есть, экран пустControl/format charactersКатегория, code points и источник

Unicode Character Database содержит производное свойство Default_Ignorable_Code_Point для программного определения символов, которые обычно игнорируются при отображении. Это не команда «удалить всё из списка»: variation selectors и join controls могут менять смысл или форму. Политику нужно ограничить типом данных и протестировать на языках пользователей.

Нормализация не равна удалению

NFC приводит канонически эквивалентные последовательности к стабильному представлению. NFKC дополнительно применяет compatibility mappings и может свести визуально совместимые формы; это полезно для отдельных поисковых ключей, но слишком агрессивно для оригинального имени, научного обозначения или форматированного текста. Ни NFC, ни NFKC не являются универсальным фильтром zero-width и управляющих символов.

  • Raw value хранит то, что пришло из источника, если это разрешено политикой и безопасностью.
  • Display value получает минимальные преобразования для корректного показа.
  • Match key строится детерминированно для поиска и дедупликации.
  • Identifier проходит строгий allowlist конкретного формата, а не правила свободного текста.
  • Reject reason записывает code point и правило, но не раскрывает исходные персональные данные.

Если match key изменился, это не доказывает, что две записи принадлежат одному человеку или товару. Он лишь создаёт кандидата на сопоставление. Решение о слиянии должно учитывать устойчивые признаки, историю и возможность ручной проверки.

Политика задаётся для каждой колонки

ПолеРазумная обработкаЧто нельзя терять
SKU/кодNFC, trim утверждённых spaces, строгий алфавитРегистр или leading zero, если значимы
EmailРазбор по стандарту приложения, домен отдельноЛокальную часть нельзя чинить догадкой
ИмяNFC и аккуратная работа с краямиДиакритику, joiners и исходное написание
ТелефонПарсер страны и форматаДобавлять код страны без основания
Свободный текстБезопасные controls, NFC при необходимостиАбзацы, языковые знаки и emoji
Search keyДокументированная нормализация для matchingСсылку на raw/display value

Политика должна быть версионирована. Когда правила меняются, рядом с ключом полезно хранить normalization_version: так индекс или дедупликацию можно пересчитать партиями и понять, каким алгоритмом получено старое значение.

Массовая очистка начинается с отчёта воздействия

  1. Посчитать строки, где raw отличается от предложенного normalized value.
  2. Сгруппировать изменения по code point, полю и источнику загрузки.
  3. Проверить выборку на языках, emoji и бизнес-кодах, которые реально встречаются.
  4. Найти collisions: разные raw values, превращающиеся в один match key.
  5. Сохранить обратимое соответствие record ID, old hash, new hash и policy version.
  6. Обновлять небольшими партиями, отдельно перестраивая поисковый индекс и unique constraints.

Не включайте новый уникальный индекс сразу после преобразования: collisions могут остановить миграцию посередине. Сначала сформируйте конфликтный список, решите судьбу записей и только затем вводите ограничение. Откат должен восстанавливать raw/display, а не пытаться угадать удалённые code points.

Тесты фиксируют границу допустимого

Минимальный набор включает precomposed/decomposed буквы, NBSP на краях и внутри, zero-width между символами, combining marks, emoji с joiner, bidi control, пустую строку и смешанные scripts. Для каждого примера заранее задайте raw, ожидаемый display, match key и решение accept/reject. Повторная обработка уже нормализованного значения должна дать тот же результат.

Для предметного разбора достаточно версии Unicode/runtime, политики конкретного поля, обезличенных code-point traces, числа затронутых строк, списка collisions и шага импорта, где появился символ. Это позволяет исправить источник и валидатор, а не бесконечно чистить последствия в базе.

Проверенные источники