Две строки могут выглядеть одинаково и иметь разные байты: обычный пробел и NBSP, составная буква и буква с combining mark, невидимый format character между цифрами. Первый шаг — не очистка, а видимое представление code points. Оно превращает «поиск иногда не находит» в конкретную разницу.
Не каждый невидимый символ — мусор. Zero width joiner участвует в корректном отображении некоторых письменностей и emoji, combining marks образуют буквы, а bidi controls меняют порядок показа. Правило зависит от поля: SKU, свободный комментарий и имя человека нельзя очищать одинаково.
Диагностика печатает не символ, а его паспорт
import unicodedata
def inspect_text(value: str):
return [
{
'pos': i,
'code': f'U+{ord(ch):04X}',
'name': unicodedata.name(ch, '<unnamed>'),
'category': unicodedata.category(ch),
'combining': unicodedata.combining(ch),
}
for i, ch in enumerate(value)
]
raw = 'AB\u00A0123'
print(inspect_text(raw))
print(raw == unicodedata.normalize('NFC', raw))Модуль unicodedata использует базу свойств Unicode и позволяет получить имя, general category и combining class. В логах не печатайте целое персональное поле: достаточно record ID, хеша исходного значения, позиции и code point. Для воспроизведения используйте синтетическую строку, как в примере.
Один внешний вид скрывает несколько классов проблем
| Признак | Что это может быть | Решение принимается по |
|---|---|---|
| Пробел не режется trim | NBSP или другой space separator | Допустим ли он внутри данного поля |
| Буква выглядит одинаково, bytes разные | NFC/NFD-представление | Нужна ли каноническая эквивалентность |
| Курсор перескакивает, порядок странный | Bidi control | Разрешённые scripts и контекст |
| Emoji распался | Удалён ZWJ или variation selector | Поле допускает emoji/сложные graphemes |
| SKU не совпадает после копирования | Zero-width/format code point | Строгий алфавит идентификатора |
| Длина есть, экран пуст | Control/format characters | Категория, code points и источник |
Unicode Character Database содержит производное свойство Default_Ignorable_Code_Point для программного определения символов, которые обычно игнорируются при отображении. Это не команда «удалить всё из списка»: variation selectors и join controls могут менять смысл или форму. Политику нужно ограничить типом данных и протестировать на языках пользователей.
Нормализация не равна удалению
NFC приводит канонически эквивалентные последовательности к стабильному представлению. NFKC дополнительно применяет compatibility mappings и может свести визуально совместимые формы; это полезно для отдельных поисковых ключей, но слишком агрессивно для оригинального имени, научного обозначения или форматированного текста. Ни NFC, ни NFKC не являются универсальным фильтром zero-width и управляющих символов.
- Raw value хранит то, что пришло из источника, если это разрешено политикой и безопасностью.
- Display value получает минимальные преобразования для корректного показа.
- Match key строится детерминированно для поиска и дедупликации.
- Identifier проходит строгий allowlist конкретного формата, а не правила свободного текста.
- Reject reason записывает code point и правило, но не раскрывает исходные персональные данные.
Если match key изменился, это не доказывает, что две записи принадлежат одному человеку или товару. Он лишь создаёт кандидата на сопоставление. Решение о слиянии должно учитывать устойчивые признаки, историю и возможность ручной проверки.
Политика задаётся для каждой колонки
| Поле | Разумная обработка | Что нельзя терять |
|---|---|---|
| SKU/код | NFC, trim утверждённых spaces, строгий алфавит | Регистр или leading zero, если значимы |
| Разбор по стандарту приложения, домен отдельно | Локальную часть нельзя чинить догадкой | |
| Имя | NFC и аккуратная работа с краями | Диакритику, joiners и исходное написание |
| Телефон | Парсер страны и формата | Добавлять код страны без основания |
| Свободный текст | Безопасные controls, NFC при необходимости | Абзацы, языковые знаки и emoji |
| Search key | Документированная нормализация для matching | Ссылку на raw/display value |
Политика должна быть версионирована. Когда правила меняются, рядом с ключом полезно хранить normalization_version: так индекс или дедупликацию можно пересчитать партиями и понять, каким алгоритмом получено старое значение.
Массовая очистка начинается с отчёта воздействия
- Посчитать строки, где raw отличается от предложенного normalized value.
- Сгруппировать изменения по code point, полю и источнику загрузки.
- Проверить выборку на языках, emoji и бизнес-кодах, которые реально встречаются.
- Найти collisions: разные raw values, превращающиеся в один match key.
- Сохранить обратимое соответствие record ID, old hash, new hash и policy version.
- Обновлять небольшими партиями, отдельно перестраивая поисковый индекс и unique constraints.
Не включайте новый уникальный индекс сразу после преобразования: collisions могут остановить миграцию посередине. Сначала сформируйте конфликтный список, решите судьбу записей и только затем вводите ограничение. Откат должен восстанавливать raw/display, а не пытаться угадать удалённые code points.
Тесты фиксируют границу допустимого
Минимальный набор включает precomposed/decomposed буквы, NBSP на краях и внутри, zero-width между символами, combining marks, emoji с joiner, bidi control, пустую строку и смешанные scripts. Для каждого примера заранее задайте raw, ожидаемый display, match key и решение accept/reject. Повторная обработка уже нормализованного значения должна дать тот же результат.
Для предметного разбора достаточно версии Unicode/runtime, политики конкретного поля, обезличенных code-point traces, числа затронутых строк, списка collisions и шага импорта, где появился символ. Это позволяет исправить источник и валидатор, а не бесконечно чистить последствия в базе.