Низкий score не доказывает, что реплика безвредна. В документации Google confidence означает вероятность принадлежности текста категории, а не тяжесть возможного вреда. Короткое завуалированное оскорбление может быть редким для модели, но болезненным для адресата. Решение о блокировке нельзя сводить к одному универсальному числу.
Сначала запишите model/version, распознанный language code, category scores, применённые thresholds и итоговое действие. Для русского у Cloud Natural Language указана ограниченная поддержка некоторых типов текста и рекомендована тщательная проверка на своём сценарии. Без этих полей два одинаковых сообщения невозможно честно сравнить после обновления модели.
Score не равен готовому решению
| Сбой | Как выглядит | Что измерять |
|---|---|---|
| false negative | оскорбление пропущено | recall по категории и языку |
| false positive | нейтральный текст заблокирован | precision и частоту апелляций |
| обфускация | символы, пробелы, смешанный алфавит | результат до/после нормализации |
| контекст | цитата или ответ меняет смысл | качество на цепочках сообщений |
| drift | качество падает со временем | метрики по model version и неделям |
Сначала определите цену ошибок. В детском чате пропуск угрозы и лишняя отправка на ручную проверку имеют разный риск; в форуме взрослых участников баланс может быть другим. Порог выбирается из этих требований и измеренного распределения, а не копируется из чужого примера API.
Обходы начинаются с осторожной нормализации
Сохраняйте исходный текст в защищённом контуре, а в модель отправляйте согласованное представление: Unicode normalization, ограниченное схлопывание повторов и выявление невидимых символов. Не удаляйте пунктуацию и пробелы бездумно — они могут менять язык и смысл. Сравнивайте score исходного и нормализованного вариантов как отдельные признаки.
record_id=mod_8421
language=ru
model_version=moderation-v2
raw_hash=sha256:...
normalized_rules=unicode-nfkc+invisible-mark-check
scores.toxic=0.xx
scores.insult=0.yy
threshold_profile=ru-chat/12
action=reviewВ журнале лучше хранить hash, rule version и ограниченный фрагмент только там, где он действительно нужен модератору. Полный текст может содержать персональные данные и травмирующий контент. Доступ, срок хранения и аудит просмотра задаются заранее.
Порог выбирается на размеченной выборке
- Разделить данные по языку, длине, типу сообщества и категории вреда.
- Отложить test set, который не участвует в настройке threshold.
- Измерить precision, recall и confusion matrix на нескольких порогах.
- Разбирать отдельно false negatives с высокой тяжестью последствия.
- Документировать model version, датасет и владельца решения.
Разметку спорных примеров выполняют несколько подготовленных людей с понятной политикой и процедурой расхождений. Случайная сотня сообщений из одного дня не покрывает сленг, смешанные языки и новые обходы. Добавляйте реальные пропуски в regression set, но не допускайте утечки test set в обучающие подсказки.
Контекст и апелляция остаются у человека
Цитата оскорбления для жалобы, самоирония и нападение на человека могут содержать похожие слова. Для пограничных случаев используйте недавний контекст, историю предыдущих решений и ручную очередь. Высокорисковые санкции — длительная блокировка или ограничение доступа — требуют объяснимой политики и доступной апелляции.
Automation может автоматически пропустить очевидно безопасное, скрыть очевидно запрещённое на короткий срок и направить серую зону модератору. Такие три полосы надёжнее одной границы. При этом срочные угрозы и сведения о самоповреждении обрабатываются отдельными процедурами, а не обычным фильтром брани.
Мониторинг ловит дрейф
- Сравнивать качество по языку и category, а не только общей долей блокировок.
- Еженедельно разбирать выборку пропущенных жалоб и успешных апелляций.
- Запускать regression set перед сменой model version или normalization rules.
- Вводить canary и возможность быстро вернуть предыдущий threshold profile.
- Следить за временем ручной очереди и нагрузкой на модераторов.
NIST AI RMF рекомендует тестирование, оценку, верификацию и мониторинг на всём жизненном цикле. Исправление доказано не ростом среднего score, а снижением критичных false negatives при приемлемом количестве ложных срабатываний. Для эскалации передайте обезличенный test slice, метрики, версии и примеры reason codes, но не публичный архив пользовательских сообщений.