Не отправляйте каждое изменение категории прямо в обучение. Оператор мог исправить ошибку модели, передать заявку по загрузке команды или отреагировать на новую информацию клиента. Сначала сохраняйте причину правки и данные, доступные в момент исходного решения. Тогда пример действительно учит классификации, а не воспроизводит случайный рабочий маршрут.
Возьмите небольшую выборку исправлений и разберите её по причинам. Если два оператора по-разному трактуют одну заявку, увеличение числа таких примеров закрепит противоречие. Нужны определения категорий и процесс согласования спорных меток. В обучающий набор попадает проверенное решение, а не должность последнего человека, нажавшего кнопку.
Что означает изменение в журнале
| Причина правки | Подходит ли как новая метка |
|---|---|
| Неверно понята тема исходного текста | Да, после проверки |
| Отдел перегружен, задачу передали соседям | Не как исправление смыслового класса |
| Клиент позднее сменил вопрос | Только для соответствующего нового состояния |
| Справочник категорий изменён | Нужна явная миграция редакции |
| Оператор не указал причину | Сначала разбор, затем решение о включении |
Храните связь между исходным предсказанием, исправлением, редакцией справочника и подтверждением разметки. Содержимое обращения используйте в разрешённом объёме, с удалением ненужных персональных данных. Доступ к журналу и право включать данные в обучение — разные решения; рабочая видимость сообщения не означает автоматического разрешения на любое его использование.
Обновление примеров — отдельный выпуск
Условная цепочка:
правка -> причина и доступный тогда контекст
проверка -> согласованная смысловая метка
набор -> версия, состав и происхождение
обучение / правила / примеры промпта -> отдельная редакция
валидация -> независимые данные
выпуск -> возможность вернуть предыдущий комплектИсправления можно использовать по-разному: уточнить словарь, добавить проверенные примеры в инструкцию, изменить детерминированное правило или обучить модель. Эти способы не равнозначны. Если ошибка вызвана отсутствующей категорией, дообучение прежнего набора меток не создаст корректное бизнес-определение. Сначала исправляют контракт классификации.
scikit-learn предупреждает об утечке данных: использование информации, недоступной во время предсказания, делает оценку чрезмерно оптимистичной. Документация проверена 21 октября 2026 года. Для диалогов это означает, в частности, не подсовывать будущий ответ оператора как часть исходного обращения. Разделение обучающих и проверочных данных выполняют до настройки на них.
Один диалог не должен оказаться по обе стороны проверки
- Сгруппировать повторные версии одной заявки.
- Проверить дубли и близкие копии текста.
- Разнести связанные примеры между наборами по согласованной схеме.
- Оценить новые правила на независимом наборе.
- Разобрать регрессии прежних категорий до рабочего выпуска.
Случайное разделение отдельных сообщений может оставить соседние фразы одного диалога и в обучении, и в тесте. Результат будет красивым, но не покажет работу на новых обращениях. Сохраняйте группировку и временные границы, подходящие вашей задаче. Окончательный тест не используют многократно для подбора лучшего набора примеров.
После выпуска следите за новыми подтверждёнными исправлениями, сохраняя и прежний контрольный набор. Возврат версии должен включать модель, правила обработки и справочник, если они менялись совместно. На разбор полезнее принести десяток тщательно объяснённых правок, чем большой файл без причин: он покажет, что действительно нужно учить и где команда ещё не договорилась о правильной метке.