Сообщение «не работает» нельзя надёжно отнести к оплате или интеграции без предыдущего вопроса. Проверьте фактический вход классификатора: передаётся ли история нужного диалога, в каком порядке и с какими ролями. Начните с двух синтетических переписок, где одинаковая последняя фраза относится к разным темам.
Добавление всей истории аккаунта не является безопасным исправлением. В ней могут быть другие обращения, чужие участники и давно закрытая тема. Задайте границу текущего диалога, момент решения и минимально достаточный контекст. Доступ и принадлежность истории подтверждает сервер; идентификатор из браузера не даёт права читать произвольную переписку.
Сначала восстановите порядок и роли
| Данные | Зачем они нужны |
|---|---|
| Устойчивый ID диалога | Не смешать две параллельные заявки |
| Автор и роль сообщения | Отличить вопрос клиента от ответа сотрудника |
| Порядок внутри диалога | Правильно понимать короткое подтверждение |
| Момент классификации | Не использовать информацию из будущего |
| Граница темы | Не наследовать устаревшую категорию |
Сортировка только по времени может быть неоднозначной для нескольких сообщений с одинаковой отметкой. Используйте определённый порядок источника и сохраняйте пропуски доставки как отдельный статус. Если история загрузилась частично, это не должно выглядеть как полноценный контекст. Модель не обязана распознать отсутствующий вопрос, которого ей не передали.
Сравните одинаковую фразу в двух разговорах
Условные тестовые пары:
A: «Платёж отклонён?» -> «Да, не работает» -> тема оплаты
B: «Соединение с API установилось?» -> «Нет, не работает» -> интеграция
один и тот же последний текст -> разные основания
классификатор получает только сообщения до момента решения
новая тема -> явная переоценка, не вечное наследование AРазличайте исходный текст и резюме истории. Сжатое описание полезно для ограничения объёма, но может потерять отрицание, смену темы или точный код ошибки. Храните версию способа сборки контекста и возможность сверить резюме с разрешёнными исходными сообщениями. Не выдавайте предположение, добавленное резюмером, за факт клиента.
scikit-learn описывает утечку как использование информации, недоступной в момент предсказания, что завышает оценку качества. Проверено 21 октября 2026 года. В тесте классификации нельзя включать будущий ответ оператора с уже установленной категорией. Иначе улучшение будет объясняться подсказкой из будущего, а не пониманием переписки.
Контекст проверяют не только на длинных диалогах
- Сравнить последний текст и контролируемое окно истории.
- Проверить короткое «да», отрицание и цитату прошлого ответа.
- Добавить явную смену темы в конце разговора.
- Подать неполную историю и проверить предусмотренный отказ.
- Запустить два диалога параллельно и сверить отсутствие смешивания.
Политика категории тоже должна быть явной: классифицируется последнее намерение, весь тикет или набор тем. При нескольких задачах одно поле может быть недостаточным, но менять его смысл скрытно нельзя. Пересчёт после нового сообщения не должен бесконтрольно перекидывать заявку между отделами; момент фиксации маршрута и необходимость ручной проверки определяются отдельно.
Для пилота сохраните прежний маршрут, а новый сборщик контекста проверяйте в теневом режиме на тех же диалогах. Разбирайте расхождения по доступной истории, а не только по финальной метке. Подготовьте пары коротких сообщений, схему порядка и правила границы темы. Они покажут, теряется история на входе или сам классификатор неверно использует уже полученный контекст.