Классификация обращений помогает распределять заявки, но если AI относит их не туда, заявки уходят не тем людям и теряются в процессе.
Почему это важно
Ошибки появляются, когда категории пересекаются, нет примеров, промпт слишком общий, модель обязана выбрать категорию даже при низкой уверенности или нет ручного fallback.
Что проверяю в первую очередь
- Какие категории существуют и чем отличаются.
- Есть ли примеры правильных обращений.
- Сохраняется ли confidence.
- Куда попадают сомнительные обращения.
- Есть ли обратная связь от менеджеров.
Как исправляю
Я уточняю границы категорий и добавляю сценарий неопределенности: AI не должен угадывать там, где нужно отдать на ручную проверку.
- Разбираю выборку ошибочных обращений.
- Уточняю категории и правила.
- Добавляю few-shot примеры.
- Настраиваю порог confidence и fallback.
- Собираю обратную связь для улучшения.
Что будет после исправления
- Обращения чаще попадают в правильную категорию.
- Сомнительные кейсы не теряются.
- Менеджеры меньше перекладывают заявки вручную.
- Классификация становится измеримой.
Что подготовить
- Список категорий.
- Примеры ошибочной классификации.
- Желаемые правила распределения.
- Доступ к промпту или коду.
Вопросы и ответы
Можно ли решить точечно?
Да. Часто достаточно уточнить промпт, категории и добавить порог уверенности.
Почему не стоит откладывать?
Неверная категория задерживает ответ клиенту и может отправить важную заявку не тому сотруднику.
Нужна похожая задача?
Опишите проблему и пришлите ссылку, скрин или лог. Я разберу причину, предложу понятный план исправления и не буду обещать результат без первичного просмотра.