AI-ассистент должен отвечать по базе знаний, но иногда начинает фантазировать или использовать общие знания вместо загруженных документов. Для поддержки клиентов это опасно.
Почему возникает проблема
Причина может быть в плохой нарезке документов, слабом поиске, неверном промпте, отсутствии фильтров доступа, устаревшем индексе или слишком свободной инструкции модели.
Что проверяю
- Попадает ли нужный документ в поиск.
- Как нарезаны документы на чанки.
- Какая модель embeddings используется.
- Есть ли фильтр по разделам и правам.
- Требует ли промпт ссылаться на источник.
Как решаю задачу
Я проверяю RAG как цепочку: загрузка документа, индексирование, поиск фрагментов, сбор контекста и финальный ответ модели.
- Тестирую проблемные вопросы.
- Смотрю найденные фрагменты до ответа модели.
- Исправляю чанкинг и метаданные.
- Уточняю системный промпт.
- Добавляю цитирование и отказ, если ответа в базе нет.
Что будет на выходе
- Ассистент чаще отвечает по документам.
- Становится видно, какие источники использованы.
- Фантазии модели уменьшаются.
- Базу знаний проще обновлять и контролировать.
Что подготовить
- Примеры неправильных ответов.
- Документы базы знаний.
- Доступ к коду бота или RAG-сервису.
- Ожидаемые ответы на несколько вопросов.
Вопросы и ответы
Можно ли полностью убрать выдумки?
Можно сильно снизить риск, если ограничить ответ найденным контекстом и проверять источники.
Нужно ли заново индексировать документы?
Часто да, если менялась структура, чанкинг или сами файлы.
Нужна похожая задача?
Опишите, что именно не работает и где это видно. Я быстро разберу симптомы, проверю техническую причину и предложу понятный план исправления без лишних созвонов и затяжки.