Не увеличивайте top-k вслепую. Сначала откройте страницу, где точно есть ответ, и возьмите редкую фразу из двух-трёх слов. Затем ищите её последовательно в extracted text, chunk store и поисковом индексе. Если фраза исчезла при OCR, настройка векторного поиска её не вернёт; если chunk найден, но генератор молчит, проблема уже после retrieval.
Большой PDF — не один текстовый поток. В нём бывают сканированные страницы, две колонки, повторяющиеся колонтитулы, таблицы, сноски и вложенные изображения. Простое извлечение по порядку объектов может склеить левую колонку с правой или оторвать заголовок от таблицы. Поэтому диагностика должна сохранять страницу и структуру, а не только длинную строку.
Пять контрольных точек вместо одной ошибки «ответа нет»
| Этап | Быстрая проверка | Типичная поломка |
|---|---|---|
| Доступ к файлу | Hash и число страниц совпадают | Индексируется старая версия или preview |
| Извлечение | Редкая фраза есть в page text | Нет OCR, перепутаны колонки, потеряна таблица |
| Chunking | Фраза и её заголовок в одном или соседнем chunk | Разрыв строки посередине условия |
| Индекс | По exact phrase находится chunk ID | Job завершился частично или поле не searchable |
| Retrieval | Нужный chunk входит в top-k без генератора | Фильтр ACL, query rewrite или score |
| Ответ | Цитата поддерживает вывод | Модель игнорирует context или получает усечённый prompt |
Azure Document Layout skill умеет выдавать Markdown или text и сохранять сведения о расположении, включая страницы и изображения. Это удобнее для заголовков и таблиц, чем плоский поток. Но пределы тарифа и формата тоже нужно читать: например, число обрабатываемых страниц и режим image extraction зависят от конфигурации сервиса.
Карточка chunk делает потерю наблюдаемой
document_id: manual-v7
file_sha256: 91b...e42
page_from: 184
page_to: 185
heading_path: 7.4 / Аварийный режим
content_type: table_with_caption
chunk_index: 392
parser_version: layout-2026-09
text_hash: 2dc...8a1
acl_scope: engineering
indexed_at: 2026-10-04T14:08:00ZПо такой записи можно ответить на конкретный вопрос: какая версия файла разобрана, какая страница породила chunk, какой парсер работал и не запретил ли доступ ACL-фильтр. Номер страницы лучше хранить как метаданные и возвращать в цитате; вычислять его позже по позиции символа ненадёжно, особенно после OCR.
Разбиваем по структуре, но не делаем chunks бесконечными
- Начинать новый блок по заголовку, а heading path копировать в дочерние chunks.
- Не отделять подпись таблицы и названия столбцов от строк, к которым они относятся.
- Добавлять небольшой overlap на границе абзацев, а не дублировать целые страницы.
- Удалять повторяющиеся headers и footers только после проверки, что они действительно шаблонные.
- Для скана хранить OCR confidence и ссылку на изображение страницы для ручной сверки.
- Слишком большие разделы дополнительно резать по абзацам с сохранением section identity.
Microsoft описывает layout-aware chunking как способ учитывать структуру документа и семантическую связность. Это не отменяет измерений: подходящий размер зависит от модели embeddings, длины запроса и характера документа. Сравнивайте варианты на одном golden set, а не выбирайте размер только по числу токенов.
Retrieval тестируем отдельно от красивого ответа
- Запросить точную редкую фразу без query rewrite и фильтров, кроме обязательного ACL.
- Повторить смысловой вопрос через vector search и сохранить top-k с raw scores.
- Добавить keyword или hybrid retrieval для артикулов, формул и точных терминов.
- Проверить, что reranker не выбросил нужную страницу после первого этапа.
- Передать найденные chunks в answer step и потребовать page citation.
- Если доказательства нет, возвращать «не найдено», а не достраивать ответ из памяти модели.
Отдельно воспроизведите запрос под той же ролью пользователя. Частая ситуация: администратор видит chunk в индексе, а пользовательский ACL корректно исключает документ. Это не ошибка поиска, но интерфейс должен различать «нет доступа» и «в доступных источниках ответа нет», если политика безопасности позволяет.
Набор приёмки для одного большого документа
Составьте 15–30 вопросов: по обычному абзацу, таблице, подписи к рисунку, сканированной странице, двум колонкам и разделу возле границы chunk. Для каждого заранее укажите документ, страницу и допустимый фрагмент. Релиз проходит, когда нужная страница стабильно появляется в retrieval, ответ цитирует её, запретный документ не просачивается, а повторная индексация той же версии не создаёт дубликаты.