Если сайт тормозит одновременно с импортом, сначала сравните задержку пользовательского поиска с фактическим потоком записи в Elasticsearch. Очередь импорта и веб-запросы могут конкурировать за CPU, диск или память, но совпадение по времени ещё не доказывает причину. Безопасный эксперимент — уменьшить один параметр фонового потока на стенде и посмотреть, меняется ли задержка при сопоставимой поисковой нагрузке.
Остановить импорт навсегда легко, но это оставит каталог устаревшим. Поэтому оценка включает две величины: время ответа поиска и возраст самого старого необработанного изменения. Цель — согласованный режим, в котором сайт отвечает, а очередь успевает догонять источник. Пустая очередь при неприемлемом поиске не считается хорошим результатом.
Один эксперимент — одно изменение
- Зафиксировать обычную поисковую нагрузку и исходную задержку.
- Ограничить число одновременных работников импорта.
- Повторить тот же набор запросов и записей.
- Отдельно испытать другой размер пакета.
- Сравнить задержки, отказы и возраст очереди.
Считайте задержку по одинаковому правилу, например выбранный процентиль за сопоставимый интервал. Не сравнивайте среднее утром с максимумом вечером. Вместе с приложением наблюдайте ресурсы кластера и ответы записи: полезен признак, который меняется вслед за управляемым потоком, а не только общий график нагрузки сервера.
Большой bulk не всегда быстрее для сайта
Официальная рекомендация Elastic — подбирать размер bulk-пакета и число работников экспериментом. Слишком большие пакеты и чрезмерная параллельность могут перегружать память и узлы; 429 при индексации служит сигналом перегрузки. Проверено 14 октября 2026 года. Указанные в документации примеры размеров не являются нормативом для вашего каталога: объём документов и поисковая нагрузка различаются.
| Наблюдение | Гипотеза | Ограниченная проверка |
|---|---|---|
| С ростом workers растёт задержка поиска | Конкуренция за ресурсы | Снизить параллелизм без смены пакета |
| Крупный bulk даёт пики памяти | Слишком большой пакет | Уменьшить пакет при прежнем числе workers |
| После 429 начинается шквал повторов | Нет управляемого ожидания | Ограничить повторы и общий допуск |
| Сайт быстрее, очередь стареет | Пропускной способности недостаточно | Проверить устойчивость режима на длинном интервале |
Условный протокол испытания:
search_workload: <одинаковый набор запросов>
import_workers: <один изменяемый параметр>
bulk_size: <сохранённый размер>
search_latency: <одно правило измерения>
oldest_pending_age: <возраст очереди>
write_failures: <поэлементные исходы>После отказа запись повторяется управляемо, с ожиданием и конечным бюджетом попыток. Сохраните связь изменения с документом и его версией: запоздавший повтор старой записи не должен затереть новую. Успех HTTP-запроса bulk не заменяет разбор исходов отдельных элементов. Повтор всего пакета вслепую способен увеличить нагрузку и скрыть постоянную ошибку одной записи.
Свежесть выдачи нельзя менять незаметно
Elastic указывает, что увеличение index.refresh_interval может снизить затраты на refresh, если допустима более поздняя видимость изменений в поиске. Проверено по той же инструкции 14 октября 2026 года. Перед экспериментом согласуйте задержку появления цены, остатка и удаления. Эта настройка меняет свежесть выдачи; она не исправляет потерянные события и не должна использоваться как маскировка неработающего импорта.
Не отключайте реплики или защитные ограничения ради первого красивого графика на рабочем кластере. Для статьи достаточно управлять отправителями и оценить допустимую свежесть. Более глубокие изменения требуют отдельной оценки отказоустойчивости и восстановления. Если сайт и Elasticsearch делят один сервер, замеры должны учитывать остальные процессы — иногда поисковый кластер лишь получает последствия нагрузки другого компонента.
Приёмка включает паузу импорта, накопление изменений и постепенное возобновление. После восстановления поток не должен мгновенно отправить весь накопленный объём без прежнего ограничения. Сравните контрольные документы с источником и убедитесь, что очередь действительно обработана, а не очищена потерей задач.
Для продолжения разбора сохраните графики задержки и возраста очереди, параметры отправителя, версии компонентов и обезличенные исходы bulk. При ухудшении верните прежние значения изменённых параметров и сохраните необработанные события. Следующее решение принимается по воспроизводимому компромиссу между скоростью ответа и свежестью данных, а не по максимальному числу записей в секунду.