Успешный HTTP-ответ ещё не доказывает, что загрузчик прочитал все записи. Частая точка разрыва — переход между страницами или контрольная точка, сохранённая раньше самих данных. Начните с заглушки API, где заранее известны все искусственные ID и есть несколько страниц. Сравнивайте множества ID, а не только итоговое число строк.

После этого прервите обработчик посередине и запустите повторно. Корректный результат содержит весь ожидаемый набор без потери уже принятых записей. Если ошибка исчезает только после удаления локальных данных, механизм восстановления ещё не проверен. Рабочую базу ради эксперимента очищать не нужно.

Полнота ответа задаётся договором конкретного API

Например, GitHub REST API документирует переход по ссылкам пагинации в заголовке Link; наличие и состав таких ссылок зависят от endpoint и ответа. Проверено 14 октября 2026 года. Это пример конкретного протокола, а не правило для всех сервисов. Другой провайдер может использовать курсор в теле. Загрузчик следует опубликованному договору своего источника, а не выдумывает номер следующей страницы.

ПризнакВероятная граница сбояПроверка
Есть только начало спискаНе обработана пагинацияСопоставить следующий переход с ответом
Пропуск после перезапускаCheckpoint опередил записьПрервать между двумя действиями
Повторяются одни IDПовтор страницы без устойчивой записиПроверить ключ источника
Теряются изменения на границе времениНестрого определённый интервалИспытать одинаковые временные метки

Контрольная точка обозначает уже сохранённое

Условный журнал загрузки:
run_id: <тестовый запуск>
source_scope: <область источника>
page_or_cursor: <без секретов>
received_ids: <искусственный набор>
persist_state: complete / failed
checkpoint_state: committed / pending

Сохранение страницы и продвижение контрольной точки должны соответствовать одной гарантии восстановления. Если источник и хранилище находятся в разных системах, обещание общей транзакции само собой не возникает. Спроектируйте повторное чтение так, чтобы уже сохранённый документ распознавался по устойчивому ключу, а новая версия не заменялась запоздалой старой.

Контрольная точка может быть курсором, последовательностью изменения или парой времени и дополнительного ключа. Выбор зависит от источника. Одна временная метка не всегда задаёт полный порядок: несколько записей могут иметь одно время. Сравните правила включения границ, точность метки и возможность изменения источника во время обхода страниц.

Пагинация по смещению в меняющемся списке требует особого внимания. Вставка или удаление до текущей позиции способна изменить содержимое следующей страницы. Ищите поддерживаемый источником снимок, курсор или инкрементальный журнал. Если этих гарантий нет, обозначьте ограничения и предусмотрите повторную сверку, а не заявляйте абсолютную полноту на основании одного обхода.

Восстановление проверяется на трёх точках остановки

  1. Прервать до сохранения полученной страницы.
  2. Прервать после записи, но до checkpoint.
  3. Прервать после продвижения checkpoint.
  4. Для каждого запуска повторить загрузку.
  5. Сравнить полный набор ID и версии с заглушкой.

При временном отказе сохраняйте состояние и ограничивайте повторные попытки. Не продвигайте курсор только ради завершения расписания. Постоянная ошибка одной записи требует отдельного видимого исхода: тихий пропуск с общим статусом success скрывает потерю. Журнал содержит безопасную идентичность проблемного элемента, но не весь ответ с персональными данными и токенами.

Уже возникшие пропуски восстанавливаются отдельным проходом по согласованной области и сверкой с источником. Исправление обработчика защищает будущие запуски, но не создаёт отсутствующие старые записи. Для разбора подготовьте описание пагинации провайдера, искусственную последовательность страниц и последний надёжный checkpoint. Готовность подтверждает повторяемое восстановление после каждого сбоя, а не зелёная отметка планировщика.

Проверенные источники