Размер входного файла не равен памяти, необходимой для его обработки. Архив, распакованный текст, разобранные объекты и итоговый набор могут одновременно существовать в нескольких копиях. Сначала измерьте потребление по границам этапов на одном воспроизводимом входе. Это покажет, где возникает пик и можно ли уменьшить рабочий набор — данные, живущие в памяти одновременно.

Увеличение памяти иногда является разумной частью решения, но его проверяют отдельно от исправления накопления. В AWS Lambda настройка памяти также влияет на выделяемый CPU; это указано в документации, проверенной 21 октября 2026 года. Поэтому изменение времени после настройки ещё не доказывает, что первоначальная причина была только в нехватке памяти.

Разберите один файл по стадиям

СтадияВозможный источник пикаЧто сравнить
ЗагрузкаПолный буфер плюс временная копияПамять до и после чтения
РаспаковкаОбъём распакованных данныхСжатый и фактический размеры
РазборОбъекты поверх исходного текстаТекст и разобранная структура одновременно
ПреобразованиеКопии коллекций и результатыРазмер очередной порции
ФинишСсылки в глобальных коллекцияхСерию последовательных вызовов

Показатель языка выполнения и общая память процесса могут отличаться: библиотеки и нативные буферы не обязательно учитываются одним счётчиком. Запишите, что именно измерено, каким инструментом и в какой версии среды. Сопоставляйте прикладные измерения с доступными системными данными вызова. Одна цифра из середины успешного запуска не описывает максимальный пик.

Ограничьте одновременно живущие данные

Условный план эксперимента:
одинаковый вход -> измерение этапов
полное чтение -> ограниченные порции, если формат позволяет
накопление результатов -> последовательная запись
распаковка -> предел допустимого объёма
изменение памяти -> отдельный прогон того же набора
критерий -> верный результат и запас на допустимый вход

Порционная обработка полезна лишь тогда, когда библиотека действительно не загружает весь документ внутри себя. Проверьте её поведение измерением. Ограничьте размер распакованных данных и число элементов до дорогостоящего преобразования. Отклонённый по политике вход должен получить понятный статус, а не бесконечно возвращаться в обработку как временная ошибка.

Вынос промежуточного результата во внешнее хранилище меняет процедуру восстановления. У каждой порции нужны связь с задачей и признак подтверждения. После сбоя продолжение не должно дважды публиковать уже записанные элементы. Отдельно предусмотрите очистку только принадлежащих этой задаче временных объектов; общий каталог нельзя удалять ради освобождения места.

Большой вход и накопление проверяются разными тестами

  1. Обработать один допустимый крупный синтетический документ.
  2. Прогнать серию одинаковых небольших задач в повторно используемой среде.
  3. Повторить задачу после сбоя между двумя порциями.
  4. Проверить параллельные независимые задачи и корректность результата.

Рост от вызова к вызову направляет поиск к удерживаемым ссылкам, кешам и ресурсам, которые не освобождаются. Пик на одном крупном документе требует другого анализа. Не называйте любой высокий расход утечкой. Зафиксируйте конфигурацию и состав входов, чтобы последующее сравнение не смешало новый код с неожиданно более тяжёлыми данными.

Выпускайте изменение на ограниченном маршруте с контролем ошибок, времени и незавершённых задач. Возврат конфигурации должен быть доступен, а частично записанные результаты — различимы. Для дальнейшей диагностики подготовьте обезличенный генератор входа, размеры по стадиям и профиль памяти. Такой набор позволяет выбрать между новым лимитом, порционной обработкой и устранением удержания данных без догадок по размеру файла.

Проверенные источники