Если в S3 мало завершённых файлов, но объём хранения растёт, отдельно посмотрите незавершённые multipart-загрузки. Их части не превращаются в готовый объект до завершения операции. По документации Amazon S3 загруженные части продолжают занимать оплачиваемое место, пока загрузка не завершена или не остановлена. Простого подсчёта готовых объектов недостаточно.
Не отменяйте все старые загрузки одним действием. Часть из них может ожидать возобновления после сетевого сбоя. Сначала сопоставьте upload ID с задачей приложения, моментом начала и последней активностью. Затем согласуйте максимальный срок возобновления и очистку только тех операций, которые больше не должны продолжаться.
У загрузки есть собственная жизнь
| Состояние | Что существует | Чего ждать от приложения |
|---|---|---|
| Начата | Upload ID | Сохранение связи с задачей |
| Части загружены | Части внутри операции | Учёт прогресса и повторов |
| Завершена | Собранный объект | Проверка результата и статус готовности |
| Остановлена | Операция отменена | Новый upload ID для новой попытки |
S3 не задаёт автоматического срока истечения инициированной multipart-операции без соответствующего правила. После остановки прежний upload ID нельзя использовать для новой части. Уже выполняющиеся запросы частей требуют отдельного внимания: документация предупреждает, что они могут завершаться даже после остановки. Согласуйте прекращение исполнителей и последующую проверку остатков.
Инвентаризация до изменения lifecycle
- Просмотреть незавершённые операции нужного bucket и префикса.
- Сопоставить upload ID с записью загрузки в приложении.
- Отделить активные, возобновляемые и подтверждённо брошенные задачи.
- Учесть все страницы результатов списка.
- Сохранить отчёт кандидатов до изменения политики.
Bucket — контейнер объектов S3, префикс — начальная часть ключа, которой можно ограничить набор. Возраст операции и время последней части — разные показатели. Не принимайте дату начала за доказательство отсутствия активности. Если приложение теряет upload ID после перезапуска, исправьте его сохранение: очистка симптома не предотвращает повторное накопление.
В отчёте используйте внутренние тестовые идентификаторы и агрегаты, не публикуйте приватные имена документов и подписанные ссылки. Готовые объекты, их версии и незавершённые части требуют раздельного учёта. Если причина роста оказалась в версиях, правило для multipart не освободит этот объём; не расширяйте очистку на другой класс данных без отдельного решения.
Правило для ограниченного тестового префикса
{
"Rules": [{
"ID": "demo-abort-incomplete",
"Status": "Enabled",
"Filter": {"Prefix": "demo-upload/"},
"AbortIncompleteMultipartUpload": {
"DaysAfterInitiation": 7
}
}]
}Это иллюстрация структуры, не команда для применения к рабочему bucket. Число 7 условное: срок выбирают по договору возобновления вашего приложения. Amazon S3 описывает AbortIncompleteMultipartUpload как действие для незавершённых операций старше заданного числа дней с начала. Правило касается и уже существующих операций в своей области. Оно не является правилом удаления готовых объектов.
Перед применением объедините новый пункт с текущей конфигурацией lifecycle по процедуре вашего инструмента. Не отправляйте пример как замену всех существующих правил. Сначала сохраните действующую конфигурацию и испытайте отдельный тестовый префикс. Для S3-совместимого поставщика найдите его собственную документацию: сходство API не гарантирует одинакового поведения очистки.
Откат настройки не возвращает удалённые части
Отключение правила останавливает будущие действия по нему, но не восстанавливает уже удалённые части. Клиент должен уметь начать новую попытку из исходного файла, если старое возобновление стало невозможным. Проверьте этот сценарий заранее и объясните пользователю, что потребуется повторная загрузка. Срок cleanup нельзя выбирать короче обещанного периода восстановления.
После испытания сравните список незавершённых операций, состояние задач и наличие готовых тестовых объектов. Нельзя объявлять успех только по уменьшению одного счётчика: активная загрузка должна завершиться, отменённая — не считаться готовым файлом. Для оценки расходов учитывайте задержку отчётов поставщика и отдельные классы хранения.
Для разбора подготовьте агрегированный список multipart-операций, схему сохранения upload ID и текущую политику lifecycle без секретов. Это позволяет убрать брошенные части в согласованных границах и сохранить возможность возобновления, вместо удаления готовых пользовательских объектов.