Удалять фото по одинаковому имени или размеру нельзя. `IMG_0001.jpg` встречается на разных камерах, а одна фотография после пересылки получает другое имя, размер и метаданные. Надёжная очистка начинается с разделения двух задач: точные копии байт-в-байт и визуально похожие изображения.
Первый запуск должен быть только отчётом. Инструмент группирует кандидатов, выбирает предполагаемый оригинал и объясняет выбор, но ничего не удаляет. После ручной проверки файлы перемещаются в карантин с журналом восстановления.
Точные копии: простая и надёжная часть
Для каждого файла вычислите криптографический хеш содержимого, например SHA-256. Одинаковый хеш означает одинаковые байты. Чтобы не читать всю коллекцию без необходимости, сначала можно сгруппировать по размеру, но окончательное решение принимает хеш.
group_key = sha256(file_bytes)
keep = choose_best_path_and_metadata(group)
action = report_onlyДаже точную копию не стоит мгновенно удалять: один экземпляр может находиться в папке, которую синхронизирует другое приложение, а второй — быть частью проекта. Политика должна учитывать путь и владельца каталога.
Похожие фото требуют другого порога доверия
Изменённый размер, JPEG-сжатие или лёгкая цветокоррекция меняют обычный хеш. Для поиска используют perceptual hash или признаки изображения, которые позволяют оценить расстояние между кадрами. Но близкий результат означает «показать рядом», а не «удалить автоматически».
| Пара | Автоматическое действие |
|---|---|
| Одинаковый SHA-256 | Можно предложить точный дубль |
| Одинаковая сцена, другой размер | Сравнить качество и метаданные |
| Серийная съёмка | Не считать дублем без решения человека |
| Обрезанная версия для публикации | Сохранить как производный файл или связать с оригиналом |
Как выбрать файл, который останется
- Большее реальное разрешение без искусственного upscale.
- Меньше следов повторного JPEG-сжатия и отсутствие повреждений.
- Сохранённые EXIF и корректная ориентация, если метаданные важны.
- Понятное место в основной библиотеке, а не временная папка мессенджера.
- RAW или исходный формат не заменяется экспортированным JPEG.
Не используйте дату файла как единственный критерий. Копирование меняет filesystem timestamps, а дата съёмки в EXIF может отсутствовать или быть неверной. Решение должно быть объяснимым по нескольким признакам.
Карантин вместо необратимого удаления
- Сохранить manifest: исходный путь, хеш, размер, группа и выбранный оригинал.
- Переместить кандидаты в отдельный каталог на том же томе, если это возможно.
- Проверить, что фотокаталог и резервное копирование работают без них.
- Дать пользователю срок на восстановление.
- Удалять окончательно только после отдельного подтверждения и свежей резервной копии.
Контроль перед большой библиотекой
Соберите тестовый набор: точная копия, уменьшенная версия, crop, серия похожих кадров, RAW+JPEG и два разных фото с одинаковым именем. Ожидаемый результат задайте заранее. После этого запустите read-only scan на небольшой реальной папке и вручную просмотрите пограничные группы.
Если библиотека большая, для оценки нужны число файлов, форматы, расположение резервной копии и правило выбора оригинала. Сами личные фотографии передавать необязательно: алгоритм можно настроить на синтетическом наборе и выполнять локально.