Несколько CSV нельзя надёжно объединить простым склеиванием строк. В них могут отличаться порядок колонок, разделитель и правила кавычек; внутри одного поля бывают переносы строк. Сначала составьте список входных файлов и сравните их шапки. Если схема отличается, остановите сборку до явного сопоставления полей.
Определите смысл объединения: добавить все записи или убрать повторяющиеся объекты. Это разные операции. Два одинаковых по виду заказа могут быть самостоятельными событиями, а один заказ может прийти в двух выгрузках. Для удаления дублей нужен бизнес-ключ, а для обычного соединения достаточно сохранить все строки и их происхождение.
Шапка задаёт договор между источниками
| Различие | Решение |
|---|---|
| Поля те же, порядок другой | сопоставлять по именам |
| Поле отсутствует | отклонить файл или согласовать пустое значение |
| Лишняя колонка | сохранить в новой схеме или явно отклонить |
| Одинаковые названия колонок | отклонить неоднозначную шапку |
Не переименовывайте поля по похожести автоматически. price и total могут иметь разный смысл; пустое количество не всегда равно нулю. Зафиксируйте целевую схему и правила для каждого источника. В manifest — списке входов — сохраните имя, контрольную сумму файла, число разобранных записей и версию правила сопоставления.
Минимальный пример сохраняет строки как строки
# Python 3.14, условные входы с одной схемой
import csv
inputs = ['part-a.csv', 'part-b.csv']
fields = ['id', 'name', 'amount']
with open('combined-new.csv', 'x', encoding='utf-8', newline='') as out:
writer = csv.DictWriter(out, fieldnames=fields)
writer.writeheader()
for path in inputs:
with open(path, encoding='utf-8-sig', newline='') as source:
reader = csv.DictReader(source, delimiter=',')
if reader.fieldnames != fields:
raise ValueError(f'Unexpected schema: {path}')
for row in reader:
if None in row or any(v is None for v in row.values()):
raise ValueError(f'Invalid row: {path}')
writer.writerow(row)Это пример строгого соединения двух UTF-8-файлов с одинаковым порядком полей, без удаления дублей и преобразования чисел. Режим x не перезаписывает существующий результат. При отказе остаётся неполный новый файл: его нельзя выдавать потребителю. Для рабочего процесса сначала создавайте отдельный временный артефакт, а публикуйте только после итоговой проверки.
Python рекомендует открывать CSV с newline=""; reader обычно возвращает строки без автоматического преобразования типов. Сохраняйте идентификаторы с ведущими нулями и не разбирайте запись через split по запятой. RFC 4180 описывает кавычки для полей с запятыми и переносами строк, но реальный dialect каждого поставщика всё равно требуется установить отдельно.
Повторный запуск не должен включать собственный результат
- Получить явный список входов до начала записи.
- Исключить выходной и временный файлы из этого списка.
- Проверить шапку и число полей каждого входа.
- Записать результат с одной шапкой.
- Повторно прочитать результат и сверить число записей с manifest.
Не считайте записи по физическим строкам: перенос внутри кавычек занимает несколько строк файла. Для простого соединения ожидаемое число записей равно сумме разобранных входов. Если включено удаление дублей, отдельно отчитайте число исключённых записей и ключи конфликтов; исчезновение строк без объяснения неприемлемо.
Публикуем проверенный файл, исходники оставляем
Два параллельных запуска должны писать в разные временные пути и не подменять результат друг друга. Версию входного manifest привяжите к версии выхода. Если один источник обновляется во время чтения, используйте согласованный снимок файла, иначе повтор операции не воспроизведёт прежнюю выборку.
Откат возвращает предыдущий опубликованный артефакт, а исходники остаются неизменными. Для настройки объединения достаточно двух обезличенных файлов, целевой схемы, определения дубля и ожидаемого числа записей. Такой пример показывает, требуется ли простое соединение, сопоставление колонок или отдельная процедура разрешения конфликтов.